JP2008078750A

JP2008078750A - Image processing apparatus

Info

Publication number: JP2008078750A
Application number: JP2006252724A
Authority: JP
Inventors: Katsuteru Hashimoto; 勝照橋本; Katsuya Otoi; 克也乙井
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2006-09-19
Filing date: 2006-09-19
Publication date: 2008-04-03

Abstract

PROBLEM TO BE SOLVED: To provide an image processing apparatus which performs efficient white balance adjustment at a low cost, by providing a function of manually or automatically selecting proper one of many kinds of LUTs (look-up tables), according to the content, when outputting or playing back video. SOLUTION: A plurality of LUTs 8 are stored in a white balance adjustment LUT part 6, and the content is such that by using user's taste with respect to the content, extraction of features of the content itself, information attached to the content, etc., and respective LUTs and information, characterizing the content are set in a storage device 2, in association with each other, and a controller 3 refers to the storage part 2 to select the most suitable LUT 8, in accordance with the features of the content of an input video and performs white balance adjustment. COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、映像のホワイトバランス調整を行う機能を有した画像処理装置に関する。 The present invention relates to an image processing apparatus having a function of adjusting white balance of a video.

従来、デジタルカメラやビデオカメラなどで写像、映像を記録する場合、光源など周囲の環境が色あいに大きく影響し、白い被写体を記録した場合でも赤や青など光源に影響された色が混ざってしまい、白い被写体を白として記録するためには周囲の環境に適したホワイトバランス調整を行う必要があった。 Conventionally, when recording and recording images with a digital camera or video camera, the surrounding environment, such as the light source, has a significant effect on the hue, and even when recording a white subject, colors affected by the light source, such as red and blue, are mixed. In order to record a white subject as white, it is necessary to perform white balance adjustment suitable for the surrounding environment.

ホワイトバランス調整の方法としては、光源を自動で検出して調整を行うオートホワイトバランスや色温度などを手動で設定して調整を行うマニュアルホワイトバランスなどがあるが、テレビなどのように映像を表示する装置の場合、表示される元映像は既に色合いが崩れているものもあり、適した色合いで映像を楽しむためには元映像に対してホワイトバランス調整を行う必要があった。 White balance adjustment methods include auto white balance, which automatically detects and adjusts the light source, and manual white balance, which adjusts by manually setting the color temperature, etc. In some cases, the original video to be displayed has already lost its hue, and in order to enjoy the video with a suitable hue, it is necessary to perform white balance adjustment on the original video.

色合いが崩れた映像に対してホワイトバランス調整することで適正な映像を得る手段として、入力された映像信号から原色信号Ｒ、Ｇ、Ｂ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）を抽出し、この原色信号Ｒ、Ｇ、Ｂのうちから当該画面内のある特定された領域（以下、「特定領域」と記す）に対応する原色信号Ｒ、Ｂを基準とし、これら両原色信号Ｒ、ＢについてＲ／Ｇ、Ｂ／Ｇの除算出力を得て、ホワイト電圧又は任意色電圧を超えるとＲ又はＢ信号の増幅度を下げ、下回ると増幅度を上げるように負帰還制御する可変ゲインアンプによりオートカラーバランス調整を行うというものがある。また、経時的に追従してオートカラーバランス調整を行う方法として、積分器や回路を使用することでフィールド毎の全画面データを得て調整を行う方法も挙げられている（例えば、特許文献１参照）。 Primary color signals R, G, and B (Red, Green, Blue) are extracted from the input video signal as a means for obtaining an appropriate video by adjusting the white balance with respect to the video whose hue is lost, and this primary color signal R , G, B on the basis of primary color signals R, B corresponding to a specified area (hereinafter referred to as “specific area”) in the screen, R / G, B / G division output is obtained. When the white voltage or arbitrary color voltage is exceeded, the R or B signal gain is reduced, and when it is lower, the variable gain amplifier that performs negative feedback control to increase the gain adjusts the auto color balance. There is something to do. In addition, as a method for performing automatic color balance adjustment by following with time, there is also a method for performing adjustment by obtaining full screen data for each field by using an integrator or a circuit (for example, Patent Document 1). reference).

他にも、色合いが崩れた映像をホワイトバランス調整することで適正な映像を得る手段として、入力された写像に対して白または黒にしたい任意の色の組（以下、「白黒設定色」と記す）を、カーソルコントロールを利用して画面内の特定箇所を指定、もしくは白黒設定色として抽出する輝度を設定することで画面内から自動で抽出し、抽出した白黒設定色を元にしてホワイトバランス調整を行うというものもある。また、複数の白黒設定色を記録する記録メモリと、利用する白黒設定色を切替えるメモリ切換え手段を設けることで、いくつものホワイトバランス設定を呼び出す方法も挙げられている（例えば、特許文献２参照）。
実開平４-１２１１８５号公報特開平９-２００７９６号公報 In addition, as a means of obtaining an appropriate image by adjusting the white balance of an image whose hue has been lost, an arbitrary color set (hereinafter referred to as “monochrome setting color”) that is desired to be white or black with respect to the input map. Specify a specific location on the screen using the cursor control, or set the brightness to be extracted as a monochrome setting color, and automatically extract from the screen, and then use the white balance based on the extracted monochrome setting color. There is also an adjustment. There is also a method of calling up a number of white balance settings by providing a recording memory for recording a plurality of monochrome setting colors and a memory switching means for switching the monochrome setting colors to be used (see, for example, Patent Document 2). .
Japanese Utility Model Publication No. 4-121185 Japanese Patent Laid-Open No. 9-200796

しかしながら、前述の如く、ホワイトバランス調整を行う方法として特定領域や特定箇所を指定する方法が挙げられているが、ホワイトバランス調整を行うためには特定領域又は特定箇所を指定する必要があり、コンテンツに応じたホワイトバランスを簡略的に選択する手段がない。 However, as described above, a method of specifying a specific region or a specific portion is mentioned as a method of performing white balance adjustment. However, in order to perform white balance adjustment, it is necessary to specify a specific region or a specific portion. There is no means for simply selecting a white balance according to the above.

また、入力された映像に対して色抽出を行い、抽出された色を元にしてホワイトバランス調整を行う方法が挙げられているが、積分器や回路、記憶装置などが必要であるため、動画などのように映像が毎フィールド単位で変化するものに対しては新たなコストが必要となり、低コストで実現するのはパフォーマンス的に困難である。動画に対して毎フィールド単位で全画面データからホワイトバランス調整を行う方法について述べられているが、毎フィールド単位でホワイトバランス調整の演算を行うためには高機能の演算処理機器を搭載する必要があり、同じく新たなコストが発生する。また、手動で選択する方法についても記録した白黒設定色から選択する必要があり、ホワイトバランス調整を行いたいコンテンツに対して白黒設定色を元に選択するのは直感的に難しい。 Also, there is a method that performs color extraction on the input video and adjusts the white balance based on the extracted color, but it requires an integrator, circuit, storage device, etc. As described above, a new cost is required for a video that changes in units of fields, and it is difficult to realize at a low cost. Although a method for performing white balance adjustment from full-screen data in units of fields for moving images has been described, it is necessary to install high-performance processing equipment in order to perform white balance adjustment operations in units of fields. There will be new costs as well. In addition, the manual selection method also needs to be selected from the recorded monochrome setting colors, and it is intuitively difficult to select based on the monochrome setting colors for the content for which white balance adjustment is desired.

本発明の目的は、映像出力時または再生時に、多種類のＬＵＴ（ＬｏｏｋＵｐＴａｂｌｅ、参照表）からコンテンツに応じた適切なものとして手動又は自動で選択する機能を備えることにより低コストで効率的なホワイトバランス調整を行う画像処理装置を提供するものである。 An object of the present invention is to provide a function of manually or automatically selecting an appropriate one according to contents from various types of LUTs (Look Up Tables) at the time of video output or playback. The present invention provides an image processing apparatus that performs white balance adjustment.

斯かる実情に鑑み、第１の発明による画像処理装置は、入力された入力画像に対してホワイトバランスを調整する画像処理装置であって、
ホワイトバランス補正を行う補正データを格納したホワイトバランス調整手段と、前記補正データを参照するための参照情報と該参照情報と関連づけた条件データを記憶する記憶手段と、前記入力画像の特徴情報から前記条件データの選択を行い、前記記憶手段から前記条件データに対応する前記補正データの参照情報を抽出し、該補正データの参照情報により前記ホワイトバランス調整手段から補正データを選択する制御手段とを備え、前記補正データが前記入力画像のホワイトバランス調整を行うことを特徴とする。 In view of such a situation, an image processing apparatus according to a first invention is an image processing apparatus that adjusts white balance for an input image that has been input,
White balance adjustment means storing correction data for performing white balance correction, reference information for referring to the correction data, storage means for storing condition data associated with the reference information, and feature information of the input image Control means for selecting condition data, extracting reference information of the correction data corresponding to the condition data from the storage means, and selecting correction data from the white balance adjusting means according to the reference information of the correction data. The correction data performs white balance adjustment of the input image.

また、第２の発明による画像処理装置は、前記制御手段が、外部入力装置より送信される制御信号に含まれる識別子及び該識別子に対応した認識情報、又は認識情報のみから前記記憶手段における前記補正データの参照情報を抽出し、前記条件データは前記認識情報であることを特徴とする。 According to a second aspect of the present invention, in the image processing apparatus according to the second aspect, the control unit performs the correction in the storage unit based on an identifier included in a control signal transmitted from an external input device and recognition information corresponding to the identifier, or only recognition information. Data reference information is extracted, and the condition data is the recognition information.

また、第３の発明による画像処理装置は、前記識別子が、前記外部入力装置により登録可能な文字列であり、前記認識情報が、前記記憶手段における前記識別子の格納アドレス又は前記制御手段が一意に付与した識別番号であることを特徴とする。 In the image processing apparatus according to a third aspect of the invention, the identifier is a character string that can be registered by the external input device, and the recognition information is stored in the storage means of the identifier or the control means is uniquely assigned. It is the assigned identification number.

また、第４の発明による画像処理装置は、前記入力画像から特徴となるデータを抽出するデータ抽出手段を備え、前記入力画像の特徴情報及び前記条件データは、前記抽出データであり、前記制御手段は該入力画像の特徴情報と該条件データとが一致又は近似などの特定条件を満たすか比較して該入力画像の特徴情報から該条件データを選択することを特徴とする。 According to a fourth aspect of the present invention, there is provided an image processing apparatus comprising data extraction means for extracting characteristic data from the input image, wherein the feature information of the input image and the condition data are the extraction data, and the control means Is characterized in that the condition data is selected from the feature information of the input image by comparing whether the feature information of the input image and the condition data satisfy a specific condition such as matching or approximation.

また、第５の発明による画像処理装置は、前記抽出データが、画像に付加されている情報、画像が記憶された時刻情報、前記データ抽出手段に設定されている条件情報により抽出された色データ、又は測定した輝度のヒストグラムであることを特徴とする。 According to a fifth aspect of the present invention, in the image processing apparatus according to the fifth aspect of the present invention, the extracted data is color data extracted based on information added to the image, time information when the image is stored, and condition information set in the data extracting means. Or a histogram of measured luminance.

また、第６の発明による画像処理装置は、前記補正データが、ＬＵＴであることを特徴とする。 An image processing apparatus according to a sixth invention is characterized in that the correction data is an LUT.

本発明によれば、コンテンツのホワイトバランスを簡易に補正する手段として、複数のＬＵＴを保存し、また、コンテンツに対するユーザーの嗜好、コンテンツ自身の特徴抽出又はコンテンツの付属情報などを用いてコンテンツの特徴付けを行い、各ＬＵＴとコンテンツの特徴付けの情報とを対応させ、制御コントローラがコンテンツの特徴から最適なＬＵＴを選択し、ホワイトバランス調整を行うことで、ユーザーの操作性を向上させ、低コストで効率的な補正を施すことを可能とするとともに、色合いの再現性を高めることを可能とする。 According to the present invention, as a means for easily correcting the white balance of the content, a plurality of LUTs are stored, and the feature of the content is used using the user's preference for the content, the feature extraction of the content itself, or the attached information of the content. The LUTs are associated with the content characterization information, and the controller selects the optimal LUT from the content characteristics and adjusts the white balance, improving user operability and reducing costs. This makes it possible to perform efficient correction and improve the reproducibility of the hue.

また、特徴付けの情報を識別子として、ユーザーが任意に、選択しやすい名称で生成可能とすることで、直感的な操作でＬＵＴを選択し、簡易に画像のホワイトバランス調整を行うことができる。 Further, by making it possible to generate a name that can be arbitrarily selected by the user using the characterization information as an identifier, the LUT can be selected by an intuitive operation, and the white balance of the image can be easily adjusted.

以下、本発明の実施の形態を図示例と共に説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

［第１の実施形態］
以下、本発明に係る画像処理装置の第１の実施形態について図面を用いて説明する。
図１は、第１の実施形態における画像処理装置のブロック図である。 [First Embodiment]
Hereinafter, a first embodiment of an image processing apparatus according to the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram of an image processing apparatus according to the first embodiment.

図１に示すように、画像処理装置１は、記憶装置２、制御コントローラ３、ＬＵＴ作成回路４、ＬＵＴ切換えスイッチ５、ホワイトバランス調整ＬＵＴ部６より構成される。この他に、制御コントローラ３にユーザー指示の制御信号を送信する外部入力装置７がある。この外部入力装置７には、例えば、テレビやビデオであれば、リモコンやボタンなど、ＡＶ再生機能を備えたＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）の場合は、キーボードやマウスなどといったものが考えられる。 As shown in FIG. 1, the image processing apparatus 1 includes a storage device 2, a controller 3, an LUT creation circuit 4, an LUT changeover switch 5, and a white balance adjustment LUT unit 6. In addition, there is an external input device 7 that transmits a user-instructed control signal to the controller 3. Examples of the external input device 7 include a keyboard and a mouse in the case of a PC (Personal Computer) having an AV playback function such as a remote control or a button for a television or video.

ホワイトバランス調整ＬＵＴ部６に格納されている各ＬＵＴ８には、識別するための名称（以下、「識別子」と記す）を生成して付与することでユーザーが識別子を使って直感的に操作することが可能である。また、ＬＵＴの生成については、既知の方法でＬＵＴ作成回路４により生成したり、固定値のＬＵＴを用意するなどの方法がある。 Each LUT 8 stored in the white balance adjustment LUT unit 6 generates and assigns a name for identification (hereinafter referred to as “identifier”) so that the user can intuitively operate using the identifier. Is possible. As for the generation of the LUT, there are a method of generating the LUT by a known method by the LUT creation circuit 4 and preparing a fixed value LUT.

ＬＵＴの識別子を生成するタイミングについては、入力映像に対して適切なＬＵＴを選択時、もしくは入力映像をＬＵＴ調整用映像などにしてＬＵＴの効果を確認した状態で設定するなどがある。このようにして、入力映像に対してＬＵＴが利用される度に、識別子を対応づけて付与していくことになる。この識別子の例としては、室内や外、曇りなど環境や天候に依存した名称や特定の番組名などが挙げられる。ユーザーが区別しやすいものであれば特に限定はしない。 The timing for generating the LUT identifier may be set when an appropriate LUT is selected for the input video, or when the input video is set to an LUT adjustment video or the like and the effect of the LUT is confirmed. In this way, each time an LUT is used for an input video, an identifier is associated and assigned. Examples of the identifier include a name dependent on the environment and weather such as indoors, outdoors, and cloudy, and a specific program name. There is no particular limitation as long as it is easy for the user to distinguish.

識別子の生成方法は、リモコン、キーボードなどの外部入力装置７を使用する方法があるが、手段そのものについては特に限定せず、識別子を入力することができる装置全般を含むものとする。生成した識別子については、識別子データが外部入力装置７から制御コントローラ３に送信され、制御コントローラ３が、識別子の格納時のアドレス又は識別番号など識別子を認識するための情報（以下、「認識情報」と記す）を該識別子データに付加し、記憶装置２に保存する。 An identifier generation method includes a method using an external input device 7 such as a remote controller or a keyboard. However, the means itself is not particularly limited, and includes all devices capable of inputting an identifier. With respect to the generated identifier, identifier data is transmitted from the external input device 7 to the control controller 3, and the control controller 3 recognizes an identifier such as an address or an identification number when the identifier is stored (hereinafter referred to as "recognition information"). Is added to the identifier data and stored in the storage device 2.

記憶装置２においては、識別子について、ＬＵＴの種別とを対応づけたテーブルが生成され、保存されている。 In the storage device 2, a table in which identifiers are associated with LUT types is generated and stored.

図２は、記憶装置２に格納されているテーブルの一例を示したものである。図２では、例えば、識別子９に対して認識情報として記憶装置でのアドレス１０が付加されており、テーブルにおいて、ＬＵＴの種別を示す情報１１と対応づけられ格納されている。 FIG. 2 shows an example of a table stored in the storage device 2. In FIG. 2, for example, an address 10 in the storage device is added to the identifier 9 as recognition information, and stored in the table in association with information 11 indicating the type of LUT.

以上のように構成されている画像処理装置１において、まずは、入力映像に対して適切なホワイトバランス調整を手動で実施する手順について説明する。 In the image processing apparatus 1 configured as described above, first, a procedure for manually performing appropriate white balance adjustment on an input video will be described.

図３は、本実施形態におけるホワイトバランス調整を行う手順を示したフローチャート図である。 FIG. 3 is a flowchart showing a procedure for performing white balance adjustment in the present embodiment.

まず、Ｓ１において、画像処理装置１に映像が入力される。映像が入力されると、これをトリガに、Ｓ２において制御コントローラ３は、記憶装置２に格納されている識別子を出力するよう指示を行う。 First, in S 1, an image is input to the image processing apparatus 1. When an image is input, using this as a trigger, the controller 3 instructs the output of the identifier stored in the storage device 2 in S2.

Ｓ３において、制御コントローラ３は、記憶装置２から認識情報が付加されている識別子を受け取り、表示装置（不図示）に出力を行う。これを受けて、表示装置においては、識別子のリストの表示を行う。 In S3, the controller 3 receives the identifier to which the recognition information is added from the storage device 2, and outputs it to a display device (not shown). In response to this, the display device displays a list of identifiers.

Ｓ４において、外部入力装置７から識別子選択の入力が行われたか否かの判定が行われる。例えば、タイマ等で計時し、所定時間、外部入力装置７からの識別子選択の入力がなければ、ホワイトバランス調整を行わず、本処理を終了する。 In S4, it is determined whether or not an identifier selection has been input from the external input device 7. For example, the time is measured by a timer or the like, and if there is no input for selecting an identifier from the external input device 7 for a predetermined time, the white balance adjustment is not performed and this processing is terminated.

ユーザーが、表示装置を見て、リモコン、キーボードなどの外部入力装置７により適切な識別子の選択の操作を行った場合、Ｓ５において、外部入力装置７は、ユーザーが選択した識別子に付加されている認識情報を制御信号に含ませて制御コントローラ３に送信する。この制御信号には、認識情報のみ含ませてもよいし、認識情報を付加した識別子をそのまま含ませてよい。 When the user looks at the display device and performs an operation for selecting an appropriate identifier using the external input device 7 such as a remote controller or a keyboard, in S5, the external input device 7 is added to the identifier selected by the user. The recognition information is included in the control signal and transmitted to the controller 3. In this control signal, only the recognition information may be included, or an identifier with the recognition information added may be included as it is.

制御信号を受信した制御コントローラ３は、Ｓ６で制御信号から認識情報を取り出し、記憶装置２のＬＵＴ対応テーブルにおいて該認識情報により検索を行い、該当するＬＵＴについての情報を取得する。 The control controller 3 that has received the control signal extracts the recognition information from the control signal in S6, searches the LUT correspondence table of the storage device 2 using the recognition information, and acquires information on the corresponding LUT.

ＬＵＴの情報を取得した制御コントローラ３は、Ｓ７において、ＬＵＴ切換えスイッチ５を切換えることによりホワイトバランス調整ＬＵＴ部６から該当するＬＵＴを選択する。 The controller 3 having acquired the LUT information selects the corresponding LUT from the white balance adjustment LUT unit 6 by switching the LUT changeover switch 5 in S7.

Ｓ８において、入力された入力映像は、選択されたホワイトバランス調整ＬＵＴ部６に入力され、出力映像を得て、表示装置などに出力されることにより、ユーザーは所望のホワイトバランス調整が行われた画像を見ることができる。 In S8, the input video that has been input is input to the selected white balance adjustment LUT unit 6, and an output video is obtained and output to a display device or the like, so that the user has performed a desired white balance adjustment. You can see the image.

以上のようにテレビなどで再生される番組や、ビデオカメラなどで録画した映像などに対してホワイトバランス調整を行いたい場合について、補正データが格納されているそれぞれのＬＵＴについてユーザーが選択しやすい名称を生成して対応づけることで、直感的な操作でＬＵＴを選択し、簡易に画像のホワイトバランス調整を行うことが可能となる。 As described above, when it is desired to perform white balance adjustment for a program played back on a television or the like, or a video recorded by a video camera or the like, a name that can be easily selected by the user for each LUT in which correction data is stored By generating and associating, it is possible to select the LUT by an intuitive operation and easily adjust the white balance of the image.

［第２の実施形態］
以下、本発明に係る画像処理装置の第２の実施形態について図面を用いて説明する。
図４は、第２の実施形態における画像処理装置のブロック図である。図１と同一の符号を付した部分は同一物を表わしている。 [Second Embodiment]
Hereinafter, a second embodiment of the image processing apparatus according to the present invention will be described with reference to the drawings.
FIG. 4 is a block diagram of an image processing apparatus according to the second embodiment. Parts denoted by the same reference numerals as those in FIG. 1 represent the same items.

図４に示すように、第１の実施形態と同様、映像処理装置２０は、記憶装置２、制御コントローラ３、ＬＵＴ作成回路４、ＬＵＴ切換えスイッチ５、ホワイトバランス調整ＬＵＴ部６より構成される。この他に、制御コントローラ３にユーザー指示の制御信号を送信する外部入力装置７がある。第１の実施形態と異なる点は、入力映像の出力を得て、データの抽出を行うデータ抽出装置２１がある点である。 As shown in FIG. 4, as in the first embodiment, the video processing device 20 includes a storage device 2, a controller 3, an LUT creation circuit 4, an LUT changeover switch 5, and a white balance adjustment LUT unit 6. In addition, there is an external input device 7 that transmits a user-instructed control signal to the controller 3. The difference from the first embodiment is that there is a data extraction device 21 that obtains the output of the input video and extracts the data.

まず、ＬＵＴの生成方法とその選択条件となるデータを生成して関連づける方法について説明する。 First, a method for generating an LUT and a method for generating and associating data as selection conditions will be described.

各ＬＵＴについては、既知の方法でＬＵＴ作成回路４により作成したり、固定値のＬＵＴを用意するなどの方法で作成して、ホワイトバランス調整ＬＵＴ部６に格納する。 Each LUT is created by the LUT creation circuit 4 by a known method or by a method such as preparing a fixed value LUT, and stored in the white balance adjustment LUT unit 6.

次に、ＬＵＴの選択条件となるデータの生成とＬＵＴの情報とを関連させる方法について説明する。 Next, a method for associating the generation of data serving as the LUT selection condition with the LUT information will be described.

映像が入力されると、データ抽出装置２１に出力される。データ抽出装置２１は、放送やＤＶＤなどのメディアの場合、放送に付加されているＥＰＧ（ＥｌｅｃｔｒｏｎｉｃＰｒｏｇｒａｍＧｕｉｄｅ、電子番組表）やＤＶＤ−ＶＩＤＥＯ／ＤＶＤ−ＶＲのヘッダー情報等から抽出した番組情報、例えばタイトル情報や放送時間、出演者などのデータ、ＤＶＤ読み取り時の記録時間、又はチャプター数について抽出し、抽出したデータを記憶装置２に保存する。 When a video is input, it is output to the data extraction device 21. In the case of media such as broadcasts and DVDs, the data extraction device 21 is program information extracted from EPG (Electronic Program Guide) or DVD-VIDEO / DVD-VR header information added to the broadcast, for example, Title information, broadcasting time, data such as performers, recording time when reading a DVD, or number of chapters are extracted, and the extracted data is stored in the storage device 2.

記憶装置２に保存されたデータとＬＵＴを対応づけるため、ユーザーによる外部入力装置７の操作に従い、外部入力装置７から制御コントローラ３に制御信号を送信し、制御コントローラ３は、制御信号に従い、切換えスイッチ５の切替えを行って、適切なＬＵＴを選択する。例えば、ユーザーが表示装置によりＬＵＴでホワイトバランス調整を行った状態を見ることにより、入力映像に利用したいＬＵＴを決定し、外部入力装置７より決定を示す入力がなされると、制御コントローラ３は、入力映像から抽出したデータと決定されたＬＵＴを関連づけて、識別番号を付与し、記憶装置２に保存する。 In order to associate the data stored in the storage device 2 with the LUT, a control signal is transmitted from the external input device 7 to the control controller 3 according to the operation of the external input device 7 by the user, and the control controller 3 switches according to the control signal. Switch 5 is selected to select an appropriate LUT. For example, when the user determines the LUT that the user wants to use for the input video by viewing the state of white balance adjustment with the LUT by the display device, and the input indicating the determination is made from the external input device 7, the controller 3 An identification number is assigned in association with the data extracted from the input video and the determined LUT, and stored in the storage device 2.

図５は、記憶装置２に格納されている制御コントローラ３が参照するためのテーブルの一例を示したものである。図５では、例えば、識別番号２２と抽出した条件データ２３とＬＵＴの種別を示す情報２４が対応づけられ格納されている。 FIG. 5 shows an example of a table for reference by the controller 3 stored in the storage device 2. In FIG. 5, for example, identification number 22, extracted condition data 23, and information 24 indicating the type of LUT are stored in association with each other.

このようにすることで、次回以降の同番組放送時や同時刻などを条件として自動で適切なＬＵＴを選択することが可能となる。 By doing so, it becomes possible to automatically select an appropriate LUT on condition that the next program is broadcast or the next time.

以上のように構成されている画像処理装置２０において、入力映像に対して適切なホワイトバランス調整を自動で実施する手順を説明する。 In the image processing apparatus 20 configured as described above, a procedure for automatically performing appropriate white balance adjustment on an input video will be described.

図６は、本実施形態におけるホワイトバランス調整を行う手順を示したフローチャート図である。 FIG. 6 is a flowchart showing a procedure for performing white balance adjustment in the present embodiment.

まず、Ｓ１１において、画像処理装置２０に映像が入力される。映像が入力されると、データ抽出装置２１に出力される。Ｓ１２で、データ抽出装置２１は、上記のように放送に付加されている情報などのデータ抽出を行い、抽出データを制御コントローラ３に出力する。 First, in S 11, an image is input to the image processing device 20. When a video is input, it is output to the data extraction device 21. In S12, the data extraction device 21 extracts data such as information added to the broadcast as described above, and outputs the extracted data to the control controller 3.

Ｓ１３において、制御コントローラ３は、抽出されたデータと、記憶装置２に保存されているＬＵＴ選択の条件となる抽出データ２３とを比較し、一致しない場合は、本処理を終了して、ホワイトバランス調整を行わず、映像を出力する。入力映像の抽出データと記憶装置２に保存されている抽出データとの比較で、一致や近似などの特定条件を満たした場合に、記憶装置２から読み出した抽出データには、上記に述べたように一意に付与した識別番号がヘッダーとして付けられているので、Ｓ１４において、この識別番号からテーブルを参照して対応するＬＵＴの情報を抽出し、Ｓ１５でＬＵＴ切換えスイッチ５を切換えてホワイトバランス調整ＬＵＴ部６において適切なＬＵＴを選択し、Ｓ１６でホワイトバランス調整された映像が出力映像として出力される。 In S13, the controller 3 compares the extracted data with the extracted data 23 that is a condition for selecting the LUT stored in the storage device 2. If they do not coincide with each other, the control controller 3 ends this processing and performs white balance. Output video without adjustment. As described above, the extracted data read from the storage device 2 when the input video extracted data is compared with the extracted data stored in the storage device 2 and a specific condition such as coincidence or approximation is satisfied. Since the identification number uniquely assigned to the header is attached as a header, in S14, the corresponding LUT information is extracted from this identification number by referring to the table, and in S15, the LUT changeover switch 5 is switched to switch the white balance adjustment LUT. An appropriate LUT is selected in the unit 6, and the video whose white balance is adjusted in S16 is output as an output video.

以上のようにして、放送やＤＶＤ等の映像に付加されたデータなどを抽出、参照することにより多種類のＬＵＴの中から自動で適切なＬＵＴを選択する機能を備えることができる。 As described above, it is possible to provide a function for automatically selecting an appropriate LUT from among various types of LUTs by extracting and referring to data added to video such as broadcasts and DVDs.

［第３の実施形態］
本実施形態においては、第２の実施形態のような入力映像の付加データがない場合に、色抽出によって実施する方法について説明する。 [Third Embodiment]
In the present embodiment, a method that is performed by color extraction when there is no additional data of the input video as in the second embodiment will be described.

本実施形態においては、ＥＰＧなどからの抽出データではなく、データ抽出装置２１は、条件とする抽出データ２３として、入力映像からデータ抽出装置２１にあらかじめ設定した抽出色、座標、範囲、数量によって色データが抽出され、この抽出されたデータを記憶装置２に保存する。 In the present embodiment, instead of the extracted data from EPG or the like, the data extracting device 21 uses the extracted color, coordinates, range, and quantity preset in the data extracting device 21 from the input video as the extracted data 23 as a condition. Data is extracted, and the extracted data is stored in the storage device 2.

制御コントローラ３が、抽出データとＬＵＴの情報を対応づけ、識別番号を付与して記憶装置２に保存する手順は、第２の実施形態と同様である。 The procedure in which the controller 3 associates the extracted data with the information of the LUT, assigns an identification number, and saves it in the storage device 2 is the same as in the second embodiment.

そして、入力映像からＬＵＴを選択する手順は、第２の実施形態と同様で、制御コントローラ３は、入力映像からデータ抽出装置２１によって抽出されたデータと、記憶装置２に保存されているデータ２３とを比較し、一致や近似などの特定条件を満たした場合に、記憶装置２に保存されたデータ２３と対応するＬＵＴを自動で選択することでホワイトバランス調整された映像が出力映像として出力される。 The procedure for selecting the LUT from the input video is the same as in the second embodiment. The controller 3 extracts the data extracted from the input video by the data extraction device 21 and the data 23 stored in the storage device 2. When a specific condition such as coincidence or approximation is satisfied, the data 23 and the LUT corresponding to the data 23 stored in the storage device 2 are automatically selected, and an image with white balance adjusted is output as an output image. The

以上のように、入力映像に付加データがない場合についても、一度適切なＬＵＴを選択して記憶装置２に設定しておくことで、次回以降、色抽出によって条件を満たした映像については自動で適切なＬＵＴを選択することが可能となる。 As described above, even when there is no additional data in the input video, once the appropriate LUT is selected and set in the storage device 2, the video that satisfies the conditions by color extraction is automatically selected from the next time. An appropriate LUT can be selected.

例えば、空の色が少し青みがかっている映像の場合、空の領域を抽出範囲として設定し記憶装置２に保存することで、次回以降の同映像や似た映像に対して色抽出による適切なＬＵＴ選択が可能となる。 For example, in the case of a video in which the sky color is slightly bluish, an appropriate LUT can be obtained by color extraction for the same video or a similar video after the next time by setting the sky area as an extraction range and storing it in the storage device 2. Selection becomes possible.

［第４の実施形態］
本実施形態においては、第２の実施形態のような入力映像の付加データがない場合に、輝度のヒストグラムによって実施する方法について説明する。 [Fourth Embodiment]
In the present embodiment, a method will be described which is performed by a luminance histogram when there is no additional data of input video as in the second embodiment.

本実施形態において、データ抽出装置２１は、条件とする抽出データ２３として、入力映像から輝度のヒストグラムを抽出し、この抽出したデータを記憶装置２に保存する。 In the present embodiment, the data extraction device 21 extracts a luminance histogram from the input video as the extraction data 23 as a condition, and stores the extracted data in the storage device 2.

制御コントローラ３が、抽出データとＬＵＴの情報を対応づけ、識別番号を付与して記憶装置に保存する手順は、第２の実施形態と同様である。 The procedure in which the controller 3 associates the extracted data with the LUT information, assigns an identification number, and saves it in the storage device is the same as in the second embodiment.

以上のように、入力映像に付加データがない場合についても、一度適切なＬＵＴを選択して記憶装置２に設定しておくことで、次回以降、輝度のヒストグラムによって条件を満たした映像については自動で適切なＬＵＴを選択することが可能となる。 As described above, even when there is no additional data in the input video, once the appropriate LUT is selected and set in the storage device 2, the video that satisfies the condition by the luminance histogram will be automatically selected from the next time. Thus, an appropriate LUT can be selected.

例えば、輝度の変化に特徴のある領域を指定し、指定領域内の輝度のヒストグラムを一定時間毎に測定し、特定輝度（複数）の変化量を記憶装置２に保存することで、次回以降の同映像や似た映像に対してヒストグラムの比較による適切なＬＵＴ選択が可能となる。 For example, by designating a region having a characteristic in luminance change, measuring a histogram of luminance in the designated region at regular intervals, and storing a change amount of specific luminance (plurality) in the storage device 2, Appropriate LUT selection can be performed by comparing histograms for the same image or similar images.

ところで、１つの放送番組の中でＬＵＴの切換えを行う場合、多種類のＬＵＴの切り替わりが目立つと視覚上視聴者が違和感を感じるため、フェードする形で切り替えるなどのハンチング対策や、シーンチェンジでの切り替わり判定や、時間経過、条件該当時の閾値判定などを施しても良い。 By the way, when switching LUTs within a single broadcast program, the visual viewers feel uncomfortable when there are many types of LUT switching. You may perform switching determination, time progress, threshold determination at the time of condition applicable, etc.

以上のように、コンテンツのホワイトバランスを簡易に補正する手段として、複数のＬＵＴを保存して、また、コンテンツに対するユーザーの嗜好、コンテンツ自身の特徴抽出又はコンテンツの付属情報などを用いてコンテンツの特徴付けを行い、各ＬＵＴとコンテンツの特徴付けの情報とを対応させ、制御コントローラ３がコンテンツの特徴から最適なＬＵＴを選択し、ホワイトバランス調整を行うことで、低コストで効率的な補正を施すことを可能とするとともに色合いの再現性を高めることを可能とする。 As described above, as a means for easily correcting the white balance of the content, a plurality of LUTs are stored, and the feature of the content using the user's preference for the content, the feature extraction of the content itself, or the attached information of the content, etc. The control controller 3 selects the optimum LUT from the features of the content and adjusts the white balance so that low-cost and efficient correction is performed. This makes it possible to improve the reproducibility of the hue.

尚、本発明の画像処理装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。 It should be noted that the image processing apparatus of the present invention is not limited to the illustrated examples described above, and it is needless to say that various changes can be made without departing from the scope of the present invention.

本発明の第１の実施形態における画像処理装置のブロック図である。1 is a block diagram of an image processing apparatus according to a first embodiment of the present invention. 本発明の第１の実施形態における記憶装置に格納されたＬＵＴについてのテーブルの一例である。It is an example of the table about LUT stored in the memory | storage device in the 1st Embodiment of this invention. 本発明の第１の実施形態におけるホワイトバランス調整を行う手順を示したフローチャート図である。It is the flowchart figure which showed the procedure which performs the white balance adjustment in the 1st Embodiment of this invention. 本発明の第２の実施形態における画像処理装置のブロック図である。It is a block diagram of the image processing apparatus in the 2nd Embodiment of this invention. 本発明の第２の実施形態における記憶装置に格納されたＬＵＴについてのテーブルの一例である。It is an example of the table about LUT stored in the memory | storage device in the 2nd Embodiment of this invention. 本発明の第２の実施形態におけるホワイトバランス調整を行う手順を示したフローチャート図である。It is the flowchart figure which showed the procedure which performs the white balance adjustment in the 2nd Embodiment of this invention.

符号の説明Explanation of symbols

１、２０画像処理装置
２記憶装置
３制御コントローラ
４ＬＵＴ作成回路
５ＬＵＴ切換えスイッチ
６ホワイトバランス調整ＬＵＴ部
７外部入力装置
８ＬＵＴ
９識別子
１０アドレス
１１、２４ＬＵＴの種別情報
２１データ抽出装置
２２識別番号
２３条件データ 1, 20 Image processing device 2 Storage device 3 Controller 4 LUT creation circuit 5 LUT changeover switch 6 White balance adjustment LUT unit 7 External input device 8 LUT
9 Identifier 10 Address 11, 24 LUT type information 21 Data extraction device 22 Identification number 23 Condition data

Claims

入力された入力画像に対してホワイトバランスを調整する画像処理装置であって、
ホワイトバランス補正を行う補正データを格納したホワイトバランス調整手段と、
前記補正データを参照するための参照情報と該参照情報と関連づけた条件データを記憶する記憶手段と、
前記入力画像の特徴情報から前記条件データの選択を行い、前記記憶手段から前記条件データに対応する前記補正データの参照情報を抽出し、該補正データの参照情報により前記ホワイトバランス調整手段から補正データを選択する制御手段とを備え、前記補正データが前記入力画像のホワイトバランス調整を行うことを特徴とする画像処理装置。 An image processing apparatus for adjusting white balance with respect to an input image,
White balance adjustment means storing correction data for white balance correction;
Storage means for storing reference information for referring to the correction data and condition data associated with the reference information;
The condition data is selected from the feature information of the input image, the reference information of the correction data corresponding to the condition data is extracted from the storage means, and the correction data from the white balance adjustment means is extracted from the reference information of the correction data. An image processing apparatus, wherein the correction data performs white balance adjustment of the input image.

前記制御手段は、外部入力装置より送信される制御信号に含まれる識別子及び該識別子に対応した認識情報、又は認識情報のみから前記記憶手段における前記補正データの参照情報を抽出し、前記条件データは前記認識情報であることを特徴とする請求項１に記載の画像処理装置。 The control means extracts the identifier included in the control signal transmitted from the external input device and the recognition information corresponding to the identifier, or the reference information of the correction data in the storage means only from the recognition information, and the condition data is The image processing apparatus according to claim 1, wherein the information is the recognition information.

前記識別子は、前記外部入力装置により登録可能な文字列であり、前記認識情報は、前記記憶手段における前記識別子の格納アドレス又は前記制御手段が一意に付与した識別番号であることを特徴とする請求項２に記載の画像処理装置。 The identifier is a character string that can be registered by the external input device, and the recognition information is a storage address of the identifier in the storage unit or an identification number uniquely given by the control unit. Item 3. The image processing apparatus according to Item 2.

前記入力画像から特徴となるデータを抽出するデータ抽出手段を備え、
前記入力画像の特徴情報及び前記条件データは、前記抽出データであり、前記制御手段は該入力画像の特徴情報と該条件データとが一致又は近似などの特定条件を満たすか比較して該入力画像の特徴情報から該条件データを選択することを特徴とする請求項１に記載の画像処理装置。 Data extraction means for extracting characteristic data from the input image;
The feature information of the input image and the condition data are the extracted data, and the control means compares the input image with whether the feature information of the input image and the condition data satisfy specific conditions such as matching or approximation. The image processing apparatus according to claim 1, wherein the condition data is selected from the feature information.

前記抽出データは、画像に付加されている情報、画像が記憶された時刻情報、前記データ抽出手段に設定されている条件情報により抽出された色データ、又は測定した輝度のヒストグラムであることを特徴とする請求項４に記載の画像処理装置。 The extracted data is information added to an image, time information when the image is stored, color data extracted by condition information set in the data extracting means, or a histogram of measured luminance. The image processing apparatus according to claim 4.

前記補正データは、ＬＵＴ（ＬｏｏｋＵｐＴａｂｌｅ）であることを特徴とする請求項１から請求項５に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the correction data is a LUT (Look Up Table).