JP4468079B2

JP4468079B2 - Image processing apparatus and image search method

Info

Publication number: JP4468079B2
Application number: JP2004171761A
Authority: JP
Inventors: 千明大草
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-06-09
Filing date: 2004-06-09
Publication date: 2010-05-26
Anticipated expiration: 2024-06-09
Also published as: JP2005352690A

Description

本発明は、画像処理装置及び画像検索方法に関し、特に固体撮像素子を用いて撮影された画像データを対象とする、画像処理装置及び画像検索方法に関する。 The present invention relates to an image processing apparatus and an image search method, and more particularly, to an image processing apparatus and an image search method for image data captured using a solid-state imaging device.

一般的に、写真は、様々な状況で撮影される。例えば、屋内で撮影する場合もあれば、屋外で撮影する場合もある。屋内で撮影する場合であっても、日中に窓際などで撮影する場合のように自然光で撮影したり、蛍光灯などの照明下や、フラッシュを用いて撮影するなど様々な状況が考えられる。また、屋外で撮影する場合には、天候や、撮影する場所、時間等の様々な要因によって、得られる画像の明るさや色合い等が左右される。 Generally, photographs are taken in various situations. For example, there are cases where the image is taken indoors and cases where the image is taken outdoors. Even when shooting indoors, various situations are conceivable, such as shooting with natural light, such as when shooting at the window during the day, shooting under fluorescent light, or using a flash. In addition, when shooting outdoors, the brightness, hue, and the like of the obtained image depend on various factors such as the weather, the shooting location, and time.

従来、固体撮像素子を用いて撮影を行う、デジタルカメラやデジタルビデオカメラなどの撮像装置により撮影した画像の撮影時の光源を特定する方法として、例えば以下のような方法がある。 Conventionally, as a method for specifying a light source at the time of shooting an image shot by an imaging device such as a digital camera or a digital video camera that performs shooting using a solid-state imaging device, for example, the following methods are available.

まず、撮像装置が、外部からの入力に応じて画像に情報を付加することのできる手段を持つ場合、撮影者が撮影時に属性情報として光源情報を画像データに付加したり、画像再生時に画像再生装置で撮影者が画像にテキストデータなどの情報として光源情報を付加たり、また、撮影時に撮影者が、センサーを用いて光源色温度を測定し、記録する方法がある。いずれの場合も、記録された光源情報や光原色温度から、撮影された画像の光源を知ることができる。 First, when the imaging device has means that can add information to an image in response to an input from the outside, the photographer adds light source information to the image data as attribute information at the time of shooting, or image playback at the time of image playback. There is a method in which a photographer adds light source information as information such as text data to an image in the apparatus, and a photographer measures and records a light source color temperature using a sensor during photographing. In either case, the light source of the captured image can be known from the recorded light source information and the light primary color temperature.

一方、白紙を撮影した時と同じ光源下で撮影した画像に対して、白紙が無彩色になるようなホワイトバランス量を算出し、該ホワイトバランス量を適用して、ホワイトバランス調整をする技術がある（例えば、特許文献１参照）。 On the other hand, there is a technology that calculates the white balance amount so that the white paper becomes achromatic for the image taken under the same light source as when the white paper was photographed, and applies the white balance amount to adjust the white balance. Yes (see, for example, Patent Document 1).

特開平６−９８３４８号公報JP-A-6-98348

上記のように、従来、撮影した画像の光源を特定する方法や、撮影した各画像をそれぞれ処理する際に、各画像を撮影した時の光源の性質に応じた処理を行うことは開示されているが、光源に関する情報を利用するその他の方法について、提案がなされていなかった。 As described above, conventionally, it has been disclosed to specify a light source of a captured image and to perform processing according to the property of the light source when each image was captured when processing each captured image. However, there have been no proposals for other methods of using information about the light source.

本発明は上記問題点を鑑みてなされたものであり、光源に関する情報を有効に活用し、画像の処理や、画像データの管理にかかる利便性を向上させることを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to effectively use information on a light source and improve convenience in image processing and image data management.

上記目的を達成するために、本発明の画像処理装置は、固体撮像装置により撮影された画像を入力する入力手段と、前記画像の光源を判定する光源判定手段と、光源を指定する指定手段と、前記光源判定手段により判定された光源に基づいて、前記指定手段により指定された光源と同じ光源の画像を、前記入力された画像の中から検索する検索手段と、前記光源判定手段により判定された前記光源に関する情報を表示するように制御する表示制御手段とを有し、
前記光源判定手段は複数の光源を候補として選出し、前記表示制御手段は前記複数の光源の候補を可能性の高い順に表示する。 In order to achieve the above object, an image processing apparatus of the present invention includes an input unit that inputs an image captured by a solid-state imaging device, a light source determination unit that determines a light source of the image, and a designation unit that specifies a light source. Based on the light source determined by the light source determination unit, the light source determination unit determines the image of the same light source as the light source specified by the specification unit, and the light source determination unit determines the image from the input image. Display control means for controlling to display information on the light source,
The light source determination means selects a plurality of light sources as candidates, and the display control means displays the plurality of light source candidates in the order of possibility .

また、本発明の画像検索方法は、固体撮像装置により撮影された画像を入力する入力工程と、光源を指定する指定工程と、前記画像の光源を判定する光源判定工程と、前記光源判定工程により判定された光源に基づいて、前記指定工程により指定された光源と同じ光源の画像を、前記入力された画像の中から検索する検索工程と、前記光源判定工程では複数の光源を候補として選出し、表示制御手段により、前記複数の光源の候補を可能性の高い順に表示する表示工程とを有する。 The image search method of the present invention includes an input step for inputting an image captured by a solid-state imaging device, a designation step for designating a light source, a light source determination step for determining a light source of the image, and the light source determination step. Based on the determined light source, a search step for searching the input image for an image of the same light source as the light source specified in the specifying step, and a plurality of light sources are selected as candidates in the light source determination step. And a display step of displaying the plurality of light source candidates in descending order of possibility by the display control means .

光源に関する情報を有効に活用し、画像の処理や、画像データの管理にかかる利便性を向上させることができる。 Information relating to the light source can be effectively used to improve the convenience of image processing and image data management.

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。 The best mode for carrying out the present invention will be described below in detail with reference to the accompanying drawings.

図１は、本発明の実施の形態における画像処理装置の機能構成を示すブロック図である。本実施の形態の画像処理装置は、固体撮像素子を用いて光学像を電気的な画像データに変換して撮影を行う、デジタルスチルカメラやデジタルビデオカメラ等の電子カメラにより得られた画像データを処理する。 FIG. 1 is a block diagram showing a functional configuration of an image processing apparatus according to an embodiment of the present invention. The image processing apparatus according to the present embodiment uses image data obtained by an electronic camera such as a digital still camera or a digital video camera that performs imaging by converting an optical image into electrical image data using a solid-state imaging device. To process.

図１において、１０１は画像入力部で、画像データを入力する。画像データを入力する方法としては、電子カメラとケーブルを介して接続したり、赤外線通信により接続して画像データを取得する方法や、ネットワークを介して任意の外部装置から画像データを取得する方法、また、コンパクトフラッシュ（登録商標）などのメモリカード等の任意の記憶媒体のドライブとして構成し、記憶媒体から画像データを読み出す方法など、様々な方法が考えられるが、どのような方法を採用してもよく、また、複数の方法にそれぞれ対応する複数の構成を提供するようにしても勿論構わない。 In FIG. 1, 101 is an image input unit for inputting image data. As a method of inputting image data, a method of connecting to an electronic camera via a cable, a method of acquiring image data by connecting by infrared communication, a method of acquiring image data from an arbitrary external device via a network, In addition, various methods such as a method of reading out image data from a storage medium such as a memory card such as a compact flash (registered trademark) can be considered, and any method is adopted. Of course, a plurality of configurations respectively corresponding to a plurality of methods may be provided.

１０３は、複数枚の画像を記憶するのに十分な容量を有する画像メモリ、１０２はメモリ制御部で、画像入力部１０１を介して入力する画像データを画像メモリ１０３に格納したり、後述する処理に応じて必要な画像データを画像メモリ１０３から読み出したりする。 Reference numeral 103 denotes an image memory having a sufficient capacity for storing a plurality of images. Reference numeral 102 denotes a memory control unit, which stores image data input via the image input unit 101 in the image memory 103 or processing described later. In response to this, necessary image data is read from the image memory 103.

１０４はホワイトバランス（ＷＢ）補正部で、後述する方法により抽出された画像データの無彩色（例えば、白やグレー）の部分のデータに基づいて、ホワイトバランス補正を行う。１０５は光源判定部で、画像データのヘッダ領域等に光源に関する情報（以下、「光源情報」と呼ぶ。）が付加されているかを判断し、付加されている場合にはその光源情報を取得し、付加されていない場合にはＷＢ補正部１０４で抽出された白部分データまたは、ＷＢ補正用のデータに基づいて、その画像を撮影したときの光源を推定する。なお、光源情報は、光源の種類や、色温度、また、画像データが電子カメラにおいてすでにホワイトバランス補正されているのであれば、その時に使用されたホワイトバランスゲインや、ホワイトバランスゲインを決めるために算出された色評価値、事前に撮影した白紙からホワイトバランスゲインを算出する場合の白紙画像データを含む。 A white balance (WB) correction unit 104 performs white balance correction based on achromatic color (for example, white or gray) portions of image data extracted by a method described later. Reference numeral 105 denotes a light source determination unit that determines whether information on a light source (hereinafter referred to as “light source information”) is added to the header area of the image data, and if so, acquires the light source information. If not added, the light source when the image is photographed is estimated based on the white portion data extracted by the WB correction unit 104 or the data for WB correction. The light source information is used to determine the type of light source, the color temperature, and the white balance gain and white balance gain used at that time if the image data has already been subjected to white balance correction in the electronic camera. The calculated color evaluation value and blank image data for calculating the white balance gain from the blank image taken in advance are included.

１０９はメモリ、１０６は画像処理装置全体の処理を制御するＣＰＵで、不図示の内部メモリやメモリ１０９などに記憶されたプログラムに従って処理を行う。１０７はＣＲＴやＬＣＤなどの表示部、１０８は操作部で、例えば、マウス、キーボード、タッチパネル、ボタンなど、どのようなものであってもよい。なお、表示部１０７及び操作部１０８を画像処理装置の周辺機器として構成してもよいことは言うまでもない。 Reference numeral 109 denotes a memory, and 106 denotes a CPU that controls the processing of the entire image processing apparatus, and performs processing according to a program stored in an internal memory (not shown) or the memory 109. Reference numeral 107 denotes a display unit such as a CRT or LCD, and reference numeral 108 denotes an operation unit, which may be anything such as a mouse, a keyboard, a touch panel, and buttons. Needless to say, the display unit 107 and the operation unit 108 may be configured as peripheral devices of the image processing apparatus.

上記構成を有する画像処理装置は、画像入力部１０１から入力された画像を、その画像の光源に基づいて検索し、分類することができる。 The image processing apparatus having the above configuration can search and classify the image input from the image input unit 101 based on the light source of the image.

画像の光源を特定する方法としては、まず、上記従来例で説明したように、画像データに付加情報として付加されている光源情報を用いる方法がある。また、光源情報が付加されていない画像については、その画像データを解析することで光源を推測することができる。ここで、光源推測の原理について説明する。本実施の形態では、ホワイトバランス補正で用いられる技術を利用する。なお、解析する画像データの画像が、図２（ａ）に示すような原色フィルタを使用した電子カメラにより撮影されているものとする。 As a method for specifying a light source of an image, there is a method of using light source information added as additional information to image data as described in the conventional example. For an image to which light source information is not added, the light source can be estimated by analyzing the image data. Here, the principle of light source estimation will be described. In the present embodiment, a technique used in white balance correction is used. It is assumed that the image of the image data to be analyzed is taken by an electronic camera using a primary color filter as shown in FIG.

ホワイトバランス補正では、色信号R、G₁、G₂、Bを一つずつ含む単位で構成された図２（ｂ）の各ブロックごとに、色評価値Cx、Cy、Yを式（１）に基づいて算出する。 In the white balance correction, the color evaluation values Cx, Cy, and Y are expressed by the formula (1) for each block in FIG. 2 (b) configured in units including one color signal R, G ₁ , G ₂ , and B, respectively. Calculate based on

上記式（１）により算出した各ブロックの色評価値Cx、Cyを予め設定した後述する白検出領域と比較し、白検出領域に含まれる場合、そのブロックが白であると仮定する。そして、白と仮定された全てのブロックのそれぞれの色画素の積分値（SumR、SumG₁、SumG₂、SumB）を算出する。算出された積分値から以下の式（２）を用いてＲＧＢ各色用のホワイトバランスゲインkWB_R、kWB_G₁、kWB_G₂、kWB_Bを算出する。
kWB_R=1.0/SumR
kWB_G₁=1.0/SumG₁
kWB_G₂=1.0/SumG₂ …（２）
kWB_B=1.0/SumB The color evaluation values Cx and Cy of each block calculated by the above equation (1) are compared with a preset white detection area, which will be described later, and when included in the white detection area, it is assumed that the block is white. Then, the integrated values (SumR, SumG ₁ , SumG ₂ , SumB) of the respective color pixels of all the blocks assumed to be white are calculated. The white balance gains kWB_R, kWB_G ₁ , kWB_G ₂ , and kWB_B for each color of RGB are calculated from the calculated integration value using the following equation (2).
kWB_R = 1.0 / SumR
kWB_G ₁ = 1.0 / SumG ₁
kWB_G ₂ = 1.0 / SumG ₂ (2)
kWB_B = 1.0 / SumB

このようにして得られたホワイトバランスゲインを用いてホワイトバランス補正を行う。 White balance correction is performed using the white balance gain thus obtained.

図３は、上述したホワイトバランス補正のための白ブロックを判定するために用いられる白検出領域を示すグラフである。この白検出領域を求めるには、高色温度から低色温度まで、任意の色温度間隔の光源を用いて不図示の基準白色板などの白色被写体を撮影し、撮像素子から得られた信号値より上記式（１）に基づいて色評価値Cx、Cyを算出する。そして、それぞれの光源について得られたCxをＸ軸、CyをＹ軸としてプロットしたものを直線で結ぶか、プロットした点を複数の直線を用いて近似する。これにより、高色温度から低色温度までの白検出軸が作られる。実際には白でも分光に若干のばらつきがあるため、白検出軸に対してＹ軸方向に若干の幅を持たせたものを白検出領域と定義する。なお、ここでは、光源の種類を推定するために無彩色（例えば、白色）を用いることについて説明するが、他に光源の推定ができる色であれば、例えば、肌色等の有彩色から肌色検出軸を用いて推定するようにしても良い。 FIG. 3 is a graph showing a white detection region used for determining a white block for the above-described white balance correction. In order to obtain the white detection region, a white object such as a reference white plate (not shown) is photographed using a light source having an arbitrary color temperature interval from a high color temperature to a low color temperature, and a signal value obtained from an image sensor. From the above equation (1), the color evaluation values Cx and Cy are calculated. Then, the plots obtained by plotting Cx obtained for each light source with the X axis as the X axis and Cy as the Y axis are connected by a straight line, or the plotted points are approximated using a plurality of straight lines. This creates a white detection axis from the high color temperature to the low color temperature. Actually, even in white, there is a slight variation in the spectrum. Therefore, a white detection region having a slight width in the Y-axis direction with respect to the white detection axis is defined. Note that here, the use of an achromatic color (for example, white) for estimating the type of light source will be described. However, if the color of the light source can be estimated, for example, the skin color is detected from a chromatic color such as a skin color. You may make it estimate using an axis | shaft.

光源の種類を推定するためには、まず、上記ホワイトバランスゲインを算出する過程において算出される、白と仮定された全てのブロックのそれぞれの色画素の積分値（SumR、SumG₁、SumG₂、SumB）を、式（１）の色信号R、G₁、G₂、Bの代わりにそれぞれ代入して、色評価値Cx、Cyを求める。 In order to estimate the type of the light source, first, the integral values (SumR, SumG ₁ , SumG ₂ , each of the color pixels of all the blocks assumed to be white, which are calculated in the process of calculating the white balance gain, are described. SumB) is substituted for the color signals R, G ₁ , G ₂ , and B in Equation (1), respectively, to obtain color evaluation values Cx and Cy.

光源の種類により白点の色評価値Cx、Cyはほぼ一定であるので、上述したように白検出領域を用いて検出した白点の色評価値Cx、Cyに最も近い色評価値Cx、Cyを有する光源を、その画像の光源であると推定することができる。つまり、算出した色評価値Cx、Cyに、図３に示す座標上で最も距離の近い光源を解析対象画像の光源と推定する。たとえば色評価値Cx、Cyが図３の点Ａの場合、座標上もっとも距離の近い蛍光灯（白色）を光源として推定する。なお、白検出領域及び、光源の種類と色評価値との組み合わせは、メモリ１０９などに保持しておく。 Since the white point color evaluation values Cx and Cy are almost constant depending on the type of light source, as described above, the color evaluation values Cx and Cy closest to the white point color evaluation values Cx and Cy detected using the white detection region Can be estimated to be the light source of the image. That is, the light source closest to the calculated color evaluation values Cx and Cy on the coordinates shown in FIG. 3 is estimated as the light source of the analysis target image. For example, when the color evaluation values Cx and Cy are point A in FIG. 3, the fluorescent lamp (white) having the closest distance in terms of coordinates is estimated as the light source. The white detection area and the combination of the light source type and the color evaluation value are stored in the memory 109 or the like.

また、上記のホワイトバランス補正方法では、画像の白点を自動的に求めたが、ユーザーに選択させるように構成することも可能である。その場合、まず、解析対象の画像を表示部１０７に表示する。画像が表示された場合のユーザーインターフェイスの一例を図４に示す。スポイトボタン４０２を押すと、カーソル４０１がスポイト型に変わり（スポイト４０３）、マウスクリックなどの操作部１０８の操作でユーザーが白と判断する任意の位置を指定する。この指定された位置の画素の色信号、またはその画素及び周辺画素の色信号の各色毎の合計を用いて、上記式（１）により白点の色評価値Cx、Cyを取得することができる。言うまでもなく、図４に示すユーザーインターフェイスは一例であり、表示の仕方は適宜設計可能である。 Further, in the above white balance correction method, the white point of the image is automatically obtained, but it may be configured to allow the user to select it. In that case, first, an image to be analyzed is displayed on the display unit 107. An example of a user interface when an image is displayed is shown in FIG. When the dropper button 402 is pressed, the cursor 401 changes to a dropper type (dropper 403), and an arbitrary position at which the user determines white is designated by an operation of the operation unit 108 such as a mouse click. Using the color signal of the pixel at the designated position or the sum of each color signal of the pixel and peripheral pixels, the color evaluation values Cx and Cy of the white point can be obtained by the above equation (1). . Needless to say, the user interface shown in FIG. 4 is an example, and the display method can be designed as appropriate.

図５は、ユーザーインターフェイスを用いてユーザーに白点を選択させる場合の、解析対象画像の光源を推定する処理を示すフローチャートである。 FIG. 5 is a flowchart showing a process of estimating the light source of the analysis target image when the user selects a white spot using the user interface.

ステップＳ１１で、表示部１０７に図４に示すように解析対象画像を表示する。次に、ステップＳ１２で、ユーザーが画像中の白と認識する任意の位置を白点として、指定する。 In step S11, the analysis target image is displayed on the display unit 107 as shown in FIG. In step S12, an arbitrary position that the user recognizes as white in the image is designated as a white point.

ステップＳ１３で、ステップＳ１２にて指定された位置または、指定された位置およびその周辺の画素のＲＧＢ値から色評価値Cx、Cyを算出する。ここでは式（１）により求めることができる。指定された位置および周辺の画素のR、G₁、G₂、B値から色評価値算出する場合、式（１）の入力値となるR、G₁、G₂、B値値を、例えば、式（３）により算出する。なお、式（３）において、指定された位置の画素のＲＧＢ値をそれぞれR(x,y)、 G₁(x,y)、G₂(x,y)、B(x,y) 、とする。 In step S13, color evaluation values Cx and Cy are calculated from the RGB values of the position designated in step S12 or the designated position and surrounding pixels. Here, it can be obtained by the equation (1). R in the specified position and neighborhood pixels, G _1, G _2, when calculating the color evaluation values from B value, R as an input value of the formula (1), the G _1, G _2, B value value, e.g. , Calculated by equation (3). In Equation (3), the RGB values of the pixel at the designated position are R (x, y), G ₁ (x, y), G ₂ (x, y), B (x, y), and To do.

ステップＳ１４で、算出した色評価値Cx、Cyと、予め各光源下で撮影した白点のCx、Cyとの座標上の距離が最も近い光源を選択する。ステップＳ１５で光源情報として画像に登録するか否かの判定を行う。ユーザーがユーザーインターフェイスから操作部１０８により光源情報を登録すると操作した場合（例えば、ダイアログのＯＫボタン押下など）、ステップＳ１６の画像ファイルのヘッダに光源情報として書き込みを行う。 In step S14, the light source having the closest coordinate distance between the calculated color evaluation values Cx and Cy and the white points Cx and Cy photographed in advance under each light source is selected. In step S15, it is determined whether or not to register the light source information in the image. When the user operates to register light source information from the user interface using the operation unit 108 (for example, pressing an OK button in the dialog), the light source information is written in the header of the image file in step S16.

上記ステップＳ１３及びＳ１４の処理は、光源判定部１０５単独で行うように構成しても、ＷＢ補正部１０４と共同で行うように構成してもよい。 The processing in steps S13 and S14 may be configured to be performed by the light source determination unit 105 alone or may be configured to be performed jointly with the WB correction unit 104.

なお、上記処理例では、ステップＳ１４において、図３の座標上の距離が最も近い光源を選択するようにしたが、距離が近いものから複数の光源を選択し、距離が近い順（つまり、解析対象の画像の光源として可能性が高い順）に候補として提示することも可能である。その場合、ユーザーが提示された光源から選択することが可能である。また、距離が最も近い光源のみを選択した場合、選択した光源を表示してユーザーの確認を求めるように構成しても良い。その場合、例えばユーザーが適切ではないと判断したときに、図５の処理を繰り返したり、複数候補を提示するようにすれば、より正確に光源の種類を特定することができる。 In the above processing example, in step S14, the light source having the shortest distance on the coordinates in FIG. 3 is selected. However, a plurality of light sources are selected from those having the shortest distance, and in order of increasing distance (that is, analysis). It is also possible to present them as candidates in the order of high possibility as the light source of the target image. In that case, the user can select from the presented light sources. Moreover, when only the light source with the shortest distance is selected, the selected light source may be displayed to ask for user confirmation. In that case, for example, when the user determines that it is not appropriate, the type of the light source can be specified more accurately by repeating the processing of FIG. 5 or presenting a plurality of candidates.

また、上記説明から明らかなように、色評価値Cx、Cyを利用して得られるホワイトバランスゲインも光源によりおおよそ一定であるので、ホワイトバランスゲインと光源の種類とを予め関連づけて記憶しておくことにより、ホワイトバランスゲインから光源を推定することも可能である。つまり、解析対象の画像のホワイトバランスゲインに最も近いホワイトバランスゲインを有する光源を、その画像の光源と推定することができる。 Further, as is clear from the above description, the white balance gain obtained by using the color evaluation values Cx and Cy is also approximately constant depending on the light source. Therefore, the white balance gain and the type of the light source are stored in association with each other in advance. Thus, the light source can be estimated from the white balance gain. That is, the light source having the white balance gain closest to the white balance gain of the image to be analyzed can be estimated as the light source of the image.

次に、画像処理装置における本実施の形態の検索処理について、図６を参照して説明する。なお、ここでは、画像入力部１０１を介して画像データがすでに入力され、メモリ１０３に保存されているものとする。 Next, the search processing of the present embodiment in the image processing apparatus will be described with reference to FIG. Here, it is assumed that image data has already been input via the image input unit 101 and stored in the memory 103.

まず、ステップＳ２１において検索対象にする画像群（検索範囲）を選択し、ステップＳ２２で、検索のキーとなる光源の種類を選択する。ここでは例えば、図７に示すような光源のリストを表示部１０７に表示し、その中からユーザーが選択するようにする。また、任意の画像をユーザーに選択させて、その画像の光源を検索のキーとして用いるようにしてもよい。 First, in step S21, an image group (search range) to be searched is selected, and in step S22, the type of light source that is a search key is selected. Here, for example, a list of light sources as shown in FIG. 7 is displayed on the display unit 107 so that the user can select from the list. Alternatively, an arbitrary image may be selected by the user, and the light source of the image may be used as a search key.

ステップＳ２３では、ステップＳ２１で選択された画像群から、予め決められた規則に基づいて１枚の画像を解析対象に設定する。ステップＳ２４では、カウンタｉを０に初期化し、ステップＳ２５でカウンタｉと選択中の画像群の枚数を比較する。１枚目の画像を解析する時にはカウンタｉの方が小さいのでステップＳ２６に進み、光源判定部１０５は光源情報が解析対象の画像データに付加されているかどうかを判断する。付加されている場合にはステップＳ２７において光源情報を読み取り、付加されていない場合には、例えば図５を参照して説明した方法により光源を推定する。なお、上述したように、光源の推定処理は図５の処理に限られるものではなく、白点を自動検出するなど適宜変更が可能であって、画像データを用いて光源が推定できるのであれば、その方法は問わない。 In step S23, one image is set as an analysis target based on a predetermined rule from the image group selected in step S21. In step S24, the counter i is initialized to 0. In step S25, the counter i is compared with the number of selected image groups. Since the counter i is smaller when analyzing the first image, the process proceeds to step S26, and the light source determination unit 105 determines whether light source information is added to the image data to be analyzed. If it is added, the light source information is read in step S27. If it is not added, the light source is estimated by the method described with reference to FIG. 5, for example. As described above, the light source estimation process is not limited to the process shown in FIG. 5, and can be changed as appropriate, such as automatically detecting a white spot, and the light source can be estimated using image data. Any method can be used.

次に、ステップＳ２９で、解析対象の画像を撮影した光源が、ステップＳ２２で選択された光源と一致するかどうかを判断し、一致した場合には、ステップＳ３０でその画像データをフォルダＡに移動する。一方、一致しない場合にはそのままステップＳ３１に進む。 Next, in step S29, it is determined whether or not the light source that has captured the image to be analyzed matches the light source selected in step S22. If they match, the image data is moved to folder A in step S30. To do. On the other hand, if they do not match, the process proceeds directly to step S31.

解析対象の画像が１枚目の場合には、検索キーとして指定された光源が分かるような名前をフォルダ名に用いたフォルダＡを新たに作成しても良いし、各光源毎に予めフォルダを予め作成しておき、対応する光源のフォルダに移動させることも可能である。また、任意のフォルダを予め指定しておき、そのフォルダに画像データを移動するようにしても良い。 When the analysis target image is the first image, a new folder A may be created using a folder name with a name that identifies the light source specified as the search key. It is also possible to create it in advance and move it to the corresponding light source folder. An arbitrary folder may be designated in advance, and the image data may be moved to that folder.

ステップＳ３１では、解析対象となる次の画像を設定し、ステップＳ３２でカウンタｉを１増やして、ステップＳ２５に戻る。ステップＳ２５〜Ｓ３２の処理は、カウンタｉの値がステップＳ２１で選択された画像群の枚数と同じになるまで（ステップＳ２５でＮＯ）、即ち、画像群の全ての画像の解析が終了するまで続けられる。 In step S31, the next image to be analyzed is set, the counter i is incremented by 1 in step S32, and the process returns to step S25. The processes in steps S25 to S32 are continued until the value of the counter i is the same as the number of the image group selected in step S21 (NO in step S25), that is, until the analysis of all the images in the image group is completed. It is done.

上記処理により、指定した光源の画像データが検索されて、該当する画像データファイルが１つのフォルダにまとめられる。 Through the above processing, the image data of the designated light source is searched, and the corresponding image data files are collected in one folder.

なお、分類に用いるフォルダ名に光源の名前を付けたり、フォルダに対して光源を示す予め用意したアイコンを付帯させて表示させるとなお良い。こうすることにより、フォルダを全て開かなくてもどのような光源の画像が入っているかを瞬時に確認することができる。 It should be noted that the name of the light source is assigned to the folder name used for classification, or an icon prepared in advance indicating the light source is attached to the folder for display. By doing so, it is possible to instantly confirm what light source image is contained without opening all folders.

また、ステップＳ３０では画像データのファイルをフォルダＡへ移動したが、ファイル名を表示すれば、検索としても利用可能である。 In step S30, the image data file is moved to the folder A. However, if the file name is displayed, it can also be used as a search.

また、指定した光源を検索キーとして該当する画像データ全てを１つのフォルダに格納してグループ化することについて説明したが、検索キーに該当する画像データが各々別の場所に格納されてあっても、各々の画像データのリンク情報を一括して閲覧できる情報を一時的に表示手段に出力あるいは、記憶媒体に記録されるようにしても良い。 Further, the description has been given of storing all image data corresponding to the designated light source as a search key and grouping them in one folder, but the image data corresponding to the search key may be stored in different locations. Information that allows browsing of link information of each image data at once may be temporarily output to the display means or recorded on a storage medium.

また、検索された画像のヘッダ領域や画像と関連付けられたデータベースにテキストデータを付加するようにするようにしても良い。たとえば、屋外日向で撮影した写真に「ハイキング」というキーワードをつけることも可能である。 In addition, text data may be added to the header area of the searched image or a database associated with the image. For example, the keyword “hiking” can be attached to a photograph taken outdoors in the sun.

更に、検索された画像の画像ファイル名を変換するようにしても良い。たとえば、屋外日向で撮影した写真を検索した場合に「ハイキング」という名前をつけることも可能である。もし、「ハイキング」という名前が重複してしまう場合、「ハイキング000」「ハイキング001」「ハイキング002」と連番をふっていけばデータを上書きすることを防止できる。 Furthermore, the image file name of the searched image may be converted. For example, when searching for photos taken outdoors in the sun, the name “hiking” can be given. If the name “hiking” is duplicated, data can be prevented from being overwritten by assigning sequential numbers “hiking 000”, “hiking 001”, and “hiking 002”.

上記２種類の処理は、ステップＳ３０のフォルダへの移動処理を行う場合に合わせて行うことも、ステップＳ３０の代わりに行うこともできる。 The above two types of processing can be performed in accordance with the movement processing to the folder in step S30, or can be performed instead of step S30.

つまり、検索された画像が、指定された光源と同じ光源の画像であることが判別可能なようにすればよく、そのようにすることで、画像の処理や、画像データの管理にかかる利便性を向上させることができる。 In other words, it is only necessary to make it possible to determine that the retrieved image is an image of the same light source as the designated light source, which makes it convenient for image processing and image data management. Can be improved.

なお、上記例では、光源の種類を求め、求めた光源の種類に基づいて画像を検索、分類したが、ホワイトバランス補正に用いられる色評価値Cx、Cyや、ホワイトバランスゲインを用いて画像を分類しても、同様の結果を得ることができる。 In the above example, the type of the light source is obtained, and the image is searched and classified based on the obtained type of the light source, but the image is obtained using the color evaluation values Cx and Cy used for white balance correction and the white balance gain. Similar results can be obtained by classification.

このような分類方法を用いて、以下のような処理を行うことが可能である。 The following processing can be performed using such a classification method.

検索対象を屋外で撮影した複数枚の画像とし、「太陽光曇り・日陰」を光源として指定することにより、日が陰っているときに撮影した画像を検索したり、検索された画像を一括して削除することができる。逆に、検索対象を屋内で撮影した複数枚の画像とし、「ストロボ」を光源として指定することにより、ストロボ撮影に失敗した画像が検索から漏れるので、容易に失敗した画像を選別し、削除することができる。 You can search multiple images taken outdoors and specify “cloudy sunlight / shade” as the light source to search for images taken when the sun is shaded, or batch search images. Can be deleted. Conversely, by specifying multiple images taken indoors as the search target and specifying "strobe" as the light source, images that failed to shoot with strobes will be omitted from the search, so easily select and delete the failed images. be able to.

また、屋外で撮影した画像と屋内で撮影した画像が混在する場合に、容易に屋外で撮影した画像と屋内で撮影した画像とを分類することができる。 In addition, when an image taken outdoors and an image taken indoors are mixed, it is possible to easily classify an image taken outdoors and an image taken indoors.

また、類似した光源下で撮影したことが予め分かっている画像を検索対象とし、その光源を指定して検索を行えば、ホワイトバランスが適切に行われなかった画像が検索から漏れるので、検索から漏れた画像のホワイトバランス補正を再度行う必要があることを一目で認識することができる。 In addition, if an image that is known in advance to be taken under a similar light source is set as a search target, and the search is performed by specifying the light source, an image for which white balance has not been properly performed is omitted from the search. It can be recognized at a glance that the white balance correction of the leaked image needs to be performed again.

また、類似した光源下で撮影した画像のホワイトバランスゲインの平均値をとり、そのホワイトバランスゲインを用いてホワイトバランス調整を行うことができる。以下、その処理について図８を参照して説明する。 In addition, an average value of white balance gains of images taken under a similar light source can be taken, and white balance adjustment can be performed using the white balance gain. Hereinafter, the process will be described with reference to FIG.

ステップＳ４０で、ユーザーが処理対象とする任意の光源を指定する。ここでの処理は、図６のステップＳ２２と同様である。ステップＳ４１では指定された光源のフォルダを検索する。なお、ステップＳ４０とＳ４１の処理は逆にすることも可能である。つまり、処理対象とするフォルダを先に選択すれば、そのフォルダへの分類に用いた光源は分かっているので、光源の種類が自動的に決まる。 In step S40, the user designates an arbitrary light source to be processed. The process here is the same as step S22 of FIG. In step S41, the designated light source folder is searched. Note that the processing of steps S40 and S41 can be reversed. In other words, if the folder to be processed is selected first, the light source used for classification into the folder is known, so the type of light source is automatically determined.

ステップＳ４２で、変数sum_R、sum_G₁、sum_G₂、sum_Bをそれぞれ０に初期化する。変数sum_R、sum_G₁、sum_G₂、sum_Bは、同じ光源と分類された画像のホワイトバランスゲインの合計を算出するために用いる変数である。更に、ステップＳ４３で、カウンタｉを０に初期化する。 In step S42, the variable sum_R, sum_G _1, sum_G _2, initialized to 0, respectively Sum_b. Variables sum_R, sum_G ₁ , sum_G ₂ , and sum_B are variables used to calculate the sum of white balance gains of images classified as the same light source. In step S43, the counter i is initialized to zero.

ステップＳ４４で、ステップＳ４１で指定した光源に分類された画像の枚数とカウンタｉとを比較する。１枚目の画像の場合にはカウンタｉの方が小さいのでステップＳ４５に進み、処理対象の画像のホワイトバランスゲインkWB_R、kWB_B、kWB_G₁、kWB_G₂を算出する。既にホワイトバランスゲインが算出済みで、画像情報のヘッダに付加されていたり、画像と別のファイル等に関連づけられて記載されている場合には、その値を読み込む。 In step S44, the counter i is compared with the number of images classified as the light source specified in step S41. Proceeds to step S45 because the smaller the counter i in the case of the first image, and calculates the white balance gain kWB_R the image to be processed, kWB_B, KWB_G _1, the kWB_G _2. If the white balance gain has already been calculated and added to the header of the image information or is described in association with a file other than the image, the value is read.

ステップＳ４６で、変数sum_R、sum_G₁、sum_G₂、sum_Bに、ホワイトバランスゲインkWB_R、kWB_B、kWB_G₁、kWB_G₂を対応する色毎に加算する。 In step S46, the variable sum_R, sum_G _1, sum_G _2, the Sum_b, white balance gain kWB_R, kWB_B, kWB_G _1, it is added to each color to the corresponding kWB_G _2.

そしてステップＳ４７で、カウンタｉをインクリメントし、ステップＳ４４に戻る。ステップＳ４４〜Ｓ４７の処理は、カウンタｉの値がステップＳ４１で選択された処理対象の画像の枚数と同じになるまで（ステップＳ４４でＮＯ）、即ち、処理対象の全ての画像の処理が終了するまで繰り返される。ステップＳ４４でＮＯとなった時には、処置対象の全ての画像のホワイトバランスゲインkWB_R、kWB_B、kWB_G₁、kWB_G₂の合計が変数sum_R、sum_G₁、sum_G₂、sum_Bとして得られる。 In step S47, the counter i is incremented, and the process returns to step S44. The processes in steps S44 to S47 are performed until the value of the counter i is the same as the number of images to be processed selected in step S41 (NO in step S44), that is, all the images to be processed are processed. Repeat until. By the time it becomes NO in step S44, the white balance gain kWB_R of all images to be treated, kWB_B, kWB_G _1, the sum of KWB_G ₂ variables sum_R, sum_G _1, sum_G _2, obtained as Sum_b.

次にステップＳ４８に進み、ホワイトバランスゲインの合計であるsum_R、sum_G₁、sum_G₂、sum_Bを処理対象となった画像の枚数で割って、ホワイトバランスゲインの平均値avWB_R、avWB_G₁、avWB_G₂、avWB_Bを算出する。ここでは変数ｉが画像の枚数と同じであるので、これを用いることもできる。 In step S48, the sum of white balance gains sum_R, sum_G ₁ , sum_G ₂ , sum_B is divided by the number of images to be processed, and the average values of white balance gains avWB_R, avWB_G ₁ , avWB_G ₂ , Calculate avWB_B. Here, since the variable i is the same as the number of images, it can also be used.

ステップＳ４９で、カウンタｋを０に初期化し、ステップＳ５０でステップＳ４１で指定した光源に分類された画像の枚数とカウンタｋとを比較する。１枚目の画像の場合にはカウンタｋの方が小さいのでステップＳ５１に進み、ステップＳ４８で算出したホワイトバランスゲインの平均値avWB_R、avWB_G₁、avWB_G₂、avWB_Bを用いて、ステップＳ４１で指定した光源に分類された画像のホワイトバランス補正を行う。 In step S49, the counter k is initialized to 0, and in step S50, the number of images classified as the light source designated in step S41 is compared with the counter k. In the case of the first image, since the counter k is smaller, the process proceeds to step S51, and the white balance gain average values avWB_R, avWB_G ₁ , avWB_G ₂ , and avWB_B calculated in step S48 are used. Perform white balance correction on images classified as light sources.

ステップＳ５２で、カウンタｋをインクリメントし、ステップＳ５０に戻る。このようにして、順次ホワイトバランス補正を行い、全ての画像についてホワイトバランス補正処理が終了すると（ステップＳ５０でＮＯ）、処理を終了する。 In step S52, the counter k is incremented, and the process returns to step S50. In this way, white balance correction is sequentially performed, and when the white balance correction process is completed for all images (NO in step S50), the process ends.

上記処理により、ほとんど同じ光源下で撮影したにも関わらず、ホワイトバランスに微妙な差がでてしまっている場合でも、ホワイトバランスを揃えることができる。加えて、類似した光源下で撮影した画像のホワイトバランスゲインの平均値を用いるため、高い精度でホワイトバランス補正を行うことができる。なお、ここではホワイトバランスゲインの平均値を取った値を用いたが、ユーザが類似した光源下で撮影した画像の中から適当な１枚の画像のホワイトバランスゲインで補正しても良いし、分類された各々画像のホワイトバランスゲインのうち、中間値を用いるようにしても良い。 By the above processing, even when a slight difference is generated in white balance even though the images are shot under almost the same light source, the white balance can be made uniform. In addition, since an average value of white balance gains of images taken under a similar light source is used, white balance correction can be performed with high accuracy. Although the value obtained by taking the average value of the white balance gain is used here, the image may be corrected with the white balance gain of an appropriate single image from images taken under a similar light source. Of the white balance gains of the classified images, an intermediate value may be used.

なお、上記実施の形態では、処理対象の画像データとして全ての画像データを対象としたが、入力した画像データに光源情報が付加されていない場合、光源の推定処理の対象を、少なくとも撮影後ホワイトバランス補正が行われていない画像データのみに限定することで、撮影時の光源の種類をより正確に推定することが可能となる。 In the above embodiment, all image data is targeted as the image data to be processed. However, when the light source information is not added to the input image data, the light source estimation processing target is at least a white after shooting. By limiting to image data that has not been subjected to balance correction, the type of light source at the time of shooting can be estimated more accurately.

また、本実施の形態の画像処理装置は、デジタルカメラ等の撮像装置内に組み込むことも可能である。これにより、多数の撮像した画像が記録された撮像装置に着脱可能な記憶媒体内において、所望の画像データの検索を撮像装置単体で容易に行うことが可能となる。 In addition, the image processing apparatus of this embodiment can be incorporated in an imaging apparatus such as a digital camera. Accordingly, it is possible to easily search for desired image data by a single imaging device in a storage medium that is detachable from the imaging device in which a large number of captured images are recorded.

＜他の実施形態＞
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。 <Other embodiments>
An object of the present invention is to supply a storage medium (or recording medium) in which a program code of software for realizing the functions of the above-described embodiments is recorded to a system or apparatus, and a computer (or CPU or MPU) of the system or apparatus. Needless to say, this can also be achieved by reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included. Examples of the storage medium for storing the program code include a flexible disk, hard disk, ROM, RAM, magnetic tape, nonvolatile memory card, CD-ROM, CD-R, DVD, optical disk, magneto-optical disk, MO, and the like. Can be considered. Also, a computer network such as a LAN (Local Area Network) or a WAN (Wide Area Network) can be used to supply the program code.

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, after the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function is determined based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion card or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図６に示すフローチャートに対応するプログラムコードが格納されることになる。 When the present invention is applied to the storage medium, the storage medium stores program codes corresponding to the flowchart shown in FIG.

本発明の実施の形態における画像処理装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image processing apparatus in embodiment of this invention. 白判定を行うための単位を示す画面分割の例を示す図である。It is a figure which shows the example of the screen division which shows the unit for performing white determination. 白検出範囲と各光源下の白点の色評価値Cx,Cy座標を示した図である。It is the figure which showed the color evaluation value Cx and Cy coordinate of the white point under each light source and the white detection range. 本発明の実施の形態における画像処理装置ユーザーインターフェイスを示す図である。It is a figure which shows the image processing apparatus user interface in embodiment of this invention. 本発明の実施の形態における白点指定により光源を推定する処理を示すフローチャートである。It is a flowchart which shows the process which estimates a light source by the white point designation | designated in embodiment of this invention. 本発明の実施の形態における光源の種類に基づく画像データの検索、分類処理を示すフローチャートである。It is a flowchart which shows the search of the image data based on the kind of light source in embodiment of this invention, and a classification process. 本発明の実施の形態における検索キーを選択するための光源のリストを示す図である。It is a figure which shows the list | wrist of the light source for selecting the search key in embodiment of this invention. 本発明の実施の形態における推定光源ごとに分類された画像に対してホワイトバランス補正を行う処理を示すフローチャートである。It is a flowchart which shows the process which performs white balance correction | amendment with respect to the image classified for every presumed light source in embodiment of this invention.

符号の説明Explanation of symbols

１０１画像入力部
１０２メモリ制御部
１０３メモリ
１０４ＷＢ補正部
１０５光源判定部
１０６ＣＰＵ
１０７表示部
１０８操作部
１０９メモリ DESCRIPTION OF SYMBOLS 101 Image input part 102 Memory control part 103 Memory 104 WB correction | amendment part 105 Light source determination part 106 CPU
107 Display unit 108 Operation unit 109 Memory

Claims

固体撮像装置により撮影された画像を入力する入力手段と、
前記画像の光源を判定する光源判定手段と、
光源を指定する指定手段と、
前記光源判定手段により判定された光源に基づいて、前記指定手段により指定された光源と同じ光源の画像を、前記入力された画像の中から検索する検索手段と、
前記光源判定手段により判定された前記光源に関する情報を表示するように制御する表示制御手段とを有し、
前記光源判定手段は複数の光源を候補として選出し、前記表示制御手段は前記複数の光源の候補を可能性の高い順に表示することを特徴とする画像処理装置。 Input means for inputting an image photographed by the solid-state imaging device;
Light source determination means for determining the light source of the image;
A designation means for designating a light source;
Search means for searching for an image of the same light source as the light source specified by the specifying means based on the light source determined by the light source determination means from the input images ;
Display control means for controlling to display information on the light source determined by the light source determination means,
The image processing apparatus, wherein the light source determination unit selects a plurality of light sources as candidates, and the display control unit displays the plurality of light source candidates in descending order of possibility .

前記検索手段により検索された画像を、検索されたことが判別可能なように管理することを特徴とする請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the image searched by the search unit is managed so that it can be determined that the image has been searched.

前記検索手段により検索された画像を、同一のフォルダにまとめることを特徴とする請求項２に記載の画像処理装置。 The image processing apparatus according to claim 2, wherein the images searched by the search unit are collected in the same folder.

前記表示制御手段は、前記検索手段により検索された画像に対して、前記光源に関するアイコンを付帯させて表示するように制御することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。 Wherein the display control unit, the search image by said retrieval means, according to any one of claims 1 to 3, wherein the controller controls so as to display by attached the icon relating to the light source Image processing device.

前記検索手段により検索された同じ光源の画像を、当該各画像の画像データから得られるホワイトバランス補正量に基づいて、ホワイトバランス補正を行うホワイトバランス補正手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。 2. The apparatus according to claim 1, further comprising a white balance correction unit that performs white balance correction on an image of the same light source searched by the search unit based on a white balance correction amount obtained from image data of each image. 5. The image processing apparatus according to any one of items 4 to 4 .

前記光源判定手段は、
前記画像に光源に関する情報が付加されている場合に、当該付加情報を取得する付加情報取得手段と、
前記付加情報が付加されていない場合に、前記画像の白部分を抽出する抽出手段と、
前記抽出手段により抽出された白部分の画像データに基づいて、前記画像の光源を推定する光源推定手段と
を有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。 The light source determination means includes
Additional information acquisition means for acquiring the additional information when information on the light source is added to the image;
An extracting means for extracting a white portion of the image when the additional information is not added;
Based on the image data of the white portion extracted by the extraction unit, the image processing apparatus according to any one of claims 1 to 5, characterized in that it has a light source estimation means for estimating a light source of the image .

前記抽出手段は、前記画像を表示するユーザーインターフェイスと、ユーザーが白部分の指定を行うための操作部とを含み、ユーザーによって指定された白部分の画像データもしくはその周辺を含む画像データを抽出することを特徴とする請求項６に記載の画像処理装置。 The extraction unit includes a user interface for displaying the image and an operation unit for a user to specify a white portion, and extracts image data of the white portion designated by the user or image data including the periphery thereof. The image processing apparatus according to claim 6 .

異なる色温度の光源により白色被写体を照明して撮影したときに得られる色評価値と、光源の種類とを関連づけたデータを保持する手段を更に有し、
前記光源推定手段は、前記抽出された白部分の色評価値に最も近似した色評価値を有する光源を、前記画像の光源として推定することを特徴とする請求項６または７に記載の画像処理装置。 A means for holding data that associates a color evaluation value obtained when a white subject is illuminated with a light source having a different color temperature and the type of the light source;
It said light source estimation means, the image processing according to a light source having a color evaluation value closest to the color evaluation value of the extracted white section, in claim 6 or 7, characterized in that estimated as the light source of the image apparatus.

入力手段により、固体撮像装置により撮影された画像を入力する入力工程と、
指定手段により、光源を指定する指定工程と、
光源判定手段により、前記画像の光源を判定する光源判定工程と、
検索手段により、前記光源判定工程により判定された光源に基づいて、前記指定工程により指定された光源と同じ光源の画像を、前記入力された画像の中から検索する検索工程と、
前記光源判定工程では複数の光源を候補として選出し、表示制御手段により、前記複数の光源の候補を可能性の高い順に表示する表示工程と
を有することを特徴とする画像検索方法。 An input step of inputting an image taken by the solid-state imaging device by an input means ;
A designation process for designating a light source by a designation means ;
A light source determination step of determining a light source of the image by a light source determination means ;
A search step of searching for an image of the same light source as the light source specified by the specifying step based on the light source determined by the light source determination step from the input image by a search means ,
An image search method comprising: a display step of selecting a plurality of light sources as candidates in the light source determination step, and displaying the plurality of light source candidates in descending order of probability by display control means .

前記検索工程により検索された画像を、管理手段が、検索されたことが判別可能なように管理することを特徴とする請求項９に記載の画像検索方法。 The image search method according to claim 9, wherein the image searched by the search step is managed so that the management unit can determine that the image has been searched.

前記検索工程により検索された画像を、前記管理手段が、同一のフォルダにまとめる工程を更に有することを特徴とする請求項１０に記載の画像検索方法。 The image search method according to claim 10 , further comprising a step in which the management unit collects the images searched in the search step into the same folder.

前記表示工程では、前記検索工程で検索された画像に対して、前記光源に関するアイコンを付帯させて表示することを特徴とする請求項９乃至１１のいずれか１項に記載の画像検索方法。 The image search method according to any one of claims 9 to 11, wherein in the display step, an icon related to the light source is attached to the image searched in the search step.

ホワイトバランス補正手段が、前記検索工程において検索された同じ光源の画像を、当該各画像の画像データから得られるホワイトバランス補正量に基づいて、ホワイトバランス補正を行うホワイトバランス補正工程を更に有することを特徴とする請求項９乃至１２のいずれか１項に記載の画像検索方法。 The white balance correction means further includes a white balance correction step of performing white balance correction on the image of the same light source searched in the search step based on a white balance correction amount obtained from image data of each image. image retrieval method according to any one of claims 9 to 12, wherein.

前記光源判定工程は、
前記画像に光源に関する情報が付加されている場合に、当該付加情報を取得する付加情報取得工程と、
前記付加情報が付加されていない場合に、前記画像の白部分を抽出する抽出工程と、
前記抽出工程により抽出された白部分の画像データに基づいて、前記画像の光源を推定する光源推定工程と
を有することを特徴とする請求項９乃至１３のいずれか１項に記載の画像検索方法。 The light source determination step includes
When information about a light source is added to the image, an additional information acquisition step of acquiring the additional information;
An extraction step of extracting a white portion of the image when the additional information is not added;
Based on the image data of the white portion extracted by the extraction step, the image retrieval method according to any one of claims 9 to 13, characterized in that it has a light source estimation step of estimating a light source of the image .

前記抽出工程は、
前記画像を表示する工程と、
ユーザーからの白部分の指定を入力する工程とを含み、
前記指定された白部分の画像データもしくはその周辺を含む画像データを抽出することを特徴とする請求項１４に記載の画像検索方法。 The extraction step includes
Displaying the image;
Including inputting a white part designation from the user,
The image search method according to claim 14 , wherein the image data of the designated white portion or image data including the periphery thereof is extracted.

前記光源推定工程では、予め記憶された、異なる色温度の光源により白色被写体を照明して撮影したときに得られる色評価値と、光源の種類とを関連づけたデータに基づいて、前記抽出された白部分の色評価値に最も近似した色評価値を有する光源を、前記画像の光源として推定することを特徴とする請求項１４または１５に記載の画像検索方法。 In the light source estimation step, the extraction is performed based on data stored in advance that associates a color evaluation value obtained when a white subject is illuminated and photographed with a light source having a different color temperature and the type of the light source. 16. The image search method according to claim 14 , wherein a light source having a color evaluation value that is closest to a color evaluation value of a white portion is estimated as a light source of the image.

情報処理装置が実行可能なプログラムであって、前記プログラムを実行した情報処理装置を、請求項１乃至８のいずれか１項に記載の画像処理装置として機能させるためのプログラム。 A program that can be executed by an information processing apparatus, and that causes the information processing apparatus that has executed the program to function as the image processing apparatus according to any one of claims 1 to 8 .

情報処理装置に、請求項９乃至１６のいずれか１項に記載の画像検索方法の各工程を実行させるためのプログラム。 The program for making an information processing apparatus perform each process of the image search method of any one of Claim 9 thru | or 16 .

請求項１７又は１８に記載のプログラムを格納したことを特徴とする情報処理装置が読み取り可能な記憶媒体。 A storage medium readable by an information processing apparatus, wherein the program according to claim 17 or 18 is stored.