JP4888111B2 - Subject recognition device, image search method, and subject recognition program - Google Patents
Subject recognition device, image search method, and subject recognition program Download PDFInfo
- Publication number
- JP4888111B2 JP4888111B2 JP2006350067A JP2006350067A JP4888111B2 JP 4888111 B2 JP4888111 B2 JP 4888111B2 JP 2006350067 A JP2006350067 A JP 2006350067A JP 2006350067 A JP2006350067 A JP 2006350067A JP 4888111 B2 JP4888111 B2 JP 4888111B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- subject
- similar
- unrecognizable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
本発明は、被写体認識装置、画像検索方法、および被写体認識プログラムに関する。 The present invention relates to a subject recognition device, an image search method, and a subject recognition program.
従来、画像の顔認識技術のように、画像データに映っている顔部分を認識する技術が知られている。例えば、下記の特許文献１や特許文献２には、画像データの被写体を認識する装置が開示されている。
一方、インターネット上などの検索サイトでは、画像データに付随するテキスト情報（画像ファイル名、撮影日時情報など）をキーワード検索することにより、画像検索サービスを提供している。
On the other hand, search sites on the Internet provide an image search service by searching for text information (image file name, shooting date / time information, etc.) attached to image data.
ところで、上述した被写体の認識技術では、画像データ中の被写体の配置状況や大きさによって、被写体認識が困難になる場合がある。
例えば、道路という被写体を、路面と左右の路肩（または中央分離線）とからなり、遠方の消失点を頂点とする略三角形状と定義し、そのパターン認識に従って道路を認識する。この場合、路肩の一部が画像データからはみ出すと、略三角形状の認識が困難になり、道路の被写体認識ができなくなる。
そこで、本発明では、被写体認識が難しい画像データであっても、被写体種類を認識する技術を提供することを目的とする。
By the way, in the subject recognition technique described above, subject recognition may be difficult depending on the arrangement state and size of the subject in the image data.
For example, an object called a road is defined as a substantially triangular shape composed of a road surface and left and right shoulders (or a center separation line) with a distant vanishing point as a vertex, and the road is recognized according to the pattern recognition. In this case, if a part of the shoulder of the road protrudes from the image data, it becomes difficult to recognize a substantially triangular shape, and the subject on the road cannot be recognized.
Therefore, an object of the present invention is to provide a technique for recognizing the type of a subject even for image data that is difficult to recognize.
《１》 本発明の被写体認識装置は、画像入力部、および処理部を備える。
画像入力部は、画像データを取り込む。
処理部は、被写体種類を特定するための被写体条件から、画像データ中の被写体種類を特定する。
さらに、処理部は、下記の抽出部、探索部、および認識部を備える。
抽出部は、認識されるべき被写体が部分的に映っているまたは認識されるべき被写体が認識できる大きさよりも小さく映っているため、画像データから被写体種類が認識できない画像領域を抽出する。
探索部は、認識できない画像領域と類似する画像領域を、認識されるべき被写体全体が映っているまたは認識されるべき被写体が認識できる大きさよりも大きく映っている、画像入力部に取り込まれる別の画像データから探索する。
認識部は、類似する画像領域に映っている被写体種類を特定し、被写体種類を認識できない画像領域の被写体種類とする。
《２》 なお好ましくは、探索部は、認識できない画像領域を含む画像データと撮影時間差が予め定められた範囲に収まる別の画像データを選択し、選択された別の画像データから類似する画像領域を探索する。
《３》 また好ましくは、探索部は、認識できない画像領域を含む画像データと撮影範囲が少なくとも一部重複する別の画像データを選択し、選択された別の画像データから類似する画像領域を探索する。
《４》 なお好ましくは、探索部は、認識できない画像領域を含む画像データがクロップ処理後の場合、クロップ前の元画像データから類似する画像領域を探索する。
《５》 また好ましくは、探索部は、認識できない画像領域を含む画像データがズームレンズの望遠側で撮影されている場合、ズームレンズの広角側で撮影された別の画像データから類似する画像領域を探索する。
《６》 本発明の別の被写体認識装置は、画像入力部、および処理部を備える。
画像入力部は、画像データを取り込む。
処理部は、被写体種類を特定するための被写体条件から、画像データ中の被写体種類を特定する。
さらに、処理部は、下記の抽出部、探索部、および認識部を備える。
抽出部は、画像データから被写体種類が認識できない画像領域を抽出する。
探索部は、認識できない画像領域と類似する画像領域を、画像入力部に取り込まれる別の画像データから探索する。
認識部は、類似する画像領域に映っている被写体種類を特定し、被写体種類を認識できない画像領域の被写体種類とする。
さらに、探索部は、認識できない画像領域を含む画像データと撮影範囲が少なくとも一部重複する別の画像データを選択し、選択された別の画像データから類似する画像領域を探索し、認識できない画像領域を含む画像データがクロップ処理後の場合、クロップ前の元画像データから類似する画像領域を探索する。
《７》 本発明の別の被写体認識装置は、画像入力部、および処理部を備える。
画像入力部は、画像データを取り込む。
処理部は、被写体種類を特定するための被写体条件から、画像データ中の被写体種類を特定する。
さらに、処理部は、下記の抽出部、探索部、および認識部を備える。
抽出部は、画像データから被写体種類が認識できない画像領域を抽出する。
探索部は、認識できない画像領域と類似する画像領域を、画像入力部に取り込まれる別の画像データから探索する。
認識部は、類似する画像領域に映っている被写体種類を特定し、被写体種類を認識できない画像領域の被写体種類とする。
さらに、探索部は、認識できない画像領域を含む画像データと撮影範囲が少なくとも一部重複する別の画像データを選択し、選択された別の画像データから類似する画像領域を探索し、認識できない画像領域を含む画像データがズームレンズの望遠側で撮影されている場合、ズームレンズの広角側で撮影された別の画像データから類似する画像領域を探索する。
《８》 本発明の別の被写体認識装置は、画像入力部、および処理部を備える。
画像入力部は、画像データを取り込む。
処理部は、被写体種類を特定するための被写体条件から、画像データ中の被写体種類を特定する。
さらに、処理部は、下記の抽出部、探索部、および認識部を備える。
抽出部は、画像データから被写体種類が認識できない画像領域を抽出する。
探索部は、認識できない画像領域と類似する画像領域を、画像入力部に取り込まれる別の画像データから探索する。
認識部は、類似する画像領域に映っている被写体種類を特定し、被写体種類を認識できない画像領域の被写体種類とする。
さらに、探索部は、認識できない画像領域を含む画像データと撮影範囲が少なくとも一部重複する別の画像データを選択し、選択された別の画像データから類似する画像領域を探索し、認識できない画像領域を含む画像データがズームレンズの広角側で撮影されている場合、ズームレンズの望遠側で撮影された別の画像データから類似する画像領域を探索する。
《９》 なお好ましくは、探索部は、認識できない画像領域を含む画像データと撮影時間差が予め定められた範囲に収まる別の画像データを選択し、選択された別の画像データから類似する画像領域を探索する。
《１０》 なお好ましくは、探索部は、色の特徴およびパターンの特徴の少なくとも一方に基づいて、認識できない画像領域と類似する画像領域を、画像入力部から取り込まれる画像データから探索する。
《１１》 本発明の画像検索方法は、下記ステップを実行する。
(1)被写体種類を特定する被写体条件から、画像データに映っている被写体種類を特定する被写体認識ステップ
(2)認識された被写体種類に関連したキーワード情報を、画像データに対応付けて記録するステップ
さらに、上記の被写体認識ステップでは、被写体認識の困難な画像領域を、下記ステップに従って処理する。
(1A)認識されるべき被写体が部分的に映っているまたは認識されるべき被写体が認識できる大きさよりも小さく映っているため、画像データから被写体種類の認識できない画像領域を抽出する抽出ステップ
(1B)認識できない画像領域と類似する画像領域を、認識されるべき被写体全体が映っているまたは認識されるべき被写体が認識できる大きさよりも大きく映っている別の画像データから探索する探索ステップ
(1C)類似する画像領域に映っている被写体種類を特定し、該被写体種類を認識できない画像領域に映っている被写体種類とする認識ステップ
《１２》 本発明の別の画像検索方法は、下記ステップを実行する。
(1)被写体種類を特定する被写体条件から、画像データに映っている被写体種類を特定する被写体認識ステップ
(2)認識された被写体種類に関連したキーワード情報を、画像データに対応付けて記録するステップ
さらに、上記の被写体認識ステップでは、被写体認識の困難な画像領域を、下記ステップに従って処理する。
(1A)画像データから被写体種類の認識できない画像領域を抽出する抽出ステップ
(1B)認識できない画像領域と類似する画像領域を、別の画像データから探索する探索ステップ
(1C)類似する画像領域に映っている被写体種類を特定し、該被写体種類を認識できない画像領域に映っている被写体種類とする認識ステップ
さらに、上記の探索ステップでは、認識できない画像領域を含む画像データと撮影範囲が少なくとも一部重複する別の画像データを選択し、選択された別の画像データから類似する画像領域を探索し、認識できない画像領域を含む画像データがクロップ処理後の場合、クロップ前の元画像データから類似する画像領域を探索する。
《１３》 本発明の別の画像検索方法は、下記ステップを実行する。
(1)被写体種類を特定する被写体条件から、画像データに映っている被写体種類を特定する被写体認識ステップ
(2)認識された被写体種類に関連したキーワード情報を、画像データに対応付けて記録するステップ
さらに、上記の被写体認識ステップでは、被写体認識の困難な画像領域を、下記ステップに従って処理する。
(1A)画像データから被写体種類の認識できない画像領域を抽出する抽出ステップ
(1B)認識できない画像領域と類似する画像領域を、別の画像データから探索する探索ステップ
(1C)類似する画像領域に映っている被写体種類を特定し、該被写体種類を認識できない画像領域に映っている被写体種類とする認識ステップ
さらに、上記の探索ステップでは、認識できない画像領域を含む画像データと撮影範囲が少なくとも一部重複する別の画像データを選択し、選択された別の画像データから類似する画像領域を探索し、認識できない画像領域を含む画像データがズームレンズの望遠側で撮影されている場合、ズームレンズの広角側で撮影された別の画像データから類似する画像領域を探索する。
《１４》 本発明の被写体認識プログラムは、コンピュータを、請求項１ないし請求項１０のいずれか１項に記載の被写体認識装置として機能させるためのプログラムである。
<< 1 >> The subject recognition apparatus of the present invention includes an image input unit and a processing unit.
The image input unit captures image data.
The processing unit specifies the subject type in the image data from the subject condition for specifying the subject type.
Further, the processing unit includes the following extraction unit, search unit, and recognition unit.
The extraction unit extracts an image area in which the subject type cannot be recognized from the image data because the subject to be recognized is partially reflected or is smaller than the size that can be recognized.
The search unit captures another image area similar to the unrecognizable image area that is captured by the image input unit in which the entire subject to be recognized is shown or is larger than the size that the subject to be recognized can be recognized . Search from image data.
The recognizing unit identifies a subject type appearing in a similar image region, and sets the subject type in the image region where the subject type cannot be recognized.
<< 2 >> Preferably, the search unit selects image data including an unrecognizable image area and another image data in which a photographing time difference falls within a predetermined range, and a similar image area from the selected other image data Explore.
<< 3 >> Also preferably, the search unit selects another image data at least partially overlapping with the image data including the image area that cannot be recognized, and searches for a similar image area from the selected other image data. To do.
<< 4 >> Preferably, the search unit searches for similar image areas from the original image data before cropping when image data including an unrecognizable image area has been subjected to crop processing.
<< 5 >> Preferably, when the image data including an unrecognizable image region is captured on the telephoto side of the zoom lens, the search unit is similar to another image region captured from another image data captured on the wide angle side of the zoom lens. Explore.
<< 6 >> Another subject recognition apparatus of the present invention includes an image input unit and a processing unit.
The image input unit captures image data.
The processing unit specifies the subject type in the image data from the subject condition for specifying the subject type.
Further, the processing unit includes the following extraction unit, search unit, and recognition unit.
The extraction unit extracts an image area where the subject type cannot be recognized from the image data.
The search unit searches for an image region similar to the image region that cannot be recognized from another image data captured by the image input unit.
The recognizing unit identifies a subject type appearing in a similar image region, and sets the subject type in the image region where the subject type cannot be recognized.
Further, the search unit selects another image data in which the imaging range at least partially overlaps with the image data including the unrecognizable image area, searches for a similar image area from the selected other image data, and cannot recognize the image. When the image data including the area is after the cropping process, a similar image area is searched from the original image data before the cropping.
<< 7 >> Another subject recognition apparatus of the present invention includes an image input unit and a processing unit.
The image input unit captures image data.
The processing unit specifies the subject type in the image data from the subject condition for specifying the subject type.
Further, the processing unit includes the following extraction unit, search unit, and recognition unit.
The extraction unit extracts an image area where the subject type cannot be recognized from the image data.
The search unit searches for an image region similar to the image region that cannot be recognized from another image data captured by the image input unit.
The recognizing unit identifies a subject type appearing in a similar image region, and sets the subject type in the image region where the subject type cannot be recognized.
Further, the search unit selects another image data in which the imaging range at least partially overlaps with the image data including the unrecognizable image area, searches for a similar image area from the selected other image data, and cannot recognize the image. When image data including a region is photographed on the telephoto side of the zoom lens, a similar image region is searched from another image data photographed on the wide angle side of the zoom lens.
<< 8 >> Another subject recognition apparatus of the present invention includes an image input unit and a processing unit.
The image input unit captures image data.
The processing unit specifies the subject type in the image data from the subject condition for specifying the subject type.
Further, the processing unit includes the following extraction unit, search unit, and recognition unit.
The extraction unit extracts an image area where the subject type cannot be recognized from the image data.
The search unit searches for an image region similar to the image region that cannot be recognized from another image data captured by the image input unit.
The recognizing unit identifies a subject type appearing in a similar image region, and sets the subject type in the image region where the subject type cannot be recognized.
Further, the search unit selects another image data in which the imaging range at least partially overlaps with the image data including the unrecognizable image area, searches for a similar image area from the selected other image data, and cannot recognize the image. When image data including a region is photographed on the wide-angle side of the zoom lens, a similar image region is searched from another image data photographed on the telephoto side of the zoom lens.
<< 9 >> Preferably, the search unit selects image data including an unrecognizable image area and another image data whose photographing time difference falls within a predetermined range, and a similar image area from the selected other image data Explore.
<< 10 >> Preferably, the search unit searches an image area similar to the unrecognizable image area from the image data captured from the image input unit based on at least one of the color feature and the pattern feature.
<11> The image search method of the present invention executes the following steps.
(1) Subject recognition step for identifying the subject type shown in the image data from the subject condition for identifying the subject type
(2) Step of Recording Keyword Information Related to Recognized Subject Type in Correlation with Image Data Further, in the subject recognition step, an image region where subject recognition is difficult is processed according to the following steps.
(1A) An extraction step for extracting an image region in which the subject type cannot be recognized from the image data because the subject to be recognized is partially reflected or smaller than the size that can be recognized.
(1B) A search step for searching for an image area similar to an unrecognizable image area from another image data in which the entire subject to be recognized is shown or is larger than the size that can be recognized by the subject to be recognized
(1C) A recognition step of identifying a subject type appearing in a similar image area and making the subject type appearing in an image area where the subject type cannot be recognized
<< 12 >> Another image retrieval method of the present invention executes the following steps.
(1) Subject recognition step for identifying the subject type shown in the image data from the subject condition for identifying the subject type
(2) A step of recording keyword information related to the recognized subject type in association with image data
Further, in the subject recognition step, an image region that is difficult to recognize is processed according to the following steps.
(1A) Extraction step for extracting an image area whose subject type cannot be recognized from image data
(1B) A search step for searching an image area similar to an unrecognizable image area from another image data
(1C) A recognition step of identifying a subject type appearing in a similar image area and making the subject type appearing in an image area where the subject type cannot be recognized
Further, in the above search step, another image data whose imaging range at least partially overlaps with image data including an unrecognizable image region is selected, and a similar image region is searched for and recognized from the selected other image data. When the image data including the image area that cannot be processed is after the cropping process, a similar image area is searched from the original image data before the cropping.
<< 13 >> Another image retrieval method of the present invention executes the following steps.
(1) Subject recognition step for identifying the subject type shown in the image data from the subject condition for identifying the subject type
(2) A step of recording keyword information related to the recognized subject type in association with image data
Further, in the subject recognition step, an image region that is difficult to recognize is processed according to the following steps.
(1A) Extraction step for extracting an image area whose subject type cannot be recognized from image data
(1B) A search step for searching an image area similar to an unrecognizable image area from another image data
(1C) A recognition step of identifying a subject type appearing in a similar image area and making the subject type appearing in an image area where the subject type cannot be recognized
Further, in the above search step, another image data whose imaging range at least partially overlaps with image data including an unrecognizable image region is selected, and a similar image region is searched for and recognized from the selected other image data. When image data including an incapable image area is captured on the telephoto side of the zoom lens, a similar image area is searched from other image data captured on the wide-angle side of the zoom lens.
<< 14 >> The subject recognition program of the present invention is a program for causing a computer to function as the subject recognition device according to any one of claims 1 to 10 .
本発明では、別の画像データによる被写体認識の結果から、被写体種類を特定することができる。 In the present invention, the subject type can be specified from the result of subject recognition using different image data.
図１は、画像検索システム１１の構成を示すブロック図である。
図１において、画像検索システム１１は、被写体認識装置１２、画像データベース１３、および端末装置１４（ユーザーのパソコンなど）を、インターネットなどの通信回線により通信接続して構成される。
なお、この画像検索システム１１を、コンピュータ単体で実現することにより、コンピュータ内に記憶される画像データを高速検索するシステムを構築してもよい。
この被写体認識装置１２は、画像入力部２１、被写体辞書部２２、および処理部２３を備えて構成される。この処理部２３には、特徴量演算部３１、特徴量記憶部３２、制御部３３、および被写体キーワード記憶部３４が設けられる。この制御部３３は、抽出部、探索部、および認識部としての機能を備える。
FIG. 1 is a block diagram showing the configuration of the image search system 11.
In FIG. 1, an image search system 11 is configured by communicably connecting a subject recognition device 12, an image database 13, and a terminal device 14 (such as a user's personal computer) via a communication line such as the Internet.
In addition, you may construct | assemble the system which searches the image data memorize | stored in a computer at high speed by implement | achieving this image search system 11 with a computer single-piece | unit.
The subject recognition device 12 includes an image input unit 21, a subject dictionary unit 22, and a processing unit 23. The processing unit 23 includes a feature amount calculation unit 31, a feature amount storage unit 32, a control unit 33, and a subject keyword storage unit 34. The control unit 33 has functions as an extraction unit, a search unit, and a recognition unit.
なお、このような被写体認識装置１２の一部または全部を、コンピュータ上で被写体認識プログラムを実行することによって、ソフトウェア的に実現してもよい。また、被写体認識装置１２の一部または全部を、ハードウェア的に実現してもよい。 Note that a part or all of the subject recognition apparatus 12 may be realized in software by executing a subject recognition program on a computer. Further, part or all of the subject recognition device 12 may be realized by hardware.
以下、画像検索システム１１の動作について、具体的に説明する。
図２は、画像データの被写体認識とキーワード付与を説明する流れ図である。以下、この図２に示すステップ番号に沿って、動作説明を行う。
Hereinafter, the operation of the image search system 11 will be specifically described.
FIG. 2 is a flowchart for explaining subject recognition and keyword assignment of image data. Hereinafter, the operation will be described along the step numbers shown in FIG.
ステップＳ１： 画像入力部２１は、画像データベース１３のデータ更新を定期的に監視する。画像入力部２１は、この監視によって、画像データベース１３内にキーワード未付与の新規な画像データを発見すると、この画像データを取り込む。 Step S1: The image input unit 21 periodically monitors the data update of the image database 13. When the image input unit 21 finds new image data to which no keyword is assigned in the image database 13 by this monitoring, the image input unit 21 takes in the image data.
ステップＳ２： 特徴量演算部３１は、取り込んだ画像データを画像領域に区分し、画像領域別に画像特徴量を抽出する。ここでの画像領域は、画像データを単純にタイル区分したものであってもよいし、絵柄の輪郭線に沿って区分したものでもよい。画像領域別に抽出された画像特徴量は、特徴量記憶部３２に記憶され、後述する被写体条件との照合に使用される。 Step S2: The feature amount calculation unit 31 divides the captured image data into image regions, and extracts image feature amounts for each image region. Here, the image area may be obtained by simply dividing the image data into tiles, or by dividing the image data along the outline of the pattern. The image feature amount extracted for each image region is stored in the feature amount storage unit 32, and is used for collation with subject conditions described later.
この種の画像特徴量としては、例えば、下記のようなデータが好ましい。
(1)画像領域の色相ヒストグラム（色相の頻度をプロットしたもの）…風景被写体／人物被写体などを色傾向により認識する際に使用する。
(2)画像領域の抽出エッジ…エッジの形状（方向・強さなど）に基づいて特定被写体の認識に使用する。
(3)輪郭が閉曲線とみなせる領域…顔や物などの閉領域の認識に使用する。
(4)顔（肌色）部分の部分画像…特定個人の認識に使用する。
(5)唇付近の色…男女の認識に使用する。
(6)髪付近の色…男女や高齢者の認識に使用する。
(7)画像内のテクスチャー…目／鼻／口／衣服の模様／草原／樹林などの認識に使用する。
(8)縦ラインの頻度…建物／樹林などの認識に使用する。
(9)画面を横断する横ライン…水平線／地平線などの認識に使用する。
(10)画像領域の推定色温度…室内／屋外などの認識に使用する。
(11)画像領域の画素値…パターンマッチングに使用する。
(12)ＧＰＳ情報、撮影日時、被写体距離、露出情報、音声データ、画像の縦、横方向を示す情報、焦点制御情報などの付随情報
As this kind of image feature quantity, for example, the following data is preferable.
(1) Hue histogram of image area (plotted hue frequency): Used when recognizing landscape / person subjects by color tendency.
(2) Extracted edge of image area: Used to recognize a specific subject based on the shape (direction, strength, etc.) of the edge.
(3) Area whose contour can be regarded as a closed curve: Used to recognize closed areas such as faces and objects.
(4) Partial image of the face (skin color) part ... Used for recognition of specific individuals.
(5) Color near the lips: Used to recognize men and women.
(6) Color near hair: Used to recognize men and women and the elderly.
(7) Texture in image: Used to recognize eyes / nose / mouth / clothing pattern / meadow / forest.
(8) Vertical line frequency: Used to recognize buildings / forests.
(9) Horizontal line across the screen: Used to recognize horizontal / horizontal lines.
(10) Estimated color temperature of image area: Used to recognize indoor / outdoor conditions.
(11) Pixel value of image area: Used for pattern matching.
(12) GPS information, shooting date and time, subject distance, exposure information, audio data, information indicating the vertical and horizontal directions of the image, accompanying information such as focus control information
ステップＳ３： 被写体辞書部２２の被写体辞書には、個々の被写体種類を特定するための被写体条件が予め登録されている。制御部３３は、上述した画像領域別の画像特徴量を、これらの被写体条件に逐一照合することにより、その画像領域に被写体種類が映っているか否かを判断する。
例えば、人物については、色相ヒストグラムに肌色の高頻度分布が現れるなどの被写体条件が成立すれば、その画像領域に人物被写体が映っていると判断する。
また例えば、風景については、色相ヒストグラムに青色や緑色の高頻度分布が現れ、かつ被写体距離が遠方であるなどの被写体条件が成立すれば、その画像領域に風景被写体が映っていると判断する。
また例えば、道路については、水平線の高さ付近に頂点（遠近法の消失点）を有する略三角形状をなし、かつ路面色（アスファルト色や土色など）を呈する場合に、その画像領域に道路が映っていると判断する。
Step S3: Subject conditions for specifying individual subject types are registered in the subject dictionary of the subject dictionary unit 22 in advance. The control unit 33 determines whether or not the subject type is reflected in the image area by collating the image feature amount for each image area with the subject condition one by one.
For example, for a person, if a subject condition such as the appearance of a high frequency distribution of skin color appears in the hue histogram, it is determined that the person subject appears in the image area.
For example, for a landscape, if a subject condition such as a high-frequency distribution of blue or green appears in the hue histogram and the subject distance is far away, it is determined that a landscape subject appears in the image area.
In addition, for example, when a road has a substantially triangular shape having a vertex (disappearance point in perspective) near the height of the horizon, and has a road surface color (asphalt color, earth color, etc.), the road is displayed in the image area. Is judged to be reflected.
ステップＳ４： 制御部３３は、画像領域の中から、被写体種類の特定ができない画像領域（認識困難領域）を抽出する。
例えば、この認識困難領域には、ステップＳ３においていずれの被写体条件も満足しなかった画像領域を選ぶことが好ましい。
また例えば、この認識困難領域には、ステップＳ３において被写体条件との合致度合いが低く、被写体認識の信頼性の低い画像領域を選ぶことが好ましい。
Step S4: The control unit 33 extracts an image area (a difficult recognition area) from which the subject type cannot be specified from the image area.
For example, it is preferable to select an image area that does not satisfy any of the subject conditions in step S3 as the difficult-to-recognize area.
In addition, for example, it is preferable to select an image region having a low degree of matching with the subject condition in step S3 and having a low subject recognition reliability for this difficult recognition region.
ステップＳ５： 制御部３３は、ステップＳ４において画像データに認識困難領域が存在するか否かを判定する。
画像データに認識困難領域が存在した場合、制御部３３はステップＳ６に動作を移行する。
また、画像データに認識困難領域が存在しない場合、制御部３３はステップＳ１０に動作を移行する。
Step S5: The control unit 33 determines whether or not there is a difficult-to-recognize area in the image data in step S4.
If there is a difficult-to-recognize area in the image data, the control unit 33 moves the operation to step S6.
On the other hand, when there is no difficult-to-recognize area in the image data, the control unit 33 moves the operation to step S10.
ステップＳ６： 一般に、認識ができない理由については、画像データに被写体の一部しか映っていない、または被写体が小さく映っている、あるいは被写体の一部が別の被写体に隠れているといったケースが多い。そこで、本実施形態では、該当する被写体がより確実に映っている別の画像データを選別し、その別の画像データから、認識困難領域の被写体を推定する。
そこで、取得可能な画像データの全てを、別の画像データの選択候補としてもよい。しかしながら、画像データの数が多くなれば、別の画像データの選別に時間がかかってしまう。そこで、本ステップでは、絵柄が一部重複する可能性がある画像候補をまず粗く選別する。
Step S6: In general, there are many cases where recognition is not possible because only a part of the subject appears in the image data, or the subject appears small, or a part of the subject is hidden behind another subject. Therefore, in the present embodiment, another image data in which the corresponding subject is shown more reliably is selected, and the subject in the region that is difficult to recognize is estimated from the other image data.
Accordingly, all of the obtainable image data may be selected as candidates for other image data. However, as the number of image data increases, it takes time to select other image data. Therefore, in this step, first, image candidates that may partially overlap the pattern are first roughly selected.
この種の選別条件としては、例えば、下記のいずれか一つが好ましい。
（条件１）認識困難領域が抽出された画像データと、撮影時間の差が所定範囲内（撮影時間が近いもの）。撮影時間が近いことによって、同一シーンの可能性が高いものを選別できる。例えば、一連の連写画像，一コマ〜数十コマ前後に撮影された画像，撮影時間の差が数秒以内、数分以内、または２時間以内の画像，もしくは同日に撮影された画像などが選別される。なお、撮影時間差が小さい画像から順に所定画像数を選別してもよい。
（条件２）認識困難領域が抽出された画像データがクロップ処理後の場合、クロップ処理前の元画像データを選別する。この場合、画像周辺域の同一被写体がより完全に映っているものを選別できる。
（条件３）認識困難領域が抽出された画像データがズームレンズの望遠側で撮影された場合、ズームレンズの広角側で撮影された画像データを選別する。この場合、画像周辺域の同一被写体がより完全に映っているものを選別できる。
（条件４）認識困難領域が抽出された画像データよりも、撮影距離の長い画像データを選別する。この場合、画像周辺域の同一被写体がより完全に映っているものを選別できる。
（条件５）認識困難領域が抽出された画像データと、同じイベント（結婚式など）の画像データを選別する。同じイベントで撮影された画像データであれば、同一被写体が映っている可能性が高い。このイベントの自動判別には、撮影者が画像データに書き込んだイベントのコメント情報などを参照することで可能になる。また、画像中で認識されたその他の被写体種類から、イベントを類推することも可能である。
（条件６）認識困難領域が抽出された画像データと、撮影位置が所定距離内に収まる画像データを選別する。同じ地点で撮影された画像データであれば、同一被写体が映っている可能性が高い。なお、この種の撮影位置には、ＧＰＳ（Global Positioning System）情報などが使用できる。撮影位置情報は画像データに関連付けられて画像データベース１３に記憶されている。
（条件７）小さな認識困難領域が画像のフレーム枠から離れている場合、被写体が小さいために被写体認識が困難になったと想定される。この状況では、ズームレンズの望遠側の画像データ、または撮影距離の短い画像データを選別する。選別された画像データには、同一被写体がより大きく映っている可能性が高くなる。
As this kind of selection condition, for example, any one of the following is preferable.
(Condition 1) The difference between the image data from which the difficult-to-recognize region is extracted and the photographing time is within a predetermined range (those with a short photographing time) Since the shooting time is close, it is possible to select a scene having a high possibility of the same scene. For example, a series of continuous shot images, images shot from one frame to several tens of frames, images with a difference in shooting time within seconds, minutes, or 2 hours, or images shot on the same day are selected. Is done. Note that the predetermined number of images may be selected in order from the image with the smallest difference in shooting time.
(Condition 2) When the image data from which the difficult-to-recognize region is extracted is after the crop processing, the original image data before the crop processing is selected. In this case, it is possible to select the same subject in the peripheral area of the image.
(Condition 3) When the image data from which the difficult recognition area is extracted is photographed on the telephoto side of the zoom lens, the image data photographed on the wide angle side of the zoom lens is selected. In this case, it is possible to select the same subject in the peripheral area of the image.
(Condition 4) Image data having a longer shooting distance than the image data from which the difficult recognition area is extracted is selected. In this case, it is possible to select the same subject in the peripheral area of the image.
(Condition 5) The image data of the same event (such as a wedding) is selected from the image data from which the difficult recognition area is extracted. If the image data is taken at the same event, there is a high possibility that the same subject is shown. This automatic determination of the event can be made by referring to the comment information of the event written in the image data by the photographer. It is also possible to infer events from other subject types recognized in the image.
(Condition 6) Image data from which a difficult-to-recognize region is extracted and image data whose shooting position is within a predetermined distance are selected. If the image data is taken at the same point, there is a high possibility that the same subject is shown. Note that GPS (Global Positioning System) information or the like can be used for this kind of shooting position. The shooting position information is stored in the image database 13 in association with the image data.
(Condition 7) When a small difficult recognition area is away from the frame of the image, it is assumed that the subject is difficult to recognize because the subject is small. In this situation, image data on the telephoto side of the zoom lens or image data with a short shooting distance is selected. There is a high possibility that the same subject will appear larger in the selected image data.
なお、これら個々の選別条件のいくつかを組み合わせて、論理和を取ることによって、画像データの選別候補の数を増やしてもよい。
また、これら個々の選別条件のいくつかを組み合わせて、論理積を取ることによって、画像データの選別候補の数を適宜に絞ってもよい。
Note that the number of image data selection candidates may be increased by combining some of these individual selection conditions and calculating a logical sum.
Further, the number of image data selection candidates may be appropriately reduced by combining several of these individual selection conditions and taking a logical product.
ステップＳ７： 制御部３３は、ステップＳ６で粗く選別された画像データの中から、認識困難領域と類似する類似領域を探索する。ここでは、パターンおよび／または色の特徴などの画像特徴量が認識困難領域に一致するか否かによって、類似領域を探索することが好ましい。 Step S7: The control unit 33 searches for a similar region similar to the difficult-to-recognize region from the image data roughly selected in step S6. Here, it is preferable to search for a similar region depending on whether or not an image feature amount such as a pattern and / or a color feature matches the difficult-to-recognize region.
なお、類似領域の探索に先立って、次のような事前処理を実施することが好ましい。
まず、認識困難領域と類似領域とで画像サイズ（撮影倍率）が異なる状況では、画像拡大または画像縮小の処理により、両領域の画像サイズ（撮影倍率）を予め揃えておくことが好ましい。この場合の撮影倍率については、画像データを撮影した際のカメラの焦点距離および撮影距離などのデータから情報取得することができる。
Prior to searching for similar regions, it is preferable to perform the following pre-processing.
First, in a situation where the image size (imaging magnification) is different between the difficult-to-recognize area and the similar area, it is preferable that the image sizes (imaging magnification) of both areas are prepared in advance by image enlargement or image reduction processing. In this case, information on the shooting magnification can be obtained from data such as the focal length and shooting distance of the camera when the image data is shot.
また、縦位置撮影と横位置撮影の違いから、認識困難領域と類似領域とで画像の向きが異なる状況では、画像の縦横変換の処理により、両領域の向きを予め揃えておくことが好ましい。この種の画像向きについては、画像データのＥＸＩＦ情報などから求めることができる。 Also, due to the difference between vertical position shooting and horizontal position shooting, in a situation where the orientation of the image is different between the difficult-to-recognize area and the similar area, it is preferable that the orientations of both areas are aligned in advance by the process of vertical / horizontal conversion of the image. This type of image orientation can be obtained from the EXIF information of the image data.
ステップＳ８： 制御部３３は、類似領域を有する別の画像データに対して、ステップＳ２，３と同様の被写体認識を実施し、類似領域（または類似領域を包含する領域）に映っている被写体種類を特定する。
なお、別の画像データについて被写体認識を既に完了している場合は、制御部３３は、この認識結果を活用することで、類似領域（または類似領域を包含する領域）に映っている被写体種類を迅速に特定してもよい。
Step S8: The control unit 33 performs subject recognition similar to that in Steps S2 and 3 on another image data having a similar region, and types of subjects appearing in the similar region (or a region including the similar region). Is identified.
When subject recognition has already been completed for another image data, the control unit 33 uses this recognition result to select the subject type shown in the similar region (or the region including the similar region). You may identify quickly.
ステップＳ９： 制御部３３は、ステップＳ８で求めた類似領域の被写体種類を、認識困難領域の被写体種類とする。 Step S9: The control unit 33 sets the subject type in the similar area obtained in step S8 as the subject type in the difficult-to-recognize area.
ステップＳ１０： 制御部３３は、ステップＳ３またはステップＳ９で特定された被写体種類に関連するキーワードを、ステップＳ１で取り込んだ画像データに対応付けて、被写体キーワード記憶部３４に記録する。 Step S10: The control unit 33 records the keyword related to the subject type specified in step S3 or step S9 in the subject keyword storage unit 34 in association with the image data captured in step S1.
ステップＳ１１： 制御部３３は、被写体辞書部２２から被写体辞書のバージョン情報を取得し、この画像データに対応付けて被写体キーワード記憶部３４に記録する。
以上の動作により、画像データに対する被写体認識と、キーワード付与の処理が完了する。
図３は、本実施形態における画像検索を説明する流れ図である。以下、図３に示すステップ番号に沿って、この動作を説明する。
Step S11: The control unit 33 acquires the version information of the subject dictionary from the subject dictionary unit 22, and records it in the subject keyword storage unit 34 in association with the image data.
With the above operation, the subject recognition and keyword assignment processing for the image data is completed.
FIG. 3 is a flowchart illustrating image search in the present embodiment. Hereinafter, this operation will be described along the step numbers shown in FIG.
ステップＳ４１： ユーザーは、所望の被写体が映っている画像データを検索するため、その被写体に関連するキーワードを端末装置１４に入力する。端末装置１４は、この入力キーワードを制御部３３に伝達する。 Step S41: The user inputs a keyword related to the subject to the terminal device 14 in order to search for image data showing the desired subject. The terminal device 14 transmits this input keyword to the control unit 33.
ステップＳ４２： 制御部３３は、被写体キーワード記憶部３４に入力キーワードを照会し、入力キーワードに合致または類似する画像データを選び出す。 Step S42: The control unit 33 queries the subject keyword storage unit 34 for the input keyword, and selects image data that matches or is similar to the input keyword.
ステップＳ４３： 制御部３３は、ステップＳ４２で選出された画像データのサムネイルを並べて、リンク付きサムネイル頁を作成する。制御部３３は、作成したサムネイル頁のデータを、画像検索結果として端末装置１４に転送する。ユーザーは、端末装置１４を用いてこのサムネイル頁を閲覧し、サムネイル頁のリンクを辿ることで、探索結果である画像データにアクセスすることができる。 Step S43: The control unit 33 arranges the thumbnails of the image data selected in Step S42 and creates a linked thumbnail page. The control unit 33 transfers the created thumbnail page data to the terminal device 14 as an image search result. The user can access the image data as the search result by browsing the thumbnail page using the terminal device 14 and following the link of the thumbnail page.
この動作により、画像データ群の中から、入力キーワードに関連する被写体が映っているものを迅速に検索することが可能になる。
本実施形態では、画像データ中に被写体認識の困難な画像領域が存在した場合、別の画像データの類似領域を代わりに使って被写体認識を行う。このような代替的な被写体認識の処理によって、被写体認識な困難な画像領域についても被写体種類を特定することが可能になる。なお、被写体の種類には被写体を個別に特定することが含まれてもよい。
With this operation, it is possible to quickly search the image data group for the subject related to the input keyword.
In the present embodiment, when there is an image region that is difficult to recognize in the image data, subject recognition is performed using a similar region of another image data instead. By such an alternative subject recognition process, it is possible to specify the subject type even for an image region where subject recognition is difficult. Note that the type of subject may include specifying the subject individually.
例えば、図４に示す画像データＡには、道路の右側の路肩が部分的に映っている。そのため、この路肩部分の画像領域は、道路の被写体条件（略三角の輪郭形状）を満足せず、認識困難な領域となる。この場合、本実施形態では、画像データＡに拘らず、認識困難領域（すなわち路肩部分）が類似する別の画像データＢを、被写体認識の処理対象に加える。この別の画像データＢは、画像データＡの前後にパンニング撮影された画像データであり、画像データＡでフレームアウトしていた道路がほぼ完全な形状で映っている。したがって、画像データＢについて被写体認識を行うことによって、画像データＡの認識困難領域を道路と特定することが可能になる。 For example, the image data A shown in FIG. 4 partially shows the right shoulder of the road. For this reason, the image area of the road shoulder portion does not satisfy the subject condition (substantially triangular contour shape) of the road and is an area that is difficult to recognize. In this case, in this embodiment, irrespective of the image data A, another image data B having a similar recognition difficulty region (that is, a road shoulder portion) is added to the subject recognition processing target. This other image data B is image data panned before and after the image data A, and the road that was out of frame with the image data A is shown in a substantially complete shape. Accordingly, by performing subject recognition on the image data B, it is possible to identify a difficult-to-recognize area of the image data A as a road.
また例えば、図５に示す画像データＣにも、道路の右側の路肩が部分的に映っている。この場合も、路肩部分の画像領域については認識困難領域となる。この場合、画像データＣに拘らず、認識困難領域（すなわち路肩部分）が類似する別の画像データＤを、被写体認識の処理対象に加える。この画像データＤは、画像データＣのクロップ前の画像データであり、画像データＣでフレームアウトしていた道路がほぼ完全な形状で映っている。したがって、画像データＤについて被写体認識を行うことによって、画像データＣの認識困難領域を道路と特定することが可能になる。 Further, for example, the right shoulder of the road is partially shown in the image data C shown in FIG. Also in this case, the image area of the road shoulder portion is a difficult recognition area. In this case, irrespective of the image data C, another image data D having a similar recognition difficulty region (that is, a road shoulder portion) is added to the subject recognition processing target. This image data D is image data before cropping of the image data C, and the road framed out by the image data C is reflected in a substantially complete shape. Therefore, by performing subject recognition on the image data D, it is possible to identify a difficult-to-recognize area of the image data C as a road.
また、本実施形態では、認識困難な領域を含む画像データと撮影時間差が予め定められた範囲に収まる別の画像データを選択し、選択された別の画像データから、類似する画像領域の探索を行う。一般に、撮影時間に関連が強い（撮影時間間隔が短いなど）画像データ間では、共通の被写体が映っている可能性が高く、類似領域を効率良く探索することができる。 In this embodiment, image data including a region that is difficult to recognize and another image data in which a difference in shooting time is within a predetermined range are selected, and a similar image region is searched from the selected other image data. Do. In general, there is a high possibility that a common subject is reflected between image data that is strongly related to shooting time (such as a short shooting time interval), and a similar area can be searched efficiently.
また、本実施形態では、認識困難領域を含む画像データがクロップ処理後の場合、クロップ前の元画像データから類似領域を探索する。クロップ前の元画像データには、認識困難領域と共通の被写体がより完全に映っている可能性が高く、類似領域を効率良く探索することができる。 In the present embodiment, when image data including a difficult-to-recognize area is subjected to the crop process, a similar area is searched from the original image data before the crop. In the original image data before cropping, there is a high possibility that the subject common to the difficult-to-recognize area is more completely reflected, and a similar area can be searched efficiently.
さらに、本実施形態では、認識困難領域を含む画像データがズームレンズの望遠側で撮影されている場合、ズームレンズの広角側で撮影された別の画像データから類似領域を探索する。広角側で撮影された別の画像データは撮影範囲が広いために、認識困難領域と共通の被写体がより完全に映っている可能性が高く、類似領域を効率良く探索することができる。 Furthermore, in the present embodiment, when image data including a difficult-to-recognize area is captured on the telephoto side of the zoom lens, a similar area is searched from other image data captured on the wide-angle side of the zoom lens. Another image data photographed on the wide-angle side has a wide photographing range, so that there is a high possibility that the subject common to the difficult-to-recognize area is reflected more completely, and a similar area can be searched efficiently.
また、本実施形態では、認識困難領域と色の特徴が合致することを条件として、類似領域を探索する。この場合、画像データが手ブレやピントズレによって不鮮明な場合でも、類似領域の探索が可能になる。そのため、手ブレやピントズレを原因として被写体認識が困難になった領域についても、類似領域を利用して被写体種類を特定することができる。 In the present embodiment, a similar area is searched on the condition that the difficult-to-recognize area matches the color feature. In this case, even if the image data is unclear due to camera shake or focus shift, a similar area can be searched. Therefore, the subject type can be specified using the similar region even for the region where subject recognition is difficult due to camera shake or focus shift.
さらに、本実施形態では、認識困難領域とパターン（輪郭形状またはテクスチャー）の特徴が合致することを条件として、類似領域を探索する。この場合、色の特徴の少ない認識困難領域であっても、パターンの特徴に従って類似領域を厳密に探索することができる。 Furthermore, in this embodiment, a similar area is searched on condition that the difficult-to-recognize area and the pattern (contour shape or texture) feature match. In this case, even in a difficult-to-recognize region with few color features, a similar region can be searched strictly according to the pattern features.
なお、上述した実施形態では、画像検索の用途を中心に説明した。しかしながら、この用途に限定されるものではない。例えば、画像データに映っている被写体種類を判別し、その被写体種類に対応する画像処理（画質調整を含む）を画像データに施してもよい。この動作により、被写体種類に適した画像処理を選択実行する画像処理装置を実現することができる。 In the above-described embodiment, the description is focused on the use of image search. However, it is not limited to this application. For example, the subject type shown in the image data may be determined, and image processing (including image quality adjustment) corresponding to the subject type may be performed on the image data. With this operation, an image processing apparatus that selects and executes image processing suitable for the type of subject can be realized.
また、上述した実施形態では、画像データから画像特徴量を抽出している。しかしながら、これに限定されるものではない。被写体種類を示すテンプレート画像（被写体条件に相当）と画像データとをパターンマッチングで照合することにより、画像データ内に被写体種類が映っているか否かを判定してもよい。 In the above-described embodiment, the image feature amount is extracted from the image data. However, the present invention is not limited to this. It may be determined whether or not the subject type is reflected in the image data by collating a template image indicating the subject type (corresponding to the subject condition) and image data by pattern matching.
なお、上述した実施形態では、被写体キーワード記憶部３４に画像データのキーワードや被写体辞書のバージョン情報を記録している。しかしながら、これに限定されるものではない。画像データのファイル内（例えばEXIFデータなど）に、キーワード情報および／または被写体辞書のバージョン情報を記録してもよい。 In the embodiment described above, the keyword of image data and the version information of the subject dictionary are recorded in the subject keyword storage unit 34. However, the present invention is not limited to this. Keyword information and / or subject dictionary version information may be recorded in an image data file (for example, EXIF data).
また、上述した実施形態では、色またはパターンの特徴が認識困難領域と類似することを条件として、類似領域を探索する。しかしながら、本発明はこれに限定されるものではない。例えば、明るさなどの特徴が類似することを条件として、類似領域を探索してもよい。また、公知のブロックマッチング処理を用いて画像間の動きベクトルを求めることによって、認識困難領域に対応する類似領域を求めてもよい。 In the above-described embodiment, the similar area is searched on condition that the color or pattern feature is similar to the difficult-to-recognize area. However, the present invention is not limited to this. For example, a similar region may be searched on condition that features such as brightness are similar. Alternatively, a similar region corresponding to the difficult-to-recognize region may be obtained by obtaining a motion vector between images using a known block matching process.
以上説明したように、本発明は、画像検索システム、被写体認識装置、画像処理装置などに利用可能な技術である。 As described above, the present invention is a technique that can be used for an image search system, a subject recognition device, an image processing device, and the like.
１１…画像検索システム，１２…被写体認識装置，１３…画像データベース，１４…端末装置，２１…画像入力部，２２…被写体辞書部，２３…処理部，３１…特徴量演算部，３２…特徴量記憶部，３３…制御部，３４…被写体キーワード記憶部
DESCRIPTION OF SYMBOLS 11 ... Image search system, 12 ... Subject recognition apparatus, 13 ... Image database, 14 ... Terminal device, 21 ... Image input part, 22 ... Subject dictionary part, 23 ... Processing part, 31 ... Feature-value calculating part, 32 ... Feature-value Storage unit 33 ... Control unit 34 ... Subject keyword storage unit
Claims (14)
被写体種類を特定するための被写体条件から、前記画像データ中の被写体種類を特定する処理部とを備え、
前記処理部は、
認識されるべき被写体が部分的に映っているまたは認識されるべき被写体が認識できる大きさよりも小さく映っているため、前記画像データから被写体種類が認識できない画像領域を抽出する抽出部と、
前記認識できない画像領域と類似する画像領域を、認識されるべき被写体全体が映っているまたは認識されるべき被写体が認識できる大きさよりも大きく映っている、前記画像入力部に取り込まれる別の画像データから探索する探索部と、
前記類似する画像領域に映っている被写体種類を特定し、前記被写体種類を前記認識できない画像領域の被写体種類とする認識部とを備えた
ことを特徴とする被写体認識装置。 An image input unit for capturing image data;
A processing unit for specifying a subject type in the image data from a subject condition for specifying a subject type,
The processor is
An extraction unit for extracting an image region in which the subject type cannot be recognized from the image data because the subject to be recognized is partially reflected or smaller than the size that the subject to be recognized can be recognized;
Another image data captured by the image input unit, in which an image region similar to the unrecognizable image region is shown in which the entire subject to be recognized is shown or larger than the size in which the subject to be recognized can be recognized A search unit to search from,
A subject recognition apparatus comprising: a recognition unit that identifies a subject type appearing in the similar image region and sets the subject type as a subject type of the unrecognizable image region.
前記探索部は、前記認識できない画像領域を含む前記画像データと撮影時間差が予め定められた範囲に収まる前記別の画像データを選択し、選択された前記別の画像データから前記類似する画像領域を探索する
ことを特徴とする被写体認識装置。 The subject recognition apparatus according to claim 1,
The search unit selects the other image data in which a photographing time difference is within a predetermined range from the image data including the unrecognizable image region, and selects the similar image region from the selected other image data. A subject recognition device characterized by searching.
前記探索部は、前記認識できない画像領域を含む前記画像データと撮影範囲が少なくとも一部重複する前記別の画像データを選択し、選択された前記別の画像データから前記類似する画像領域を探索する
ことを特徴とする被写体認識装置。 The subject recognition apparatus according to claim 1 or 2,
The search unit selects the other image data whose shooting range overlaps at least partly with the image data including the unrecognizable image region, and searches for the similar image region from the selected other image data. An object recognition apparatus characterized by that.
前記探索部は、前記認識できない画像領域を含む前記画像データがクロップ処理後の場合、クロップ前の元画像データから前記類似する画像領域を探索する
ことを特徴とする被写体認識装置。 The subject recognition apparatus according to claim 3.
The search unit, when the image data including the unrecognizable image area is after the crop processing, searches for the similar image area from the original image data before the crop.
前記探索部は、前記認識できない画像領域を含む前記画像データがズームレンズの望遠側で撮影されている場合、前記ズームレンズの広角側で撮影された別の画像データから前記類似する画像領域を探索する
ことを特徴とする被写体認識装置。 The subject recognition apparatus according to claim 3.
When the image data including the unrecognizable image area is captured on the telephoto side of the zoom lens, the search unit searches for the similar image area from another image data captured on the wide-angle side of the zoom lens. An object recognition apparatus characterized by:
被写体種類を特定するための被写体条件から、前記画像データ中の被写体種類を特定する処理部とを備え、A processing unit for specifying a subject type in the image data from a subject condition for specifying a subject type,
前記処理部は、The processor is
前記画像データから被写体種類が認識できない画像領域を抽出する抽出部と、An extraction unit for extracting an image region in which the subject type cannot be recognized from the image data;
前記認識できない画像領域と類似する画像領域を、前記画像入力部に取り込まれる別の画像データから探索する探索部と、A search unit for searching for an image region similar to the unrecognizable image region from another image data captured by the image input unit;
前記類似する画像領域に映っている被写体種類を特定し、前記被写体種類を前記認識できない画像領域の被写体種類とする認識部とを備え、A recognition unit that identifies a subject type appearing in the similar image region, and sets the subject type as a subject type of the unrecognizable image region;
前記探索部は、前記認識できない画像領域を含む前記画像データと撮影範囲が少なくとも一部重複する前記別の画像データを選択し、選択された前記別の画像データから前記類似する画像領域を探索し、前記認識できない画像領域を含む前記画像データがクロップ処理後の場合、クロップ前の元画像データから前記類似する画像領域を探索するThe search unit selects the other image data whose shooting range overlaps at least partly with the image data including the unrecognizable image region, and searches for the similar image region from the selected other image data. When the image data including the unrecognizable image area is after the cropping process, the similar image area is searched from the original image data before the cropping.
ことを特徴とする被写体認識装置。An object recognition apparatus characterized by that.
被写体種類を特定するための被写体条件から、前記画像データ中の被写体種類を特定する処理部とを備え、A processing unit for specifying a subject type in the image data from a subject condition for specifying a subject type,
前記処理部は、The processor is
前記画像データから被写体種類が認識できない画像領域を抽出する抽出部と、An extraction unit for extracting an image region in which the subject type cannot be recognized from the image data;
前記認識できない画像領域と類似する画像領域を、前記画像入力部に取り込まれる別の画像データから探索する探索部と、A search unit for searching for an image region similar to the unrecognizable image region from another image data captured by the image input unit;
前記類似する画像領域に映っている被写体種類を特定し、前記被写体種類を前記認識できない画像領域の被写体種類とする認識部とを備え、A recognition unit that identifies a subject type appearing in the similar image region, and sets the subject type as a subject type of the unrecognizable image region;
前記探索部は、前記認識できない画像領域を含む前記画像データと撮影範囲が少なくとも一部重複する前記別の画像データを選択し、選択された前記別の画像データから前記類似する画像領域を探索し、前記認識できない画像領域を含む前記画像データがズームレンズの望遠側で撮影されている場合、前記ズームレンズの広角側で撮影された別の画像データから前記類似する画像領域を探索するThe search unit selects the other image data whose shooting range overlaps at least partly with the image data including the unrecognizable image region, and searches for the similar image region from the selected other image data. When the image data including the unrecognizable image area is photographed on the telephoto side of the zoom lens, the similar image area is searched from another image data photographed on the wide-angle side of the zoom lens.
ことを特徴とする被写体認識装置。An object recognition apparatus characterized by that.
被写体種類を特定するための被写体条件から、前記画像データ中の被写体種類を特定する処理部とを備え、A processing unit for specifying a subject type in the image data from a subject condition for specifying a subject type,
前記処理部は、The processor is
前記画像データから被写体種類が認識できない画像領域を抽出する抽出部と、An extraction unit for extracting an image region in which the subject type cannot be recognized from the image data;
前記認識できない画像領域と類似する画像領域を、前記画像入力部に取り込まれる別の画像データから探索する探索部と、A search unit for searching for an image region similar to the unrecognizable image region from another image data captured by the image input unit;
前記類似する画像領域に映っている被写体種類を特定し、前記被写体種類を前記認識できない画像領域の被写体種類とする認識部とを備え、A recognition unit that identifies a subject type appearing in the similar image region, and sets the subject type as a subject type of the unrecognizable image region;
前記探索部は、前記認識できない画像領域を含む前記画像データと撮影範囲が少なくとも一部重複する前記別の画像データを選択し、選択された前記別の画像データから前記類似する画像領域を探索し、前記認識できない画像領域を含む前記画像データがズームレンズの広角側で撮影されている場合、前記ズームレンズの望遠側で撮影された別の画像データから前記類似する画像領域を探索するThe search unit selects the other image data whose shooting range overlaps at least partly with the image data including the unrecognizable image region, and searches for the similar image region from the selected other image data. When the image data including the unrecognizable image area is photographed on the wide-angle side of the zoom lens, the similar image area is searched from another image data photographed on the telephoto side of the zoom lens.
ことを特徴とする被写体認識装置。An object recognition apparatus characterized by that.
前記探索部は、前記認識できない画像領域を含む前記画像データと撮影時間差が予め定められた範囲に収まる前記別の画像データを選択し、選択された前記別の画像データから前記類似する画像領域を探索するThe search unit selects the other image data in which a photographing time difference is within a predetermined range from the image data including the unrecognizable image region, and selects the similar image region from the selected other image data. Explore
ことを特徴とする被写体認識装置。An object recognition apparatus characterized by that.
前記探索部は、色の特徴およびパターンの特徴の少なくとも一方に基づいて、前記認識できない画像領域と類似する画像領域を、前記画像入力部から取り込まれる画像データから探索するThe search unit searches an image region similar to the unrecognizable image region from image data captured from the image input unit based on at least one of a color feature and a pattern feature.
ことを特徴とする被写体認識装置。An object recognition apparatus characterized by that.
認識された被写体種類に関連したキーワード情報を、前記画像データに対応付けて記録するステップとを備え、Recording keyword information related to the recognized subject type in association with the image data,
前記被写体認識ステップは、The subject recognition step includes
認識されるべき被写体が部分的に映っているまたは認識されるべき被写体が認識できる大きさよりも小さく映っているため、前記画像データから被写体種類の認識できない画像領域を抽出する抽出ステップと、An extraction step of extracting an unrecognizable image region of the subject type from the image data because the subject to be recognized is partially reflected or smaller than the size that the subject to be recognized can be recognized;
前記認識できない画像領域と類似する画像領域を、認識されるべき被写体全体が映っているまたは認識されるべき被写体が認識できる大きさよりも大きく映っている別の画像データから探索する探索ステップと、A search step for searching for an image region similar to the unrecognizable image region from another image data in which the entire subject to be recognized is shown or is larger than a size that can be recognized by the subject to be recognized;
前記類似する画像領域に映っている被写体種類を特定し、該被写体種類を前記認識できない画像領域に映っている被写体種類とする認識ステップとを備えたIdentifying a subject type appearing in the similar image area, and recognizing the subject type as a subject type appearing in the unrecognizable image area.
ことを特徴とする画像検索方法。An image search method characterized by that.
認識された被写体種類に関連したキーワード情報を、前記画像データに対応付けて記録するステップとを備え、Recording keyword information related to the recognized subject type in association with the image data,
前記被写体認識ステップは、The subject recognition step includes
前記画像データから被写体種類の認識できない画像領域を抽出する抽出ステップと、An extraction step of extracting an image area in which the subject type cannot be recognized from the image data;
前記認識できない画像領域と類似する画像領域を、別の画像データから探索する探索ステップと、A search step for searching an image region similar to the unrecognizable image region from another image data;
前記類似する画像領域に映っている被写体種類を特定し、該被写体種類を前記認識できない画像領域に映っている被写体種類とする認識ステップとを備え、Identifying a subject type appearing in the similar image region, and recognizing the subject type as a subject type appearing in the unrecognizable image region,
前記探索ステップでは、前記認識できない画像領域を含む前記画像データと撮影範囲が少なくとも一部重複する前記別の画像データを選択し、選択された前記別の画像データから前記類似する画像領域を探索し、前記認識できない画像領域を含む前記画像データがクロップ処理後の場合、クロップ前の元画像データから前記類似する画像領域を探索するIn the searching step, the image data including the unrecognizable image area and the other image data whose shooting range at least partially overlaps are selected, and the similar image area is searched from the selected other image data. When the image data including the unrecognizable image area is after the cropping process, the similar image area is searched from the original image data before the cropping.
ことを特徴とする画像検索方法。An image search method characterized by that.
認識された被写体種類に関連したキーワード情報を、前記画像データに対応付けて記録するステップとを備え、Recording keyword information related to the recognized subject type in association with the image data,
前記被写体認識ステップは、The subject recognition step includes
前記画像データから被写体種類の認識できない画像領域を抽出する抽出ステップと、An extraction step of extracting an image area in which the subject type cannot be recognized from the image data;
前記認識できない画像領域と類似する画像領域を、別の画像データから探索する探索ステップと、A search step for searching an image region similar to the unrecognizable image region from another image data;
前記類似する画像領域に映っている被写体種類を特定し、該被写体種類を前記認識できない画像領域に映っている被写体種類とする認識ステップとを備え、Identifying a subject type appearing in the similar image region, and recognizing the subject type as a subject type appearing in the unrecognizable image region,
前記探索ステップでは、前記認識できない画像領域を含む前記画像データと撮影範囲が少なくとも一部重複する前記別の画像データを選択し、選択された前記別の画像データから前記類似する画像領域を探索し、前記認識できない画像領域を含む前記画像データがズームレンズの望遠側で撮影されている場合、前記ズームレンズの広角側で撮影された別の画像データから前記類似する画像領域を探索するIn the searching step, the image data including the unrecognizable image area and the other image data whose shooting range at least partially overlaps are selected, and the similar image area is searched from the selected other image data. When the image data including the unrecognizable image area is photographed on the telephoto side of the zoom lens, the similar image area is searched from another image data photographed on the wide-angle side of the zoom lens.
ことを特徴とする画像検索方法。An image search method characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006350067A JP4888111B2 (en) | 2006-12-26 | 2006-12-26 | Subject recognition device, image search method, and subject recognition program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006350067A JP4888111B2 (en) | 2006-12-26 | 2006-12-26 | Subject recognition device, image search method, and subject recognition program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008158976A JP2008158976A (en) | 2008-07-10 |
| JP4888111B2 true JP4888111B2 (en) | 2012-02-29 |
Family
ID=39659784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006350067A Expired - Fee Related JP4888111B2 (en) | 2006-12-26 | 2006-12-26 | Subject recognition device, image search method, and subject recognition program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4888111B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5083080B2 (en) * | 2008-07-11 | 2012-11-28 | 株式会社ニコン | Image matching device and camera |
| JP5525737B2 (en) * | 2009-03-18 | 2014-06-18 | オリンパス株式会社 | Server system, terminal device, program, information storage medium, and image search method |
| JP5640377B2 (en) * | 2009-12-28 | 2014-12-17 | 株式会社ニコン | Image processing apparatus, camera, and image processing program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4591215B2 (en) * | 2005-06-07 | 2010-12-01 | 株式会社日立製作所 | Facial image database creation method and apparatus |
-
2006
- 2006-12-26 JP JP2006350067A patent/JP4888111B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008158976A (en) | 2008-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10346677B2 (en) | Classification and organization of consumer digital images using workflow, and face detection and recognition | |
| US8315463B2 (en) | User interface for face recognition | |
| US8810673B2 (en) | Composition determination device, composition determination method, and program | |
| JP4725377B2 (en) | Face image registration device, face image registration method, face image registration program, and recording medium | |
| JP4908505B2 (en) | Image classification using photographers | |
| JP6071289B2 (en) | Image processing apparatus, image processing method, and program | |
| EP1594311A2 (en) | Digital camera | |
| KR101781358B1 (en) | Personal Identification System And Method By Face Recognition In Digital Image | |
| JP5050465B2 (en) | Imaging apparatus, imaging control method, and program | |
| EP2023288A1 (en) | Object recognition device, object recognition program, and image search service providing method | |
| JP2008131330A (en) | Image display device and image displaying method | |
| JP2008146191A (en) | Image output device and image output method | |
| JP2005045600A (en) | Image photographing apparatus and program | |
| JP4888111B2 (en) | Subject recognition device, image search method, and subject recognition program | |
| JP7027101B2 (en) | Information processing equipment, control methods, and programs | |
| US9286707B1 (en) | Removing transient objects to synthesize an unobstructed image | |
| JP6410427B2 (en) | Information processing apparatus, information processing method, and program | |
| JP4371219B2 (en) | Digital camera | |
| WO2020115910A1 (en) | Information processing system, information processing device, information processing method, and program | |
| JP2004171375A (en) | Image processing method | |
| JP2022058833A (en) | Information processing system, information processing apparatus, information processing method, and program | |
| JP5267645B2 (en) | Imaging apparatus, imaging control method, and program | |
| JP4946332B2 (en) | Information processing program and information processing apparatus | |
| JP7371806B2 (en) | Information processing device, information processing method, and program | |
| JP2006058959A (en) | Similar image determination method, program and apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091225 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110726 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110926 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111115 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111128 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4888111 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141222 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |