JP2012142739A - Image processing device, image processing method and imaging apparatus - Google Patents
Image processing device, image processing method and imaging apparatus Download PDFInfo
- Publication number
- JP2012142739A JP2012142739A JP2010293228A JP2010293228A JP2012142739A JP 2012142739 A JP2012142739 A JP 2012142739A JP 2010293228 A JP2010293228 A JP 2010293228A JP 2010293228 A JP2010293228 A JP 2010293228A JP 2012142739 A JP2012142739 A JP 2012142739A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- unit
- extracted
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Studio Circuits (AREA)
Abstract
Description
本発明は、被写体に関連する情報に基づいた画像を生成する画像処理装置、画像処理方法、および撮像装置に関する。 The present invention relates to an image processing device, an image processing method, and an imaging device that generate an image based on information related to a subject.
従来、画像を生成する画像処理装置として、例えば、特許文献１のように、画像に関連付けた文字列を吹き出しとして表示する撮像装置が提案されている。特許文献１に開示された撮像装置は、画像認識処理およびカレンダー機能により、注目画像の属性（人物、動物、植物、生物、山、川など）や季節を取得し、注目画像の動作や表情の状態に応じた言葉の種類を選択可能に表示する。次に、絞込み処理により文字列を表示し、注目画像とその文字列を関連付けた吹き出しを付加した画像を生成するものである。
2. Description of the Related Art Conventionally, as an image processing apparatus that generates an image, for example, as in
特許文献１に開示された撮像装置では、吹き出しとして付加する内容（文字列）を、例えば、撮像装置のユーザーが選択することによって、選択した内容を含む吹き出しを画像に付加することができる。しかしながら、画像に付加する吹き出しの内容を選択するのは、撮像装置のユーザーに手間がかかり、吹き出しの内容を選択するための操作が煩雑になってしまう。このため、画像に吹き出しを付加する機能が実際に使用される頻度が少なくなってしまうことが考えられる。
In the imaging device disclosed in
本発明は、上記の課題認識に基づいてなされたものであり、画像内の被写体を検出し、検出した被写体に関連した文字列を付加した合成画像を生成することができる画像処理装置、画像処理方法、および撮像装置を提供することを目的としている。 The present invention has been made based on the above problem recognition, an image processing apparatus capable of detecting a subject in an image and generating a composite image to which a character string related to the detected subject is added, and image processing It is an object to provide a method and an imaging device.
上記の課題を解決するため、本発明の画像処理装置は、入力された画像中の被写体を抽出し、該抽出した被写体の特徴に基づいて、該抽出した被写体に所定の重み付けを行った重み付け情報を生成する被写体認識部と、前記被写体認識部が抽出した被写体の中から、文字列を付加する対象の対象被写体を特定する対象物特定部と、前記重み付け情報に基づいて、所定の言語データベースから前記対象被写体を含む前記抽出した被写体に適合する文字列を検索する言語検索部と、前記言語検索部によって検索された前記対象被写体に適合する文字列を、前記入力された画像中の該対象被写体に関連付けて合成した合成画像を生成する画像合成部と、を備えることを特徴とする。 In order to solve the above-described problem, the image processing apparatus of the present invention extracts a subject in an input image, and weighting information obtained by performing predetermined weighting on the extracted subject based on the characteristics of the extracted subject. From a predetermined language database based on the weighting information, a subject identifying unit that generates a subject, a target identifying unit that identifies a target subject to which a character string is to be added, among subjects extracted by the subject recognizing unit A language search unit that searches for a character string that matches the extracted subject including the target subject, and a character string that matches the target subject searched by the language search unit, the target subject in the input image And an image composition unit that generates a composite image synthesized in association with.
また、本発明の前記画像合成部は、前記対象被写体に適合する文字列を、該対象被写体からの吹き出しとして関連付けた合成画像を生成する、ことを特徴とする。 The image composition unit of the present invention generates a composite image in which a character string suitable for the target subject is associated as a balloon from the target subject.
また、本発明の前記被写体認識部が重み付けする際の前記被写体の特徴は、前記抽出された被写体の形状および色彩の特徴であり、前記被写体認識部は、前記入力された画像中の被写体の輪郭を抽出し、前記抽出した被写体の輪郭と、所定の形状との一致率の情報に基づいて、該被写体の形状に関する重み付けを行い、前記抽出した被写体の輪郭内の色のデータの情報に基づいて、該被写体の色彩に関する重み付けを行い、前記言語検索部は、前記一致率の情報および前記色のデータの情報に基づいて、前記被写体に適合する文字列を検索する、ことを特徴とする。 In addition, the feature of the subject when the subject recognition unit of the present invention performs weighting is the shape and color feature of the extracted subject, and the subject recognition unit includes the contour of the subject in the input image. Based on information on the matching rate between the extracted contour of the subject and a predetermined shape, weighting is performed on the shape of the subject, and based on information on color data in the extracted contour of the subject Further, weighting is performed on the color of the subject, and the language search unit searches for a character string that matches the subject based on the information on the matching rate and the information on the color data.
また、本発明の前記被写体認識部が重み付けする際の前記被写体の特徴は、前記抽出された被写体の形状の特徴であり、前記被写体認識部は、前記入力された画像中の被写体の輪郭を抽出し、前記抽出した被写体の輪郭と、所定の形状との一致率の情報に基づいて、該被写体の形状に関する重み付けを行い、前記言語検索部は、前記一致率の情報に基づいて、前記被写体に適合する文字列を検索する、ことを特徴とする。 Further, the feature of the subject when the subject recognition unit of the present invention performs weighting is a feature of the shape of the extracted subject, and the subject recognition unit extracts the contour of the subject in the input image. Then, weighting is performed on the shape of the subject based on information on the matching rate between the extracted contour of the subject and a predetermined shape, and the language search unit applies the weight to the subject based on the matching rate information. It is characterized by searching for a matching character string.
また、本発明の前記被写体認識部が重み付けする際の前記被写体の特徴は、前記抽出された被写体の色彩の特徴であり、前記被写体認識部は、前記入力された画像中の被写体の輪郭を抽出し、前記抽出した被写体の輪郭内の色のデータの情報に基づいて、該被写体の色彩に関する重み付けを行い、前記言語検索部は、前記色のデータの情報に基づいて、前記被写体に適合する文字列を検索する、ことを特徴とする。 Further, the feature of the subject when the subject recognition unit of the present invention performs weighting is the color feature of the extracted subject, and the subject recognition unit extracts the contour of the subject in the input image. Then, weighting is performed on the color of the subject based on the information on the color data in the contour of the extracted subject, and the language search unit is configured to apply a character suitable for the subject based on the information on the color data. It is characterized by searching a column.
また、本発明の前記対象物特定部は、該画像処理装置の操作者によって指定された被写体を、前記対象被写体として特定する、ことを特徴とする。 The object specifying unit according to the present invention is characterized in that an object specified by an operator of the image processing apparatus is specified as the object object.
また、本発明の撮像装置は、被写体を撮影した画像を出力すると共に、前記被写体を撮影したときの焦点の情報を出力する撮影部と、前記撮影部が撮影した画像中の被写体を抽出し、該抽出した被写体の特徴に基づいて、該抽出した被写体に所定の重み付けを行った重み付け情報を生成する被写体認識部と、前記撮影部が撮影したときの焦点の情報に基づいて、前記被写体認識部が抽出した被写体の中から、文字列を付加する対象の対象被写体を特定する対象物特定部と、前記重み付け情報に基づいて、所定の言語データベースから前記対象被写体を含む前記抽出した被写体に適合する文字列を検索する言語検索部と、前記言語検索部によって検索された前記対象被写体に適合する文字列を、前記入力された画像中の該対象被写体に関連付けて合成した合成画像を生成する画像合成部と、を備えることを特徴とする。 The image pickup apparatus of the present invention outputs an image obtained by photographing the subject, and outputs a focus information when the subject is photographed, and extracts a subject in the image photographed by the photographing unit, A subject recognition unit that generates weighting information obtained by performing predetermined weighting on the extracted subject based on the extracted subject characteristics; and the subject recognition unit based on focus information obtained by the photographing unit Based on the target specifying unit for specifying the target subject to which the character string is to be added, and the weighted information, the extracted subject including the target subject is matched with the extracted subject. A language search unit that searches for a character string, and a character string that matches the target subject searched by the language search unit is associated with the target subject in the input image. An image combining unit for generating a composite synthetic image, characterized in that it comprises a.
また、本発明の前記対象物特定部は、前記焦点の情報において焦点が合っていることを表している前記抽出した被写体、または該撮像装置の操作者によって指定された被写体のいずれか１つの被写体、または両方の被写体を、前記対象被写体として特定する、ことを特徴とする。 In addition, the object specifying unit of the present invention may be any one of the extracted subject indicating that the in-focus information is in focus or a subject specified by an operator of the imaging apparatus. Or both of the subjects are identified as the subject subjects.
また、本発明の撮像装置は、前記画像合成部によって生成された前記合成画像を表示する表示部、を、さらに備える、ことを特徴とする。 The imaging apparatus according to the present invention further includes a display unit that displays the composite image generated by the image composition unit.
また、本発明の撮像装置は、前記画像合成部によって生成された前記合成画像を記録する記録部、を、さらに備える、ことを特徴とする。 The imaging apparatus of the present invention further includes a recording unit that records the composite image generated by the image composition unit.
また、本発明の画像処理方法は、入力された画像中の被写体を抽出し、該抽出した被写体の特徴に基づいて、該抽出した被写体に所定の重み付けを行った重み付け情報を生成する被写体認識ステップと、前記被写体認識ステップによって抽出した被写体の中から、文字列を付加する対象の対象被写体を特定する対象物特定ステップと、前記重み付け情報に基づいて、所定の言語データベースから前記対象被写体を含む前記抽出した被写体に適合する文字列を検索する言語検索ステップと、前記言語検索ステップによって検索された前記対象被写体に適合する文字列を、前記入力された画像中の該対象被写体に関連付けて合成した合成画像を生成する画像合成ステップと、を含むことを特徴とする。 Further, the image processing method of the present invention extracts a subject in an input image, and generates a weighting information by performing predetermined weighting on the extracted subject based on the extracted subject characteristics. A target specifying step for specifying a target subject to which a character string is to be added from the subjects extracted in the subject recognition step, and the target subject from a predetermined language database based on the weighting information. A language search step for searching for a character string that matches the extracted subject, and a composition in which the character string that matches the target subject searched by the language search step is synthesized in association with the target subject in the input image And an image composition step for generating an image.
本発明によれば、画像内の被写体を検出し、検出した被写体に関連した文字列を付加した合成画像を生成することができるという効果が得られる。 According to the present invention, it is possible to detect an object in an image and generate a composite image to which a character string related to the detected object is added.
＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本第１の実施形態における画像処理装置の概略構成を示したブロック図である。図１に示した画像処理装置２００は、例えば、デジタルスチルカメラなどの撮像装置に適用される。なお、画像処理装置２００を撮像装置に適用した場合の詳細な説明は、後述する。図１に示した画像処理装置２００は、被写体認識部１と、対象物特定部２と、言語索出部３と、画像合成部４とから構成されている。また、画像処理装置２００には、被写体に適合するコメントの文字列を記憶している言語データベース３００が接続されている。画像処理装置２００は、入力された画像データ内の指定された被写体に、言語データベース３００に記憶している被写体に関連したコメント（文字列）を付加した画像を生成して出力する。
<First Embodiment>
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a schematic configuration of the image processing apparatus according to the first embodiment. The
以下の説明においては、画像処理装置２００と言語データベース３００との構成に、画像処理装置２００に画像データを入力するデータ入力部１００と、画像処理装置２００が生成した画像を表示する、例えば、液晶などの表示装置である表示部４００とを加えた画像処理システムの場合について説明する。なお、図１においては、言語データベース３００が、画像処理装置２００の外部の構成要素である場合を示したが、言語データベース３００は、画像処理装置２００の内部の構成要素であってもよい。また、図１においては、言語データベース３００が画像処理装置２００の外部に配線されている場合を示したが、例えば、ネットワークを経由して画像処理装置２００から離れている言語データベース３００にアクセスする構成とすることもできる。
In the following description, a
被写体認識部１は、データ入力部１００から入力された画像データ（以下、「元画像」という）内の被写体の画像認識を行い、被写体を抽出する。そして、被写体認識部１は、データ入力部１００から入力された元画像に抽出した被写体の情報を付加して対象物特定部２に出力する。また、被写体認識部１は、抽出した被写体の特徴（例えば、形状や色彩）に基づいて、それぞれの被写体の重み付け処理を行う。そして、重み付け処理した各被写体の重み付け情報（以下、「重み情報」という）を、言語索出部３に出力する。
The
ここで、被写体認識部１による処理内容の一例について説明する。被写体認識部１における被写体の抽出では、元画像内の被写体の輪郭をそれぞれ抽出する。そして、抽出した被写体の輪郭または被写体の輪郭内のデータに基づいて、重み付け処理を行う。
Here, an example of processing contents performed by the
例えば、抽出した被写体の輪郭、すなわち、被写体の形状に基づいた重み付け処理を行う際には、被写体の形状のテンプレートマッチング（照合）の処理を行い、テンプレートとの一致率に基づいて重み付け処理を行う。より具体的には、被写体認識部１は、抽出した各被写体の輪郭が、被写体認識部１内に備えた、例えば、三角、四角、丸などのテンプレートに類似しているか否かを、それぞれの被写体毎に比較する。そして、それぞれの比較結果を、各被写体の重み情報として言語索出部３に出力する。
For example, when performing weighting processing based on the contour of the extracted subject, that is, the shape of the subject, template matching processing of the shape of the subject is performed, and weighting processing is performed based on the matching rate with the template. . More specifically, the
なお、被写体の輪郭とテンプレートとの比較を行う際には、例えば、テンプレートの大きさと同じ大きさになるように、被写体の輪郭を拡大処理または縮小処理を行って一致率を算出する。そして、最も一致率の高い形状のテンプレートを、当該被写体のテンプレートとして選択する。その後、被写体認識部１は、選択されたテンプレートを用いて、それぞれの被写体の重み付けを行う。被写体の形状に基づいた重み付け処理では、被写体の輪郭と選択されたテンプレートとの一致率が、当該被写体の重み情報になる。
When comparing the contour of the subject with the template, for example, the contour of the subject is subjected to enlargement processing or reduction processing so as to have the same size as the template, and the matching rate is calculated. Then, the template having the highest matching rate is selected as the template for the subject. Thereafter, the
また、例えば、被写体の輪郭内のデータ、すなわち、被写体の色彩に基づいた重み付け処理を行う際には、例えば、被写体の色の濃淡を表す輝度に基づいて重み付け処理を行う。被写体の色彩に基づいた重み付け処理では、各被写体の輝度の情報が、当該被写体の重み情報になる。また、被写体の色彩に基づいた重み付け処理では、例えば、各被写体を構成しているそれぞれの色（例えば、赤、緑、または青などのそれぞれの色）の情報に基づいて、各被写体の重み付けを行うこともできる。 Further, for example, when performing weighting processing based on the data in the contour of the subject, that is, the color of the subject, the weighting processing is performed based on, for example, luminance representing the shade of the subject color. In the weighting process based on the color of the subject, the luminance information of each subject becomes the weight information of the subject. Further, in the weighting process based on the color of the subject, for example, the weighting of each subject is performed based on the information of each color constituting each subject (for example, each color such as red, green, or blue). It can also be done.
対象物特定部２は、画像処理装置２００のユーザーによる図示しない操作部の操作に応じて、被写体認識部１が抽出した被写体の内、コメントを付加する対象の被写体（以下、「対象被写体」という）を特定する。そして、被写体認識部１から入力された被写体の情報が付加された元画像に、さらに対象被写体の情報を付加して、画像合成部４に出力する。また、対象物特定部２は、特定された対象被写体の情報（以下、「対象被写体情報」という）を、言語索出部３に出力する。なお、対象物特定部２は、対象被写体が、被写体認識部１から入力された被写体の情報に含まれていない場合、すなわち、被写体認識部１が抽出した被写体と異なる被写体が、対象被写体である場合には、対象被写体の情報を被写体認識部１にも出力する。これにより、被写体認識部１は、対象被写体の画像認識を再度行って対象被写体を抽出し、対象被写体の重み情報を言語索出部３に出力することができる。
The
言語索出部３は、被写体認識部１から入力された重み情報と、対象物特定部２から入力された対象被写体情報とに基づいて、言語データベース３００に記憶しているコメントの文字列の検索を行い、対象被写体に適合するコメントの文字列（以下、「コメントデータ」という）を選択する。そして、言語索出部３は、選択したコメントデータを、言語データベース３００から取得し、取得したコメントデータを、画像合成部４に出力する。
The
画像合成部４は、対象物特定部２から入力された被写体の情報と対象被写体情報とが付加された元画像に、言語索出部３から入力されたコメントデータを、例えば、対象被写体の吹き出しとして合成する画像合成処理を行った合成画像を生成する。そして、画像合成部４は、コメントデータが吹き出し内のコメント（以下、「吹き出しコメント」という）として合成された合成画像を、表示部４００に出力する。なお、画像合成部４がコメントデータを吹き出しコメントとして合成する際には、コメントを含む吹き出しの領域の画像データを、元画像に上書きする画像合成処理を行うこともできるが、例えば、透明度の情報を予め画像処理装置２００に設定しておき、吹き出しの領域の画像データを透明度の情報に応じた割合で重ね合わせる画像合成処理を行うこともできる。
The
次に、本第１の実施形態の画像処理装置２００における画像合成処理について説明する。なお、以下の説明においては、被写体の形状と色彩との重み情報を用いて、対象被写体に適合したコメントデータを吹き出しコメントとして合成した合成画像を生成する場合について説明する。まず、本第１の実施形態の画像処理装置２００において元画像に合成されるコメントデータを記憶した言語データベース３００のデータ構成について説明する。図２は、本第１の実施形態の画像処理装置２００で用いられる言語データベース３００における言語データ（コメントデータ）の構成の一例を模式的に示した図である。なお、図２においては、網掛けで表したところに、図２中に吹き出しで示したコメントデータが記憶されているものとする。
Next, image composition processing in the
言語データベース３００は、重み情報に対応したコメントデータが一義的に選択されるように構成されている。例えば、図２に示したように、言語データベース３００には、被写体の形状（一致率）と、被写体の色彩（被写体の輝度）に応じて、１つのコメントデータが選択されるように、コメントデータが記憶されている。言語データベース３００を、このような構成とすることによって、重み情報に対応した１つのコメントデータのみが、言語索出部３によって必ず選択される。図２では、被写体の形状と色彩との重み情報に基づいて、重みＰの位置のコメントデータである言葉の文字列「きれい」が選択された場合の例を示している。
The
なお、図２に示した言語データベース３００の構成の一例では、被写体の形状と色彩との重み情報に基づいて対象被写体に適合した言葉の文字列を選択する場合の例について説明したが、被写体の形状または色彩のいずれか一方の重み情報に基づいて、対象被写体に適合した言葉の文字列を選択することができる。より具体的には、図２からもわかるように、言語データベース３００には、被写体の形状（一致率）毎、すなわち、図２においては横方向の行毎に、１つのコメントデータのみが記憶されている。また、被写体の色彩（被写体の輝度）毎、すなわち、図２においては縦方向の列毎にも、１つのコメントデータのみが記憶されている。言語データベース３００がこのような構成となっているため、言語索出部３は、入力された重み情報が１つであっても、必ず１つのコメントデータを選択することができる。なお、複数の重み情報に基づいて対象被写体に適合した言葉の文字列を選択する場合、コメントデータの選択に用いられる重み情報の優先順位（例えば、図２においては、形状または色彩のどちらの重み情報を優先してコメントデータを選択するか）は、画像合成処理を実行する前に、予め画像処理装置２００に設定しておくことが望ましい。この重み情報の優先順位は、例えば、画像処理装置２００のユーザーが決定し、予め画像処理装置２００に設定しておく構成とすることができる。
In the example of the configuration of the
次に、本第１の実施形態の画像処理装置２００における画像合成処理の手順について説明する。図３は、本第１の実施形態の画像処理装置２００における画像合成処理の手順を示したフローチャートである。
Next, a procedure for image composition processing in the
まず、ステップＳ３１において、データ入力部１００に元画像が入力されると、データ入力部１００は、入力された元画像を被写体認識部１に出力する。続いて、ステップＳ３２において、被写体認識部１は、データ入力部１００から入力された元画像内の被写体の画像認識を行い、被写体の輪郭をそれぞれ抽出する。そして、被写体認識部１は、抽出した被写体の輪郭の情報を元画像に付加して対象物特定部２に出力する。
First, in step S <b> 31, when an original image is input to the
続いて、ステップＳ３３において、対象物特定部２は、画像処理装置２００のユーザーによる図示しない操作部の操作に応じて、対象被写体を特定し、被写体認識部１から入力された被写体の輪郭の情報が付加された元画像に、特定した対象被写体の情報をさらに付加して、画像合成部４に出力する。また、対象物特定部２は、対象被写体情報を、言語索出部３に出力する。
Subsequently, in step S <b> 33, the
続いて、ステップＳ３４において、被写体認識部１は、抽出した被写体の特徴に基づいて、それぞれの被写体の重み付け処理を行い、各被写体の重み情報を言語索出部３に出力する。なお、本第１の実施形態では、被写体の形状と色彩との重み情報が言語索出部３に出力される。
Subsequently, in step S <b> 34, the
続いて、ステップＳ３５において、言語索出部３は、ステップＳ３３において対象物特定部２から入力された対象被写体情報と、ステップＳ３４において被写体認識部１から出力された重み情報とに基づいて、言語データベース３００内のコメントデータを検索する。そして、対象被写体に適合するコメントデータ取得して、画像合成部４に出力する。
Subsequently, in step S35, the
続いて、ステップＳ３６において、画像合成部４は、対象物特定部２から入力された対象被写体の情報が付加された元画像に、言語索出部３から入力されたコメントデータを、対象被写体の吹き出しコメントとして合成した合成画像を生成する。そして、生成した合成画像を、表示部４００に表示し、画像合成処理を終了する。
Subsequently, in step S36, the
ここで、画像処理装置２００によって画像合成処理する場合の一例について説明する。図４は、本第１の実施形態の画像処理装置２００における被写体の特定方法と、画像合成によって生成される画像の一例を示した図である。
Here, an example in the case of image composition processing by the
元画像が、図４（ａ）に示したような、花と２頭の蝶の画像である場合を想定する。被写体認識部１は、図４（ａ）に示した元画像内の被写体の画像認識を行い、図４（ｂ）に示したように、それぞれの被写体（被写体Ａ〜Ｃ）の輪郭を抽出する。
Assume that the original image is an image of a flower and two butterflies as shown in FIG. The
また、対象物特定部２は、画像処理装置２００のユーザーによって指定された被写体を、対象被写体として特定する。なお、ユーザーによる対象被写体の指定は、例えば、図示しない操作部に備えた十字キーやタッチパネルなどを、ユーザーが操作することによって行うことができる。図４（ｃ）では、元画像内の被写体Ｃ（右側の蝶）を、ユーザーがタッチパネル上で対象被写体として指定することによって、対象被写体を特定している様子を示している。
Further, the
この場合、対象物特定部２は、タッチパネルの機能を備えた表示部４００に元画像を表示させる。その後、ユーザーによって吹き出しコメントを付加する被写体が指定されたとき、表示部４００に備えたタッチパネルから、ユーザーが指定した被写体の位置を表す情報（図４（ｃ）においては、被写体Ｃの位置の位置を表す情報）が、対象物特定部２に入力される。対象物特定部２は、入力された被写体の位置を表す情報に基づいて、被写体認識部１が抽出した元画像に含まれる被写体（図４（ｂ）においては、被写体Ａ〜Ｃ）の中から、被写体Ｃを対象被写体として特定する。なお、対象被写体を特定する方法は、ユーザーによって指定された被写体を特定することができる方法であれば、どのような方法でもよく、図４（ｃ）に示したようなタッチパネル上で被写体を指定する方法に限定されるものではない。
In this case, the target
また、被写体認識部１は、抽出した被写体Ａ〜Ｃの特徴に基づいて、それぞれの被写体の重み付け処理を行う。そして、言語索出部３は、被写体認識部１から入力された重み情報と、対象物特定部２から入力された対象被写体情報に基づいて、言語データベース３００内のコメントデータを検索し、被写体Ｃに適合するコメントデータを取得する。ここでは、図４（ｂ）に示した対象被写体である被写体Ｃ（右側の蝶）に適合したコメントデータとして、図２に示した重みＰの位置のコメントデータが選択され、「きれい」という言葉の文字列のコメントデータを取得して、画像合成部４に出力するものとする。
The
画像合成部４は、対象物特定部２から入力された元画像と、言語索出部３から入力されたコメントデータとを画像合成処理し、図４（ｄ）に示したような、ユーザーによって指定された対象被写体である被写体Ｃに、吹き出しコメントとしてコメントデータが合成された合成画像を生成する。なお、ユーザーによって複数の対象被写体が指定された場合には、言語索出部３が指定されたそれぞれの対象被写体に適合するコメントデータを検索し、画像合成部４が、対象被写体毎に吹き出しコメントを合成した合成画像を生成することもできる。
The
なお、画像合成部４がコメントデータを合成する場合、対象被写体の予め定めた方向に、予め定めた大きさの吹き出しコメントを合成することもできるが、被写体認識部１によって元画像に付加された被写体の輪郭の情報に基づいて、合成する吹き出しコメントの方向や大きさを変更することもできる。例えば、図４に示したように、元画像に複数の被写体（被写体Ａ〜Ｃ）が含まれている場合には、被写体認識部１によって元画像に付加されている被写体の輪郭の情報に基づいて、対象被写体以外の被写体（被写体ＡおよびＢ）に吹き出しコメントが重ならないように、合成する吹き出しコメントの方向や大きさを変更することもできる。
When the
例えば、図４（ｂ）に示した被写体Ｂが対象被写体として指定された場合、図４（ｄ）と同様に吹き出しコメントを合成すると、図５（ａ）に示したように、吹き出しコメントが被写体Ａに重なってしまう。元画像に付加されている被写体の輪郭の情報に基づいて、合成する吹き出しコメントの方向や大きさを変更することによって、例えば、図５（ｂ）に示したように、元画像内の他の被写体（被写体ＡおよびＣ）に吹き出しコメントが重ならないように画像合成処理を行うことができる。 For example, when the subject B shown in FIG. 4B is designated as the target subject, if a balloon comment is synthesized as in FIG. 4D, the balloon comment becomes the subject as shown in FIG. It overlaps with A. By changing the direction and size of the balloon comment to be combined based on the contour information of the subject added to the original image, for example, as shown in FIG. Image composition processing can be performed so that the balloon comments do not overlap the subjects (subjects A and C).
上記に述べたように、本第１の実施形態の画像処理装置２００では、元画像内の対象被写体に適合した吹き出しコメントを自動で付加した合成画像を生成することができる。これにより、画像をより楽しむことができる。
As described above, in the
＜第２の実施形態＞
次に、第１の実施形態の画像処理装置２００を、例えば、デジタルスチルカメラなどの撮像装置に適用した場合について説明する、図６は、第１の実施形態の画像処理装置を備えた本第２の実施形態の撮像装置の概略構成を示したブロック図である。図６に示した撮像装置５００は、レンズ部５１と、撮像部５２と、撮像制御部５３と、画像信号処理部５４と、画像記録部５５と、表示部５６と、制御部５７と、画像処理装置２００とから構成されている。また、撮像装置５００には、言語データベース３００が接続されている。また、撮像制御部５３には、ＡＦ（オートフォーカス：自動焦点）部５３ａを備えている。また、画像処理装置２００は、被写体認識部１と、対象物特定部２と、言語索出部３と、画像合成部４とから構成されている。
<Second Embodiment>
Next, the case where the
撮像装置５００は、撮影した画像内の指定された被写体に、言語データベース３００に記憶している被写体に関連したコメント（文字列）を付加した画像を生成して記録または表示する。なお、撮像装置５００に備えた画像処理装置２００は、ＡＦ部５３ａから出力される焦点位置の情報が入力される以外は、図１に示した画像処理装置２００と同様である。また、言語データベース３００も図１に示した言語データベース３００と同様である。従って、図６においては、言語データベース３００が、撮像装置５００の外部の構成要素である場合を示しているが、言語データベース３００は、撮像装置５００の内部の構成要素であってもよい。以下の説明においては、図１に示した画像処理装置２００および言語データベース３００と同じ構成要素については、同一の符号を付与し、それぞれの構成要素における同様の動作や構成についての詳細な説明は省略する。
The
レンズ部５１は、複数のレンズから構成されズームレンズやオートフォーカスレンズなどを備え、被写体像を撮像部５２に結像させる。
撮像部５２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）型撮像素子や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）型撮像素子などのイメージセンサから構成され、レンズ部５１の各種レンズを通過して撮像装置５００内に入射した被写体の光学像を画像信号に変換する。
The
The
撮像制御部５３は、撮像部５２を制御して、被写体の撮像条件の調節制御を行う。また、撮像制御部５３に備えたＡＦ部５３ａは、レンズ部５１を光軸方向に移動させて自動焦点の調節を行う。また、ＡＦ部５３ａは、被写体を撮影したときの焦点位置（以下、「ＡＦ位置」という）の情報を画像処理装置２００内の対象物特定部２に出力する。
The
画像信号処理部５４は、撮像部５２から出力された画像信号に対して、信号の増幅、画像データへの変換および各種の補正、画像データの圧縮など、種々の画像処理を行う。
画像記録部５５は、半導体メモリなどの着脱可能な記録媒体を制御して、画像データの記録または読み出しを行う。
The image
The
表示部５６は、撮像部５２に結像され、画像信号処理部５４によって処理された画像データ、または画像記録部５５が読み出された画像データの画像を表示する液晶などの表示装置である。
制御部５７は、画像信号処理部５４、画像記録部５５、表示部５６、および画像処理装置２００の制御を行う。
The
The
なお、図６に示した撮像装置５００においては、レンズ部５１、撮像部５２、撮像制御部５３、および画像信号処理部５４を併せた構成が、図１に示したデータ入力部１００に相当する。すなわち、レンズ部５１によって撮像部５２に結像され、画像信号処理部５４によって画像処理された画像データが、撮像装置５００に備えた画像処理装置２００に入力される元画像になる。また、表示部５６は、図１に示した表示部４００に相当する。
In the
対象物特定部２は、図１に示した対象物特定部２と同様に、撮像装置５００のユーザーによる図示しない操作部の操作に応じて、対象被写体を特定する。また、対象物特定部２は、ＡＦ部５３ａから入力されたＡＦ位置の情報に基づいた対象被写体の特定も行う。
Similar to the
次に、本第２の実施形態の撮像装置５００における画像合成処理の手順について説明する。なお、以下の説明においては、撮影した被写体の形状と色彩との重み情報を用いて、対象被写体に適合したコメントデータを吹き出しコメントとして合成した合成画像を生成する場合について説明する。図７は、本第２の実施形態の撮像装置５００における画像合成処理の手順を示したフローチャートである。
Next, the procedure of image composition processing in the
まず、ステップＳ６１において、撮影が行われると、画像信号処理部５４は、レンズ部５１によって撮像部５２に結像された被写体像の画像信号に基づいた元画像を、被写体認識部１に出力する。続いて、ステップＳ６２において、制御部５７は、被写体に吹き出しコメントを合成するか否か、すなわち、撮像装置５００の設定が、吹き出しコメントを付加するモードであるか否かを判断する。なお、吹き出しコメントを付加するモードであるか否かの撮像装置５００の設定は、撮影前に、予め撮像装置５００に設定しておくこともできるが、撮像装置５００のユーザーがステップＳ６２のときに決定するようにすることもできる。撮像装置５００の設定が吹き出しコメントを付加するモードでない場合は、撮像装置５００における画像合成処理を終了する。
First, in step S <b> 61, when shooting is performed, the image
ステップＳ６２による判断の結果、撮像装置５００の設定が吹き出しコメントを付加するモードである場合、ステップＳ６３において、被写体認識部１は、画像信号処理部５４から入力された元画像内の被写体の画像認識を行い、被写体の輪郭をそれぞれ抽出する。そして、被写体認識部１は、抽出した被写体の輪郭の情報を元画像に付加して対象物特定部２に出力する。
If the result of determination in step S62 is that the setting of the
続いて、ステップＳ６４において、対象物特定部２は、撮像装置５００のユーザーによる図示しない操作部の操作に応じて、対象被写体を特定する。また、対象物特定部２は、対象被写体情報を、言語索出部３に出力する。
Subsequently, in step S <b> 64, the
続いて、ステップＳ６５において、被写体認識部１は、抽出した被写体の特徴に基づいて、それぞれの被写体の重み付け処理を行い、各被写体の重み情報を言語索出部３に出力する。なお、本第２の実施形態では、被写体の形状と色彩との重み情報が言語索出部３に出力される。
Subsequently, in step S <b> 65, the
続いて、ステップＳ６６において、言語索出部３は、ステップＳ６４において対象物特定部２から入力された対象被写体情報と、ステップＳ６５において被写体認識部１から出力された重み情報とに基づいて、言語データベース３００内のコメントデータを検索する。
Subsequently, in step S66, the
続いて、ステップＳ６７において、対象物特定部２は、ＡＦ部５３ａから入力されたＡＦ位置の情報に基づいて、ＡＦ位置を中心にした焦点が合っている被写体を特定し、被写体認識部１から入力された被写体の輪郭の情報が付加された元画像に、特定した対象被写体の情報と焦点が合っている被写体の情報とをさらに付加して、画像合成部４に出力する。なお、対象物特定部２は、焦点が合っている被写体の情報を、言語索出部３に出力することもできる。これにより、言語索出部３は、言語データベース３００を再度検索することによって、焦点が合っている被写体に適合するコメントデータを取得することができる。このことによって、画像合成部４は、焦点が合っている被写体に吹き出しコメントを付加することができるようになる。
Subsequently, in step S67, the
続いて、ステップＳ６８において、対象物特定部２は、撮像装置５００のユーザーによる図示しない操作部の操作に応じて、吹き出しコメントを付加する元画像内の位置（以下、「吹き出し位置」という）を決定する。なお、ユーザーの指定によらず、焦点が合っている被写体の位置を吹き出し位置に決定することもできる。また、ユーザーに指定された位置と、焦点が合っている被写体の位置とを、吹き出し位置に決定することもできる。そして、対象物特定部２は、決定した吹き出し位置の情報を、言語索出部３および画像合成部４に出力する。
Subsequently, in step S <b> 68, the
続いて、ステップＳ６９において、言語索出部３は、ステップＳ６８において対象物特定部２から入力された決定した吹き出し位置の情報に基づいて、吹き出し位置に適合するコメントデータ取得して、画像合成部４に出力する。そして、画像合成部４は、対象物特定部２から入力された吹き出し位置の情報に基づいて、言語索出部３から入力されたコメントデータを、吹き出しコメントとして元画像に合成した合成画像を生成する。そして、生成した合成画像を、表示部４００に表示、または画像記録部５５によって記録媒体に記録し、画像合成処理を終了する。
Subsequently, in step S69, the
ここで、撮像装置５００における吹き出し位置の指定方法の一例について説明する。図８は、本第２の実施形態の撮像装置５００における吹き出し位置の指定方法の一例を示した図である。撮像装置５００のユーザーによる吹き出し位置の指定は、ユーザーによる対象被写体の指定方法と同様に、十字キーやタッチパネルなどの操作によって行うことができる。例えば、図８に示したように、表示部５６にタッチパネルの機能を備えている場合には、ユーザーが撮像装置５００の表示部５６のタッチパネルに触れることによって得られる、表示部５６に備えたタッチパネルからの吹き出し位置を表す情報に基づいて、吹き出し位置を決定することができる。また、例えば、表示部５６にタッチパネルの機能を備えていない場合には、図８に示した十字キー５８をユーザーが操作することによって、吹き出し位置を決定することもできる。
Here, an example of a method for designating the balloon position in the
上記に述べたように、本第２の実施形態の撮像装置５００では、撮像装置５００に備えた操作部によって、容易に、撮影した画像内の被写体に適合した吹き出しコメントを自動で付加した合成画像を生成することができる。そして、生成した合成画像を表示または記録することができる。これにより、撮影したその場で吹き出しコメントが付加された画像を楽しむことができ、後でも吹き出しコメントが付加された画像を楽しむことができる。
As described above, in the
上記に述べたとおり、本発明を実施するための形態によれば、画像内の被写体に適合したコメントデータを言語データベースから検索することができる。また、言語データベース内には、重み情報に応じて一義的に選択されるコメントデータが記憶されている。これにより、言語データベースを検索した結果、複数のコメントデータが選択されることはなく、必ず１つのコメントデータのみが選択される。従って、本発明を実施するための形態では、従来の撮像装置のように、複数のコメントデータから画像に付加する吹き出しコメントを選択する必要がなく、被写体に適合した吹き出しコメントを自動で付加した合成画像を生成することができる。また、本発明を実施するための形態では、吹き出しコメントを付加する被写体をユーザーが指定することができる。これにより、画像内に複数の被写体がある場合でも、特定の被写体のみに吹き出しコメントを付加することができる。 As described above, according to the embodiment for carrying out the present invention, comment data suitable for a subject in an image can be searched from a language database. In the language database, comment data that is uniquely selected according to the weight information is stored. Thereby, as a result of searching the language database, a plurality of comment data is not selected, and only one comment data is always selected. Therefore, in the embodiment for carrying out the present invention, unlike the conventional imaging device, it is not necessary to select a balloon comment to be added to an image from a plurality of comment data, and a composition in which a balloon comment suitable for a subject is automatically added. An image can be generated. In the form for carrying out the present invention, the user can specify the subject to which the balloon comment is added. Thereby, even when there are a plurality of subjects in the image, it is possible to add a balloon comment only to a specific subject.
また、本発明を実施するための形態によれば、画像内で焦点が合っている位置の被写体を特定することができる。これにより、ユーザーが注目する被写体を認識することができ、吹き出し位置を自動で決定することができる。また、本発明を実施するための形態では、吹き出し位置をユーザーが指定することができる。これにより、ユーザーの所望の位置に吹き出しコメントを合成することができる。 Moreover, according to the form for implementing this invention, the to-be-photographed object of the position in focus in an image can be pinpointed. As a result, it is possible to recognize the subject to which the user pays attention, and to automatically determine the balloon position. Moreover, in the form for implementing this invention, a user can designate the balloon position. Thereby, the balloon comment can be synthesized at the position desired by the user.
なお、本実施形態においては、画像処理装置２００に１つの言語データベース３００が接続されている場合の例について説明したが、画像処理装置２００に接続されている言語データベース３００の個数は、本実施形態に限定されるものではなく、複数の言語データベース３００が画像処理装置２００に接続されている構成とすることもできる。この場合、例えば、言語索出部３がコメントデータを検索する言語データベース３００を、ユーザーが選択する構成にすることもできる。また、例えば、ポートレートや夜景など、撮影されるシーンや、動物や昆虫など、被写体の種類に応じた複数の言語データベース３００が接続されている場合には、例えば、撮像装置５００の撮影条件や、被写体認識部１が抽出した被写体に応じて、コメントデータを検索する言語データベース３００を切り替える構成とすることもできる。
In this embodiment, an example in which one
また、言語データベース３００に記憶されているコメントデータは、予め記憶されたデータのみではなく、例えば、ユーザーが好みに合わせて、コメントの文字列を変更する構成とすることもできる。例えば、撮像装置５００内の言語データベース３００を変更する場合には、図示しない操作部に備えた十字キーやタッチパネルなどをユーザーが操作することもできる。また、ネットワークを経由して画像処理装置２００から離れている言語データベース３００を変更する場合には、画像処理装置２００で利用しているネットワークと異なる経路で言語データベース３００にアクセスすることもできる。
Further, the comment data stored in the
また、本実施形態においては、図２において被写体の形状（一致率）と、被写体の色彩（被写体の輝度）との重み情報を、それぞれ６段階に分割した言語データベース３００の構成の例について説明したが、言語データベースにおいて分割する重み情報の段階（分割数）は、本実施形態に限定されるものではなく、重み情報毎に言語データベース内で分割する段階（分割数）を変えることができる。例えば、被写体の形状（一致率）を６段階とし、被写体の色彩（被写体の輝度）を８段階とした言語データベースの構成にすることもできる。
In the present embodiment, the example of the configuration of the
また、本第２の実施形態においては、第１の実施形態の画像処理装置２００を、デジタルスチルカメラなどの撮像装置に適用した場合について説明したが、画像処理装置を適用するシステムは、本実施形態に限定されるものではなく、元画像内の被写体に吹き出しコメントを付加した合成画像を生成するシステムであれば、どのようなシステムも適用することができる。
In the second embodiment, the case where the
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。 The embodiment of the present invention has been described above with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes various modifications within the scope of the present invention. It is.
１００・・・データ入力部（撮影部）
２００・・・画像処理装置
１・・・被写体認識部
２・・・対象物特定部
３・・・言語索出部（言語検索部）
４・・・画像合成部
３００・・・言語データベース
４００・・・表示部
５００・・・撮像装置
５１・・・レンズ部（撮影部）
５２・・・撮像部（撮影部）
５３・・・撮像制御部（撮影部）
５３ａ・・・ＡＦ部（撮影部）
５４・・・画像信号処理部（撮影部）
５５・・・画像記録部（記録部）
５６・・・表示部
５７・・・制御部
５８・・・十字キー
100: Data input part (photographing part)
200...
4 ...
52 ... Imaging unit (imaging unit)
53 ... Imaging control unit (imaging unit)
53a AF section (shooting section)
54... Image signal processing unit (imaging unit)
55 ... Image recording part (recording part)
56...
Claims (11)
前記被写体認識部が抽出した被写体の中から、文字列を付加する対象の対象被写体を特定する対象物特定部と、
前記重み付け情報に基づいて、所定の言語データベースから前記対象被写体を含む前記抽出した被写体に適合する文字列を検索する言語検索部と、
前記言語検索部によって検索された前記対象被写体に適合する文字列を、前記入力された画像中の該対象被写体に関連付けて合成した合成画像を生成する画像合成部と、
を備えることを特徴とする画像処理装置。 A subject recognition unit that extracts a subject in the input image and generates weighting information obtained by performing predetermined weighting on the extracted subject based on characteristics of the extracted subject;
A target specifying unit for specifying a target subject to which a character string is to be added from the subjects extracted by the subject recognition unit;
A language search unit that searches for a character string that matches the extracted subject including the target subject from a predetermined language database based on the weighting information;
An image compositing unit that generates a composite image in which a character string that matches the target subject searched by the language search unit is associated with the target subject in the input image;
An image processing apparatus comprising:
前記対象被写体に適合する文字列を、該対象被写体からの吹き出しとして関連付けた合成画像を生成する、
ことを特徴とする請求項１に記載の画像処理装置。 The image composition unit
Generating a composite image in which a character string suitable for the target subject is associated as a balloon from the target subject;
The image processing apparatus according to claim 1.
前記抽出された被写体の形状および色彩の特徴であり、
前記被写体認識部は、
前記入力された画像中の被写体の輪郭を抽出し、
前記抽出した被写体の輪郭と、所定の形状との一致率の情報に基づいて、該被写体の形状に関する重み付けを行い、
前記抽出した被写体の輪郭内の色のデータの情報に基づいて、該被写体の色彩に関する重み付けを行い、
前記言語検索部は、
前記一致率の情報および前記色のデータの情報に基づいて、前記被写体に適合する文字列を検索する、
ことを特徴とする請求項２に記載の画像処理装置。 The characteristics of the subject when the subject recognition unit weights are as follows:
The extracted subject's shape and color characteristics;
The subject recognition unit
Extracting the contour of the subject in the input image;
Based on the information on the matching rate between the extracted contour of the subject and a predetermined shape, weighting is performed on the shape of the subject,
Based on the information of the color data in the contour of the extracted subject, weighting is performed on the color of the subject,
The language search unit
Based on the information on the matching rate and the information on the color data, a character string suitable for the subject is searched.
The image processing apparatus according to claim 2.
前記抽出された被写体の形状の特徴であり、
前記被写体認識部は、
前記入力された画像中の被写体の輪郭を抽出し、
前記抽出した被写体の輪郭と、所定の形状との一致率の情報に基づいて、該被写体の形状に関する重み付けを行い、
前記言語検索部は、
前記一致率の情報に基づいて、前記被写体に適合する文字列を検索する、
ことを特徴とする請求項２に記載の画像処理装置。 The characteristics of the subject when the subject recognition unit weights are as follows:
A characteristic of the shape of the extracted subject;
The subject recognition unit
Extracting the contour of the subject in the input image;
Based on the information on the matching rate between the extracted contour of the subject and a predetermined shape, weighting is performed on the shape of the subject,
The language search unit
Search for a character string that matches the subject based on the matching rate information.
The image processing apparatus according to claim 2.
前記抽出された被写体の色彩の特徴であり、
前記被写体認識部は、
前記入力された画像中の被写体の輪郭を抽出し、
前記抽出した被写体の輪郭内の色のデータの情報に基づいて、該被写体の色彩に関する重み付けを行い、
前記言語検索部は、
前記色のデータの情報に基づいて、前記被写体に適合する文字列を検索する、
ことを特徴とする請求項２に記載の画像処理装置。 The characteristics of the subject when the subject recognition unit weights are as follows:
A characteristic of the color of the extracted subject;
The subject recognition unit
Extracting the contour of the subject in the input image;
Based on the information of the color data in the contour of the extracted subject, weighting is performed on the color of the subject,
The language search unit
Based on the information on the color data, search for a character string that matches the subject.
The image processing apparatus according to claim 2.
該画像処理装置の操作者によって指定された被写体を、前記対象被写体として特定する、
ことを特徴とする請求項２に記載の画像処理装置。 The object specifying unit includes:
A subject specified by an operator of the image processing apparatus is identified as the subject subject;
The image processing apparatus according to claim 2.
前記撮影部が撮影した画像中の被写体を抽出し、該抽出した被写体の特徴に基づいて、該抽出した被写体に所定の重み付けを行った重み付け情報を生成する被写体認識部と、
前記撮影部が撮影したときの焦点の情報に基づいて、前記被写体認識部が抽出した被写体の中から、文字列を付加する対象の対象被写体を特定する対象物特定部と、
前記重み付け情報に基づいて、所定の言語データベースから前記対象被写体を含む前記抽出した被写体に適合する文字列を検索する言語検索部と、
前記言語検索部によって検索された前記対象被写体に適合する文字列を、前記入力された画像中の該対象被写体に関連付けて合成した合成画像を生成する画像合成部と、
を備えることを特徴とする撮像装置。 An image capturing unit that outputs an image of the subject and outputs information on a focus when the subject is captured;
A subject recognition unit that extracts a subject in an image photographed by the photographing unit and generates weighting information obtained by performing predetermined weighting on the extracted subject based on characteristics of the extracted subject;
A target specifying unit that specifies a target subject to which a character string is to be added from among the subjects extracted by the subject recognition unit, based on focus information when the shooting unit takes a picture;
A language search unit that searches for a character string that matches the extracted subject including the target subject from a predetermined language database based on the weighting information;
An image compositing unit that generates a composite image in which a character string that matches the target subject searched by the language search unit is associated with the target subject in the input image;
An imaging apparatus comprising:
前記焦点の情報において焦点が合っていることを表している前記抽出した被写体、または該撮像装置の操作者によって指定された被写体のいずれか１つの被写体、または両方の被写体を、前記対象被写体として特定する、
ことを特徴とする請求項７に記載の撮像装置。 The object specifying unit includes:
The extracted subject indicating that the focus is in focus in the focus information, the subject designated by the operator of the imaging apparatus, or both subjects are identified as the subject subject. To
The imaging apparatus according to claim 7.
を、さらに備える、
ことを特徴とする請求項７に記載の撮像装置。 A display unit for displaying the combined image generated by the image combining unit;
Further comprising
The imaging apparatus according to claim 7.
を、さらに備える、
ことを特徴とする請求項７に記載の撮像装置。 A recording unit for recording the combined image generated by the image combining unit;
Further comprising
The imaging apparatus according to claim 7.
前記被写体認識ステップによって抽出した被写体の中から、文字列を付加する対象の対象被写体を特定する対象物特定ステップと、
前記重み付け情報に基づいて、所定の言語データベースから前記対象被写体を含む前記抽出した被写体に適合する文字列を検索する言語検索ステップと、
前記言語検索ステップによって検索された前記対象被写体に適合する文字列を、前記入力された画像中の該対象被写体に関連付けて合成した合成画像を生成する画像合成ステップと、
を含むことを特徴とする画像処理方法。 A subject recognition step of extracting a subject in the input image and generating weighting information obtained by performing a predetermined weighting on the extracted subject based on the characteristics of the extracted subject;
A target specifying step for specifying a target subject to which a character string is to be added from the subjects extracted in the subject recognition step;
A language search step for searching a character string suitable for the extracted subject including the target subject from a predetermined language database based on the weighting information;
An image compositing step for generating a composite image in which the character string matching the target subject searched in the language search step is combined with the target subject in the input image;
An image processing method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010293228A JP2012142739A (en) | 2010-12-28 | 2010-12-28 | Image processing device, image processing method and imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010293228A JP2012142739A (en) | 2010-12-28 | 2010-12-28 | Image processing device, image processing method and imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012142739A true JP2012142739A (en) | 2012-07-26 |
Family
ID=46678592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010293228A Withdrawn JP2012142739A (en) | 2010-12-28 | 2010-12-28 | Image processing device, image processing method and imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012142739A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014038429A (en) * | 2012-08-14 | 2014-02-27 | Zenrin Datacom Co Ltd | Image processor, image processing method and image processing program |
| WO2015163068A1 (en) * | 2014-04-22 | 2015-10-29 | ソニー株式会社 | Information-processing device, information-processing method, and computer program |
| KR101914661B1 (en) * | 2017-09-29 | 2018-11-06 | 주식회사 포렉스랩 | Additional information display system for real-time broadcasting service through automatic recognition of object of video object |
-
2010
- 2010-12-28 JP JP2010293228A patent/JP2012142739A/en not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014038429A (en) * | 2012-08-14 | 2014-02-27 | Zenrin Datacom Co Ltd | Image processor, image processing method and image processing program |
| WO2015163068A1 (en) * | 2014-04-22 | 2015-10-29 | ソニー株式会社 | Information-processing device, information-processing method, and computer program |
| KR101914661B1 (en) * | 2017-09-29 | 2018-11-06 | 주식회사 포렉스랩 | Additional information display system for real-time broadcasting service through automatic recognition of object of video object |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8599251B2 (en) | Camera | |
| JP4862930B2 (en) | Image processing apparatus, image processing method, and program | |
| JP4645685B2 (en) | Camera, camera control program, and photographing method | |
| KR101434564B1 (en) | Method and system for extracting the photographing information | |
| US20100225785A1 (en) | Image processor and recording medium | |
| JP2009159514A (en) | Imaging device, control method thereof, and program | |
| JP2009059042A (en) | Image handling device, image handling method, and image handling program | |
| JP2009141516A (en) | Image display device, camera, image display method, program, image display system | |
| CN105847666B (en) | Picture pick-up device and its control method | |
| US20120133798A1 (en) | Electronic camera and object scene image reproducing apparatus | |
| JP4895205B2 (en) | Image processing apparatus and program thereof | |
| US20180077298A1 (en) | Image-capturing assistance device and image-capturing device | |
| JP2012142739A (en) | Image processing device, image processing method and imaging apparatus | |
| JP4989362B2 (en) | IMAGING DEVICE, THROUGH IMAGE DISPLAY METHOD, AND CAPTURED IMAGE RECORDING METHOD | |
| JP4870503B2 (en) | Camera and blog management system | |
| US20130051633A1 (en) | Image processing apparatus | |
| JP5168320B2 (en) | Camera, best shot shooting method, program | |
| JP5332493B2 (en) | Camera, image sharing server, and image sharing program | |
| JP2008211506A (en) | Image processing apparatus, imaging apparatus and its program | |
| US20150249792A1 (en) | Image processing device, imaging device, and program | |
| JP2008103850A (en) | Camera, image retrieval system, and image retrieving method | |
| JP6006841B2 (en) | Image handling apparatus, image handling method, and program | |
| JP5778314B2 (en) | Server and image handling method | |
| WO2022158201A1 (en) | Image processing device, image processing method, and program | |
| JP5287965B2 (en) | Image processing apparatus, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140304 |