JP2014165876A

JP2014165876A - Image processing apparatus, imaging apparatus, and image processing program

Info

Publication number: JP2014165876A
Application number: JP2013037767A
Authority: JP
Inventors: Nobuhiro Fujinawa; 展宏藤縄; Hidenori Kuribayashi; 英範栗林; Hiroko Kobayashi; 寛子小林
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2013-02-27
Filing date: 2013-02-27
Publication date: 2014-09-08

Abstract

PROBLEM TO BE SOLVED: To provide an image processing apparatus capable of generating a text satisfactorily consistent with a sense perceived by human beings when they look at image data.SOLUTION: The image processing apparatus comprises: an information acquisition unit (43) which acquires information relating to image data; and a text generator (50) which generates a text from the acquired information. The information acquisition unit comprises a weather information acquisition unit (44) which acquires weather information relating to the weather at the photographing site of the image data, and the text generator comprises a weather text generator (51) which generates a weather text that is the text relating to the weather at the photographing site on the basis of the weather information.

Description

本発明は、画像データからテキストを生成する画像処理装置、撮像装置及び画像処理プログラムに関する。 The present invention relates to an image processing apparatus, an imaging apparatus, and an image processing program that generate text from image data.

画像データを解析した解析結果と、画像データに含まれる撮像情報等に基づいて、画像データに対するテキストを作成する技術が提案されている（特許文献１等参照）。また、近年では、複数のバリエーションを有するコメントリストを用意するなどして、ユーザーの感覚と整合性の高いテキストを作成する技術が提案されている。 A technique for creating a text for image data based on an analysis result obtained by analyzing image data and imaging information included in the image data has been proposed (see Patent Document 1). In recent years, a technique has been proposed in which a text that is highly consistent with the user's sense is created by preparing a comment list having a plurality of variations.

また、テキスト作成のために有用と考えられる画像データの解析手法としては、例えば顔認識や色情報の抽出等が挙げられる。 Examples of image data analysis techniques that are considered useful for text creation include face recognition and color information extraction.

特開２０１０−２０６２３９号公報JP 2010-206239 A

色情報の解析結果からテキストを生成する技術は、撮影者及び画像の観察者の感性に近いテキストを自動で付与するために有効な手段ではあるものの、色情報の抽出のみでは、撮影者等の感性に近いテキストを作成することが困難な場合もある。 Although the technique for generating text from the analysis result of color information is an effective means for automatically providing text close to the sensitivity of the photographer and the observer of the image, only extraction of color information can It may be difficult to create text that is close to sensibility.

そこで本発明の目的は、画像データから、当該画像データを見た際に人間が生じる感性に対して良好な整合性を有するテキストを生成し得る画像処理装置を提供することである。 SUMMARY OF THE INVENTION An object of the present invention is to provide an image processing apparatus capable of generating text having good consistency with the sensibility generated by humans when viewing the image data.

上記目的を達成するために、本発明に係る画像処理装置は、
画像データに関する情報を取得する情報取得部と、取得した前記情報からテキストを生成するテキスト生成部と、を有する画像処理装置であって、
前記情報取得部は、前記画像データの撮影現場の天気に関する天気情報を取得する天気情報取得部を有し、
前記テキスト生成部は、前記天気情報に基づき前記撮影現場の天気に関連する前記テキストである天気テキストを生成する天気テキスト生成部を有することを特徴とする。 In order to achieve the above object, an image processing apparatus according to the present invention provides:
An image processing apparatus comprising: an information acquisition unit that acquires information about image data; and a text generation unit that generates text from the acquired information.
The information acquisition unit includes a weather information acquisition unit that acquires weather information related to the weather at the shooting site of the image data,
The text generation unit includes a weather text generation unit that generates a weather text that is the text related to the weather at the shooting site based on the weather information.

また、例えば、前記情報取得部は、前記画像データに含まれる人物の像に関する人物情報を取得する人物情報取得部をさらに有しても良く、
前記テキスト生成部は、前記人物情報に基づき前記人物の像に関連する前記テキストである人物テキストを生成する人物テキスト生成部と、前記天気テキストと前記人物テキストとを組み合わせた前記テキストである複合テキストを生成する複合テキスト生成部と、をさらに有しても良い。 In addition, for example, the information acquisition unit may further include a person information acquisition unit that acquires person information related to an image of a person included in the image data.
The text generation unit is configured to generate a person text that is the text related to the image of the person based on the person information, and a composite text that is the text obtained by combining the weather text and the person text And a composite text generation unit that generates

また、例えば、前記情報取得部は、前記画像データに含まれる人工物の像に関する人工物情報を取得する人工物情報取得部をさらに有しても良く、
前記テキスト生成部は、前記人工物情報に基づき、前記人工物の像に関連する前記テキストである人工物テキストを生成する人工物テキスト生成部をさらに有しても良く、
前記テキスト生成部は、情報取得部が取得した前記情報に基づき、前記天気テキスト生成部と前記人工物テキスト生成部のいずれか一方を用いて前記テキストを生成しても良い。 In addition, for example, the information acquisition unit may further include an artifact information acquisition unit that acquires artifact information relating to an image of the artifact included in the image data,
The text generation unit may further include an artifact text generation unit that generates an artifact text that is the text related to the image of the artifact based on the artifact information,
The text generation unit may generate the text using either the weather text generation unit or the artifact text generation unit based on the information acquired by the information acquisition unit.

また、例えば、前記天気情報取得部は、前記画像データに含まれる空の像の全体に対する比率に関する空比率情報をさらに取得しても良く、
前記テキスト生成部は、前記空比率情報に応じて前記テキストを変更しても良い。 Further, for example, the weather information acquisition unit may further acquire sky ratio information relating to a ratio of the entire sky image included in the image data,
The text generation unit may change the text according to the empty ratio information.

また、例えば、前記天気テキスト生成部は、前記撮影現場の天気が晴れである場合には、前記撮影現場の天気が曇り又は雨の場合と比較して、前記撮影現場の天気をより肯定的に表現する前記天気テキストを生成しても良い。 Further, for example, the weather text generation unit may more positively determine the weather at the shooting site when the weather at the shooting site is clear than when the weather at the shooting site is cloudy or rainy. The weather text to be expressed may be generated.

また、例えば、前記情報取得部は、前記画像データの色に関する色情報を取得する色情報取得部を有しても良く、
前記テキスト生成部は、前記色情報に基づき前記画像データの色が持つイメージに関連する前記テキストである色形容テキストを生成する色形容テキスト生成部を有しても良く、
前記テキスト生成部は、前記天気情報取得部が前記天気情報を取得できない場合に、前記色形容テキスト生成部を用いて前記テキストを生成しても良い。 In addition, for example, the information acquisition unit may include a color information acquisition unit that acquires color information related to the color of the image data.
The text generation unit may include a color shape text generation unit that generates a color shape text that is the text related to an image included in a color of the image data based on the color information,
The text generation unit may generate the text using the color and shape text generation unit when the weather information acquisition unit cannot acquire the weather information.

本発明に係る撮像装置は、上記のうちいずれかの画像処理装置と、被写体を撮像して前記画像データを生成する撮像部と、を有する。 An imaging apparatus according to the present invention includes any one of the above-described image processing apparatuses and an imaging unit that captures an image of a subject and generates the image data.

本発明に係る画像処理プログラムは、コンピュータに、画像データに関する情報を取得する情報取得処理と、取得した前記情報からテキストを生成するテキスト生成処理と、を実行させる画像処理プログラムであって、
前記情報取得処理では、前記画像データの撮影現場の天気に関する天気情報を取得することができ、
前記テキスト生成処理では、前記天気情報に基づき前記撮影現場の天気に関連する前記テキストである天気テキストを生成することができる。 An image processing program according to the present invention is an image processing program that causes a computer to execute an information acquisition process for acquiring information about image data and a text generation process for generating text from the acquired information.
In the information acquisition process, it is possible to acquire weather information related to the weather of the shooting site of the image data,
In the text generation process, a weather text that is the text related to the weather at the shooting site can be generated based on the weather information.

図１は、本発明の一実施形態に係る撮像装置の概略ブロック図である。FIG. 1 is a schematic block diagram of an imaging apparatus according to an embodiment of the present invention. 図２は、図１に示す撮像装置に含まれる画像処理部の内部構成を表す概略ブロック図である。FIG. 2 is a schematic block diagram showing an internal configuration of an image processing unit included in the imaging apparatus shown in FIG. 図３は、図２に示す画像処理部において行われるテキスト生成処理を表すフローチャートである。FIG. 3 is a flowchart showing a text generation process performed in the image processing unit shown in FIG. 図４は、第１実施例に係る画像処理を表す概念図である。FIG. 4 is a conceptual diagram illustrating image processing according to the first embodiment. 図５は、第２実施例に係る画像処理を表す概念図である。FIG. 5 is a conceptual diagram illustrating image processing according to the second embodiment. 図６は、第３実施例に係る画像処理を表す概念図である。FIG. 6 is a conceptual diagram illustrating image processing according to the third embodiment. 図７は、第４実施例に係る画像処理を表す概念図である。FIG. 7 is a conceptual diagram illustrating image processing according to the fourth embodiment. 図８は、第５実施例に係る画像処理を表す概念図である。FIG. 8 is a conceptual diagram illustrating image processing according to the fifth embodiment. 図９は、図３のフローチャートに含まれる判定処理の内容を示す概念図である。FIG. 9 is a conceptual diagram showing the contents of the determination process included in the flowchart of FIG. 図１０は、図２に示す天気情報取得部による天気の推定処理の内容を示す概念図である。FIG. 10 is a conceptual diagram showing the contents of weather estimation processing by the weather information acquisition unit shown in FIG. 図１１は、図２に示す記憶部に保存された辞書の内容の一例を示す概念図である。FIG. 11 is a conceptual diagram showing an example of the contents of the dictionary stored in the storage unit shown in FIG.

図１は、本発明の一実施形態に係る撮像装置１０の概略ブロック図である。撮像装置１０は、撮像部１２、カメラ制御部２０、操作部２２、画像処理部４０、表示部２６、記憶部２８、バッファメモリ部３０、通信部３２、メモリカード（記憶媒体）３４等を有しており、各部分は、バス２４を介して相互に通信することができる。 FIG. 1 is a schematic block diagram of an imaging apparatus 10 according to an embodiment of the present invention. The imaging device 10 includes an imaging unit 12, a camera control unit 20, an operation unit 22, an image processing unit 40, a display unit 26, a storage unit 28, a buffer memory unit 30, a communication unit 32, a memory card (storage medium) 34, and the like. Each part can communicate with each other via the bus 24.

撮像部１２は、光学系１４、撮像素子１６、Ａ／Ｄ変換部１８等を有しており、画像データを生成する。光学系１４は、１又は２以上のレンズを備え、レンズに入射した光の像を、撮像素子１６の受光面に形成する。 The imaging unit 12 includes an optical system 14, an imaging element 16, an A / D conversion unit 18, and the like, and generates image data. The optical system 14 includes one or more lenses, and forms an image of light incident on the lenses on the light receiving surface of the image sensor 16.

撮像素子１６は、例えばＣＣＤやＣＭＯＳ等の固体撮像素子によって構成され、光学系１４を介して受光面に結像した光学像を、電気信号に変換する。撮像素子１６は、生成した電気信号を、Ａ／Ｄ変換部１８に出力する。Ａ／Ｄ変換部１８は、撮像素子１６によって生成された電気信号に対して、アナログ／デジタル変換等を行い、カメラ制御部２０及び画像処理部４０等で処理可能な画像データを生成する。 The imaging device 16 is configured by a solid-state imaging device such as a CCD or a CMOS, for example, and converts an optical image formed on the light receiving surface via the optical system 14 into an electrical signal. The image sensor 16 outputs the generated electrical signal to the A / D converter 18. The A / D conversion unit 18 performs analog / digital conversion or the like on the electrical signal generated by the image sensor 16 and generates image data that can be processed by the camera control unit 20 and the image processing unit 40.

撮像部１２による画像データの生成動作は、カメラ制御部２０によって制御される。例えば、撮像部１２は、カメラ制御部２０による制御により、操作部２２等を介して撮影信号が入力されたタイミングで撮像素子１６による光電変換を行い、いわゆる静止画の画像データを生成することができる。また、撮像部１２は、カメラ制御部２０による制御により、操作部２２等を介して動画撮影開始信号が入力されたタイミングで、連続的な光電変換を行い、いわゆる動画の画像データを生成することができる。 The operation of generating image data by the imaging unit 12 is controlled by the camera control unit 20. For example, the imaging unit 12 may perform so-called still image data by performing photoelectric conversion by the imaging device 16 at a timing when a shooting signal is input via the operation unit 22 or the like under the control of the camera control unit 20. it can. In addition, the imaging unit 12 performs continuous photoelectric conversion at a timing when a moving image capturing start signal is input via the operation unit 22 or the like under the control of the camera control unit 20 to generate so-called moving image image data. Can do.

撮像部１２で生成された画像データは、カメラ制御部２０の制御により、バッファメモリ部３０及び画像処理部４０を介して、メモリカード３４に保存される。なお、撮像部１２は、操作部２２等からの操作信号が入力されていない状態で、自動的に画像データの生成を行い、いわゆるスルー画の画像データを生成することもできる。この場合、撮像部１２で生成されたスルー画の画像データは、カメラ制御部２０の制御により、表示部２６に表示される。 The image data generated by the imaging unit 12 is stored in the memory card 34 via the buffer memory unit 30 and the image processing unit 40 under the control of the camera control unit 20. Note that the imaging unit 12 can automatically generate image data in a state where no operation signal is input from the operation unit 22 or the like, and can generate image data of a so-called through image. In this case, the image data of the through image generated by the imaging unit 12 is displayed on the display unit 26 under the control of the camera control unit 20.

画像処理部４０は、メモリカード３４又はバッファメモリ部３０に記憶されている画像データに対して、各種の画像処理を実行する。画像処理部４０は、撮像部１２で生成された静止画、動画、スルー画等について画像処理を行う他、メモリカード３４等に保存されている撮像部１２以外で生成された画像データについても、画像処理を行うことができる。画像処理部４０は、各種補正処理や、データの圧縮及び変換、顔認識や色の抽出などを行うことができるが、画像処理部４０の詳細については、後ほど述べる。 The image processing unit 40 performs various types of image processing on the image data stored in the memory card 34 or the buffer memory unit 30. The image processing unit 40 performs image processing on still images, moving images, live view images, and the like generated by the imaging unit 12, and also for image data generated by other than the imaging unit 12 stored in the memory card 34 or the like. Image processing can be performed. The image processing unit 40 can perform various correction processes, data compression and conversion, face recognition, color extraction, and the like. Details of the image processing unit 40 will be described later.

表示部２６は、液晶ディスプレイ等で構成されており、カメラ制御部２０の制御に従って、画像データや、操作メニュー等を表示する。また、表示部は、画像処理部４０によるテキスト生成処理によって生成されたテキストを、画像データに重ねて表示することができる。記憶部２８には、撮像装置１０の制御に用いる撮影条件、画像処理条件、再生制御条件、表示制御条件、記録制御条件、入出力制御条件や、テキストの生成に用いる辞書（テキスト集）など、各種の情報が記憶されている。カメラ制御部２０や画像処理部４０は、必要に応じて、記憶部２８に記憶されている情報を読み出し、演算処理に利用することができる。記憶部２８は、ＲＯＭ等によって構成される。 The display unit 26 is configured by a liquid crystal display or the like, and displays image data, an operation menu, and the like under the control of the camera control unit 20. Further, the display unit can display the text generated by the text generation process by the image processing unit 40 so as to be superimposed on the image data. The storage unit 28 includes shooting conditions, image processing conditions, reproduction control conditions, display control conditions, recording control conditions, input / output control conditions used for control of the imaging apparatus 10, a dictionary (text collection) used for text generation, and the like. Various types of information are stored. The camera control unit 20 and the image processing unit 40 can read out information stored in the storage unit 28 and use it for arithmetic processing as necessary. The storage unit 28 is configured by a ROM or the like.

バッファメモリ部３０は、カメラ制御部２０及び画像処理部４０が演算処理を実施する際の作業領域として利用される。例えば、画像処理部４０が画像データに対して画像処理を行う場合、処理の対象となる画像データは、記憶媒体から読み出され、バッファメモリ部３０に一次的に格納される。バッファメモリ部３０は、ＲＡＭ等によって構成される。 The buffer memory unit 30 is used as a work area when the camera control unit 20 and the image processing unit 40 perform arithmetic processing. For example, when the image processing unit 40 performs image processing on image data, the image data to be processed is read from the storage medium and temporarily stored in the buffer memory unit 30. The buffer memory unit 30 is configured by a RAM or the like.

操作部２２は、操作者が撮像装置１０に対して情報を入力するためのスイッチ等を有している。操作部２２は、電源スイッチ、レリーズスイッチ、モードスイッチ、メニュースイッチ、選択キー等を備えており、操作者の操作に対応した信号を、カメラ制御部２０に出力する。 The operation unit 22 includes a switch for an operator to input information to the imaging device 10. The operation unit 22 includes a power switch, a release switch, a mode switch, a menu switch, a selection key, and the like, and outputs a signal corresponding to the operation of the operator to the camera control unit 20.

通信部３２は、メモリカード３４を取り付けるスロットや、他の情報機器と通信を行うための送受信部等を有しており、撮像装置１０は、通信部３２を介して、メモリカード３４や他の情報機器から情報を取得できる。また、カメラ制御部２０は、通信部３２を介してメモリカード３４に画像データを出力し、メモリカード３４に画像データを保存することができる。 The communication unit 32 includes a slot for attaching the memory card 34, a transmission / reception unit for communicating with other information devices, and the imaging device 10 transmits the memory card 34 and other information via the communication unit 32. Information can be acquired from information equipment. In addition, the camera control unit 20 can output image data to the memory card 34 via the communication unit 32 and store the image data in the memory card 34.

メモリカード３４は、通信部３２を介して着脱自在に接続される記憶媒体であり、撮像部１２で生成された画像データ等を記憶することができる。メモリカード３４に保存される画像データの形式は特に限定されないが、例えば画像データは、イグジフ（Ｅｘｉｆ）形式のファイルとして、メモリカード３４に保存される。 The memory card 34 is a storage medium that is detachably connected via the communication unit 32, and can store image data generated by the imaging unit 12. The format of the image data stored in the memory card 34 is not particularly limited. For example, the image data is stored in the memory card 34 as an Exif file.

カメラ制御部２０は、撮像装置１０が備えている各部分の制御を行う。例えば、カメラ制御部２０には、電源部（不図示）が接続されており、カメラ制御部２０は、撮像装置１０内の各部分に対して適切に電力が供給されるように、制御を行う。カメラ制御部２０は、例えばマイクロプロセッサ等によって構成される。なお、カメラ制御部２０と画像処理部４０の演算処理は、共通のマイクロプロセッサで行われても良く、また別個の電子回路で行われても良い。 The camera control unit 20 controls each part provided in the imaging device 10. For example, a power source unit (not shown) is connected to the camera control unit 20, and the camera control unit 20 performs control so that power is appropriately supplied to each part in the imaging apparatus 10. . The camera control unit 20 is configured by, for example, a microprocessor. The arithmetic processing of the camera control unit 20 and the image processing unit 40 may be performed by a common microprocessor or may be performed by separate electronic circuits.

図２は、図１に示す画像処理部４０に含まれる処理部を、ブロック図で表したものである。画像処理部４０は、画像データ入力部４１と、情報取得部４３と、テキスト生成部５０と、文章付加部５６とを有する。画像処理部４０は、図１に示す撮像部１２等で生成された画像データについて、各種の解析処理を行うことにより、画像データに関する各種の情報を取得し、取得した情報から画像データの内容と整合性の高いテキストを作成し、画像データにテキストを付加することができる。 FIG. 2 is a block diagram showing a processing unit included in the image processing unit 40 shown in FIG. The image processing unit 40 includes an image data input unit 41, an information acquisition unit 43, a text generation unit 50, and a sentence addition unit 56. The image processing unit 40 performs various types of analysis processing on the image data generated by the imaging unit 12 and the like illustrated in FIG. 1, thereby acquiring various types of information regarding the image data. It is possible to create highly consistent text and add text to image data.

図２に示す画像データ入力部４１は、メモリカード３４又はバッファメモリ部３０に格納されている画像データを読み出し、情報取得部４３に出力する。 The image data input unit 41 shown in FIG. 2 reads out the image data stored in the memory card 34 or the buffer memory unit 30 and outputs it to the information acquisition unit 43.

情報取得部４３は、天気情報取得部４４、人物情報取得部４５、人工物情報取得部４６及び色情報取得部４７を有しており、画像データから情報を取得する。また、情報取得部４３は、Ｅｘｉｆファイル等の形式で画像データに関連付けて保存されている撮影情報を取得することができる。情報取得部４３がＥｘｉｆファイル等から取得可能な撮影情報は、画像データの撮影状況を示すデータであれば特に限定されないが、画像データの生成年、生成月日、生成時間に関する情報や、画像データの生成場所（ＧＰＳデータ）、撮影者等に関する情報が含まれる。情報取得部４３で取得された画像データに関する情報は、テキスト生成部５０に出力され、テキスト生成部５０は、その情報をテキストの生成等に利用することができる。 The information acquisition unit 43 includes a weather information acquisition unit 44, a person information acquisition unit 45, an artifact information acquisition unit 46, and a color information acquisition unit 47, and acquires information from image data. In addition, the information acquisition unit 43 can acquire shooting information stored in association with image data in a format such as an Exif file. The shooting information that can be acquired from the Exif file or the like by the information acquisition unit 43 is not particularly limited as long as it is data indicating the shooting status of the image data, but information on the generation year, generation date, generation time of the image data, and image data Information on the generation location (GPS data), the photographer, and the like. Information about the image data acquired by the information acquisition unit 43 is output to the text generation unit 50, and the text generation unit 50 can use the information for generation of text.

天気情報取得部４４は、空領域抽出部４４ａ、空代表色抽出部４４ｂ及び天気推定部４４ｃを有し、画像データの撮影現場の天気に関する天気情報を取得する。空領域抽出部４４ａは、画像データに含まれる各画素の色及び明るさに関する情報や、各画素のエッジ情報（空間周波数などを含む）を用いて、画像データに含まれる空の像の領域（空領域）を抽出することができるが、具体的な手法は特に限定されない。また、空領域抽出部４４ａは、抽出した空領域の画像データ全体に対する比率である空比率情報を算出することができる。空代表色抽出部４４ｂは、空領域抽出部４４ａで抽出された空領域の代表色を抽出する。空代表色抽出部４４ｂによる代表色の算出方法は特に限定されず、例えば空領域に含まれる画素の平均色を代表色としても良く、また、空領域における色別の頻度分布に対してＫ−ｍｅａｎｓ法などの手法を用いてクラスタリングを行うことにより、代表色を算出しても良い。 The weather information acquisition unit 44 includes a sky region extraction unit 44a, a sky representative color extraction unit 44b, and a weather estimation unit 44c, and acquires weather information related to the weather at the shooting site of the image data. The sky region extraction unit 44a uses the information about the color and brightness of each pixel included in the image data and the edge information (including the spatial frequency) of each pixel to store the region of the sky image included in the image data (including the spatial frequency). (Empty region) can be extracted, but the specific method is not particularly limited. In addition, the sky area extraction unit 44a can calculate sky ratio information that is a ratio of the extracted sky area to the entire image data. The sky representative color extraction unit 44b extracts the representative color of the sky region extracted by the sky region extraction unit 44a. The calculation method of the representative color by the sky representative color extraction unit 44b is not particularly limited. For example, the average color of the pixels included in the sky region may be used as the representative color, and the frequency distribution for each color in the sky region is K−. The representative color may be calculated by performing clustering using a method such as the means method.

天気推定部４４ｃは、算出された空領域の代表色を用いて、画像データの撮影現場の天気を推定する。たとえば図１０に示すように、天気推定部４４ｃは、空領域の代表色が青系の色の場合は撮影現場の天気を「晴れ」であると推定し、空領域の代表色がグレー系の色の場合は撮影現場の天気を「くもり」又は「雨」であると推定することができる。また、天気推定部４４ｃは、空領域の代表色から、撮影現場の時間帯（「夕方」、「夜」、「早朝」）などを推定しても良い。さらに、天気推定部４４ｃは、撮影現場の天気や時間帯を推定する場合に、Ｅｘｉｆファイル等から取得された画像データの生成月日、生成時間に関する情報を、空領域の代表色と併せて用いてもよく、これにより推定精度を高めることができる。またさらに、天気推定部４４ｃは、Ｅｘｉｆファイル等から取得された画像データの生成場所、生成年月日の情報を用いて、Ｗｅｂ等を介して画像データの撮影現場の気象情報を取得し、これを利用して撮影現場の天気を推定しても良い。 The weather estimation unit 44c estimates the weather at the shooting site of the image data using the calculated representative color of the sky region. For example, as shown in FIG. 10, when the representative color of the sky region is a blue color, the weather estimation unit 44c estimates that the weather at the shooting site is “sunny” and the representative color of the sky region is a gray color. In the case of a color, it can be estimated that the weather at the shooting site is “cloudy” or “rainy”. Further, the weather estimation unit 44c may estimate the time zone (“evening”, “night”, “early morning”) of the shooting site from the representative color of the sky region. Furthermore, when estimating the weather and time zone of the shooting site, the weather estimation unit 44c uses information on the generation date and generation time of the image data acquired from the Exif file or the like together with the representative color of the sky region. As a result, the estimation accuracy can be increased. Furthermore, the weather estimation unit 44c acquires the weather information of the image data shooting site via the Web or the like using the information on the generation location and generation date of the image data acquired from the Exif file or the like. May be used to estimate the weather at the shooting site.

人物情報取得部４５は、画像データに含まれる人物の像に関する人物情報を取得する。人物情報取得部４５は、人物の像が写っている領域を、テンプレートマッチングなどの顔認識に関する技術を用いて画像データから抽出したり、被写体である人物の笑顔レベルを、顔における口角部分の上がり具合を数値化するなどして画像データから抽出することが可能である。また、人物情報取得部４５は、画像データに含まれる人物の像の数や、抽出した人物の像の画像データ全体に対する比率（大きさ）や、人物の像の性別や年齢を抽出しても良い。 The person information acquisition unit 45 acquires person information related to a person image included in the image data. The person information acquisition unit 45 extracts a region where a person's image is captured from image data using a technique related to face recognition such as template matching, and raises the smile level of the person who is the subject to the rising corner of the face. It is possible to extract from the image data by digitizing the condition. Further, the person information acquisition unit 45 may extract the number of person images included in the image data, the ratio (size) of the extracted person images to the entire image data, and the gender and age of the person images. good.

人工物情報取得部４６は、画像データに含まれる人工物の像に関する人工物情報を取得する。人工物情報取得部４６は、画像データからエッジ情報を抽出し、さらに抽出したエッジの幾何学的特性を分析することにより、画像データに含まれる被写体が建築物や乗り物等の人工物であるか、樹木や草花、動物等の自然物であるかを推定し、画像データを分類することができる。例えば、人工物情報取得部４６は、直線、円、楕円など特定の規則性を持ったエッジが多い場合は被写体が人工物であると推定し、ランダムな形状性が高い場合は被写体が自然物であると推定する。また、人工物情報取得部４６は、被写体が人工物であるか自然物であるかの分析を、画像データ全体に対して行うことも可能であるが、画像データの一部の領域（例えばピントが合っている領域など）に対して行うことも可能である。 The artifact information acquisition unit 46 acquires artifact information related to the artifact image included in the image data. The artifact information acquisition unit 46 extracts edge information from the image data, and further analyzes the extracted edge's geometric characteristics to determine whether the subject included in the image data is an artifact such as a building or a vehicle. It is possible to classify image data by estimating whether it is a natural object such as a tree, a flower or an animal. For example, the artifact information acquisition unit 46 estimates that the subject is an artifact when there are many edges having a specific regularity such as a straight line, circle, or ellipse, and the subject is a natural object when the random shape is high. Presume that there is. The artifact information acquisition unit 46 can analyze whether the subject is an artifact or a natural object with respect to the entire image data. It is also possible to do this for a matching area.

色情報取得部４７は、画像データの色（色相以外の要素を含む）に関する情報を抽出し、または、抽出した情報を元に更に演算処理を行うことにより、色情報を得ることができる。色情報取得部４７による色情報の種別、算出方法等は特に限定されないが、画像データに含まれる各画素のＨＳＶ値を集計したものや、集計したＨＳＶ値から算出された代表色などが、色情報に含まれる。ただし、色情報取得部４７が色情報を算出する際における解像度は、演算処理の負担等を考慮して適宜変更すれば良く、また、色空間の種類もＨＳＶに限られず、ＲＧＢ、ＣＭＹ、ＣＭＹＫ等であっても良い。また、色情報取得部４７による色情報の抽出処理も、人工物情報取得部４６と同様に、画像データ全体に対してだけでなく、画像データの一部の領域に対して行うことも可能である。さらに、色情報取得部４７による代表色の算出方法も特に限定されないが、例えば画像データ若しくはその領域に含まれる画素の平均色を代表色としても良く、また、色別の頻度分布に対してＫ−ｍｅａｎｓ法などの手法を用いてクラスタリングを行うことにより、代表色を算出しても良い。なお、色情報取得部４７による代表色の抽出処理は、空代表色抽出部４４ｂと共通であっても良く、異なっていても良い。 The color information acquisition unit 47 can obtain color information by extracting information about the color of image data (including elements other than hue), or by further performing arithmetic processing based on the extracted information. The type and calculation method of the color information by the color information acquisition unit 47 are not particularly limited, but the sum of the HSV values of each pixel included in the image data, the representative color calculated from the summed HSV values, etc. Included in the information. However, the resolution when the color information acquisition unit 47 calculates the color information may be appropriately changed in consideration of the burden of calculation processing, and the type of color space is not limited to HSV, and RGB, CMY, CMYK Etc. Further, the color information extraction processing by the color information acquisition unit 47 can be performed not only on the entire image data but also on a partial region of the image data, as with the artifact information acquisition unit 46. is there. Further, the method for calculating the representative color by the color information acquisition unit 47 is not particularly limited. For example, the average color of the pixels included in the image data or the area may be used as the representative color. The representative color may be calculated by performing clustering using a method such as the -means method. The representative color extraction processing by the color information acquisition unit 47 may be the same as or different from the sky representative color extraction unit 44b.

テキスト生成部５０は、情報取得部４３等から送信された情報を用いてテキストを生成し、生成したテキストと画像データとを関連づける。テキスト生成部５０は、天気テキスト生成部５１、人物テキスト生成部５２、人工物テキスト生成部５３、色形容テキスト生成部５４、複合テキスト生成部５５を有している。テキスト生成部５０は、情報取得部４３からの情報を用いて、これらの各テキスト生成部５１〜５５のうち１つ又は複数を選択して、テキストを生成することが可能である。例えば、テキスト生成部５０は、空領域抽出部４４ａで算出された空比率が所定の閾値以上である場合には、天気テキスト生成部５１を用いてテキストを生成し、空比率が所定の閾値未満である場合は、色形容テキスト生成部５４等を用いてテキストを生成することができる。なお、テキスト生成部５０は、記憶部２８に記憶された各辞書（図１１）を用いて、テキストを生成することができる。 The text generation unit 50 generates text using information transmitted from the information acquisition unit 43 or the like, and associates the generated text with image data. The text generation unit 50 includes a weather text generation unit 51, a person text generation unit 52, an artifact text generation unit 53, a color and shape text generation unit 54, and a composite text generation unit 55. The text generator 50 can generate text by selecting one or more of the text generators 51 to 55 using the information from the information acquisition unit 43. For example, when the sky ratio calculated by the sky region extraction unit 44a is equal to or greater than a predetermined threshold, the text generation unit 50 generates text using the weather text generation unit 51, and the sky ratio is less than the predetermined threshold. In such a case, the text can be generated using the color and shape text generator 54 or the like. The text generation unit 50 can generate text using each dictionary (FIG. 11) stored in the storage unit 28.

天気テキスト生成部５１は、天気情報取得部４４で取得された天気情報に基づき撮影現場の天気に関連するテキストである天気テキストを生成することができる。例えば天気テキスト生成部５１は、図１１（Ａ）に示すように天気に関連するテキストが保存されている「天気」辞書を用いて、取得された天気情報に対応するテキストのうち１つを選択することにより、天気テキストを生成することができる。また、天気テキスト生成部５１は、撮影現場の天気が「晴れ」である場合には、撮影現場の天気が「曇り」又は「雨」の場合と比較して、撮影現場の天気をより肯定的に表現する天気テキストを生成することができる。例えば、図１１（Ａ）に示すように、天気テキスト生成部５１が使用する「天気」辞書のうち、「晴れ（１）」、「晴れ（２）」に対応する項目には、「快晴！」、「さわやかに晴れた」などのように「晴れ」という天気をストレートに記述するテキストが保存されている。これに対して、「曇り」又は「雨」の項目には、「曇っていたが・・・」「雨だったけど・・・」のように、天気を表す後に逆説の接続詞を付加するなど、撮影現場の天気を否定的に記述するテキストが保存されている。これにより、天気テキスト生成部５１は、推定された天気が曇りや雨の場合において、「曇り」や「雨」といった言葉を使用したテキストでありながら、「曇り」や「雨」といった言葉が有するネガティブなイメージを抑制したテキストを、生成することができる。 The weather text generation unit 51 can generate weather text that is text related to the weather at the shooting site based on the weather information acquired by the weather information acquisition unit 44. For example, the weather text generation unit 51 selects one of the texts corresponding to the acquired weather information using the “weather” dictionary in which text related to the weather is stored as shown in FIG. By doing so, the weather text can be generated. In addition, the weather text generation unit 51 makes the weather at the shooting site more positive when the weather at the shooting site is “sunny” than when the weather at the shooting site is “cloudy” or “rain”. A weather text can be generated. For example, as shown in FIG. 11A, in the “weather” dictionary used by the weather text generator 51, items corresponding to “sunny (1)” and “sunny (2)” are “sunny! ”,“ Fresh and sunny ”, etc., and texts that describe the weather“ sunny ”straight are stored. On the other hand, paradoxical conjunctions are added to the “cloudy” or “rainy” items after expressing the weather, such as “It was cloudy but ...” , Text that negatively describes the weather at the shooting site is stored. Thereby, the weather text generation unit 51 has words such as “cloudy” and “rain” while the text uses words such as “cloudy” and “rain” when the estimated weather is cloudy or rainy. Text that suppresses negative images can be generated.

人物テキスト生成部５２は、人物情報取得部４５で取得された人物情報に基づき、人物の像に関連するテキストである人物テキストを生成する。例えば人物テキスト生成部５２は、図１１（Ｂ）に示すように、笑顔レベルから推定される人物の感情を表すテキストなど、人物に関連するテキストが保存されている「人物」辞書を用いて、人物テキストを生成することができる。 The person text generation unit 52 generates person text that is text related to the image of the person based on the person information acquired by the person information acquisition unit 45. For example, as shown in FIG. 11B, the person text generation unit 52 uses a “person” dictionary in which text related to a person, such as text representing a person's emotion estimated from a smile level, is stored. Person text can be generated.

人工物テキスト生成部５３は、人工物情報取得部４６で取得された人工物情報に基づき、人工物の像に関連するテキストである人工物テキストを生成する。例えば、人工物テキスト生成部５３は、図１１（Ｂ）に示すように、人工物の大きさや形状を表すテキストなど、人工物に関連するテキストが保存されている「人工物」辞書を用いて、人工物テキストを生成することができる。また、人工物テキスト生成部５３は、人工物の大きさや形状などを人工物情報から認識できない場合には、撮影日時など被写体の印象に依存しない情報に基づいたテキストを生成できる。 The artifact text generation unit 53 generates artifact text that is text related to the image of the artifact based on the artifact information acquired by the artifact information acquisition unit 46. For example, as shown in FIG. 11B, the artifact text generation unit 53 uses an “artifact” dictionary in which text related to artifacts, such as text representing the size and shape of artifacts, is stored. , Artifact text can be generated. In addition, when the size or shape of the artifact cannot be recognized from the artifact information, the artifact text generator 53 can generate text based on information that does not depend on the impression of the subject such as the shooting date and time.

色形容テキスト生成部５４は、色情報取得部４７で取得された色情報に基づき、画像データの色が持つイメージに関連するテキストである色形容テキストを生成する。例えば、色形容テキスト生成部５４は、図１１（Ｂ）に示すように、「ピンク」や「青」のように色から直接イメージできる単語や、「すがすがしい」、「穏やか」のように色から連想されるイメージに関連する単語を含む色形容テキストを、「色形容」辞書を用いて生成することができる。 Based on the color information acquired by the color information acquisition unit 47, the color description text generation unit 54 generates a color description text that is text related to an image included in the color of the image data. For example, as shown in FIG. 11 (B), the color description text generation unit 54 uses words such as “pink” and “blue” that can be directly imaged from the color, and colors such as “fresh” and “gentle”. Color feature text that includes words associated with the associated image can be generated using a “color feature” dictionary.

複合テキスト生成部５５は、天気テキスト生成部５１で生成された天気テキストと人物テキスト生成部５２で生成された人物テキストのように、異なるテキスト生成部５１〜５４で生成されたテキストを組み合わせて、複合テキストを生成する。例えば、テキスト生成部５０は、空領域抽出部４４ａで算出された空比率が所定の閾値未満である場合に、複合テキスト生成部５５を用いて、天気テキスト単独ではなくこれと色形容テキストを組み合わせた複合テキストを生成しても良い。 The compound text generation unit 55 combines the texts generated by the different text generation units 51 to 54, such as the weather text generated by the weather text generation unit 51 and the person text generated by the person text generation unit 52. Generate compound text. For example, when the sky ratio calculated by the sky region extraction unit 44a is less than a predetermined threshold, the text generation unit 50 uses the composite text generation unit 55 to combine this with the color and shape text instead of the weather text alone. A composite text may be generated.

テキスト生成部５０及びこれに含まれる天気テキスト生成部５１、人物テキスト生成部５２、人工物テキスト生成部５３、色形容テキスト生成部５４及び複合テキスト生成部５５は、画像データを表示部２６（図１参照）に表示させる際に、カメラ制御部２０が当該画像データに対応するテキストを読み出せるように、画像データと関連づけて、生成したテキストをメモリカード３４等に保存できる。また、テキスト生成部５０は、生成したテキストを文章付加部５６に出力する。 The text generation unit 50 and the weather text generation unit 51, the human text generation unit 52, the artifact text generation unit 53, the color and shape text generation unit 54, and the compound text generation unit 55 included in the text generation unit 50 include the image data on the display unit 26 (see FIG. 1), the generated text can be stored in the memory card 34 or the like in association with the image data so that the camera control unit 20 can read the text corresponding to the image data. In addition, the text generation unit 50 outputs the generated text to the sentence addition unit 56.

文章付加部５６は、テキスト生成部５０によって生成されたテキストを、画像データに付与する。具体的には、文章付加部５６は、テキストのフォント、色、表示位置などを決定し、画像データとテキストを合成した表示内容に関する情報を生成する。文章付加部５６は、画像データとテキストを合成した新たな画像データを生成してもよく、合成画像を表示する際に画像データに追加される表示情報及び画像データとの関連付け情報を含むファイルを生成しても良い。文章付加部５６は、必要に応じて、画像データとテキストを合成した表示内容を表示部２６に表示させても良く、生成した新たな画像データ及び情報ファイルを、メモリカード３４に記憶させても良い。 The text adding unit 56 adds the text generated by the text generating unit 50 to the image data. Specifically, the sentence adding unit 56 determines the font, color, display position, and the like of the text, and generates information related to the display content obtained by combining the image data and the text. The text adding unit 56 may generate new image data obtained by combining the image data and the text, and a file including display information added to the image data and information associated with the image data when the composite image is displayed. It may be generated. The text adding unit 56 may display the display content obtained by combining the image data and the text on the display unit 26 as necessary, or may store the generated new image data and information file in the memory card 34. good.

以下に、画像処理部４０において行われる処理の具体例を説明するが、本発明はこれに限定されない。 A specific example of processing performed in the image processing unit 40 will be described below, but the present invention is not limited to this.

実施例１
画像処理部４０におけるテキスト生成処理は、操作部２２等を介して操作者の入力信号を検知したカメラ制御部２０等が、画像処理部４０に対してテキスト生成処理の開始信号を送信することにより開始される（図１参照）。テキスト生成処理が開始されると、画像処理部４０の画像データ入力部４１は、操作部２２及び表示部２６の表示内容を介して取得した操作者の選択内容に従い、メモリカード３４に格納されている画像データを読み出し、情報取得部４３に出力する。実施例１では、図４（Ａ）に示すような画像データ６０が、テキスト生成処理の対象となった場合を例に説明を行う。また、画像データ入力部４１は、画像データ６０とともにＥｘｉｆファイル等に保存されている撮影情報を読み出し、情報取得部４３に出力しても良い。 Example 1
The text generation process in the image processing unit 40 is performed when the camera control unit 20 or the like that has detected an operator input signal via the operation unit 22 or the like transmits a text generation process start signal to the image processing unit 40. Start (see FIG. 1). When the text generation process is started, the image data input unit 41 of the image processing unit 40 is stored in the memory card 34 in accordance with the selection contents of the operator acquired through the display contents of the operation unit 22 and the display unit 26. The read image data is read out and output to the information acquisition unit 43. In the first embodiment, a case where image data 60 as illustrated in FIG. 4A is a target of text generation processing will be described as an example. Further, the image data input unit 41 may read out the shooting information stored in the Exif file or the like together with the image data 60 and output it to the information acquisition unit 43.

図３は、図２に示す画像処理部４０において行われるテキスト生成処理の流れを表すフローチャートである。画像データ入力部４１から処理の対象となる画像データ６０を取得した情報取得部４３は、図３のステップＳ００１へ進み、画像データ６０が人物写真であるか否かを判断する。具体的には、情報取得部４３は、人物情報取得部４５を用いて画像データ６０の中に人物の像が所定の態様で含まれるか否かを抽出し、人物の像の抽出に成功した場合は対象画像を人物画像であると判定し、人物の像の抽出に失敗した場合は対象画像を人物画像でないと判定する。実施例１では、情報取得部４３及び人物情報取得部４５は、画像データ６０を人物画像ではないと判定し、ステップＳ００５へ進む。なお、ステップＳ００１において対象画像が人物画像であると判定された場合の処理については、実施例２及び実施例３で説明する。 FIG. 3 is a flowchart showing the flow of text generation processing performed in the image processing unit 40 shown in FIG. The information acquisition unit 43 that has acquired the image data 60 to be processed from the image data input unit 41 proceeds to step S001 in FIG. 3, and determines whether or not the image data 60 is a person photo. Specifically, the information acquisition unit 43 uses the person information acquisition unit 45 to extract whether or not a person image is included in a predetermined form in the image data 60 and succeeds in extracting the person image. In this case, it is determined that the target image is a person image, and when the extraction of the person image fails, it is determined that the target image is not a person image. In the first embodiment, the information acquisition unit 43 and the person information acquisition unit 45 determine that the image data 60 is not a person image, and the process proceeds to step S005. The processing performed when it is determined in step S001 that the target image is a person image will be described in the second and third embodiments.

図３のステップＳ００５では、情報取得部４３が、対象画像である画像データ６０が風景写真であるか否かを判断する。ステップＳ００５では、まず、情報取得部４３は、天気情報取得部４４の空領域抽出部４４ａを用いて、画像データ６０から空領域の抽出を試みる。より具体的には、図４（Ｂ）に示すように、空領域抽出部４４ａは、地平線若しくは水平線より上方の領域である空領域６０ａと下方の領域である地上領域６０ｂに、画像データ６０を分割することを試みる。例えば、図９における風景判定の項目に示すように、空領域抽出部４４ａは、画像上部と画像下部の輝度差が所定値α以上であって、かつエッジ量差がβ以上である場合に、画像上部を空領域として抽出し、対象画像を風景画像であると認定する。実施例１では、空領域抽出部４４ａが画像データ６０から空領域６０ａを抽出することに成功し、情報取得部４３は画像データ６０を風景写真であると判断してステップＳ００６に進む。なお、ステップＳ００５において対象画像が風景画像でないと判定された場合の処理については、実施例４及び実施例５で説明する。 In step S005 of FIG. 3, the information acquisition unit 43 determines whether the image data 60 that is the target image is a landscape photograph. In step S005, first, the information acquisition unit 43 attempts to extract a sky region from the image data 60 using the sky region extraction unit 44a of the weather information acquisition unit 44. More specifically, as shown in FIG. 4B, the sky region extraction unit 44a transfers the image data 60 to the sky region 60a that is the region above the horizon or the horizontal line and the ground region 60b that is the region below. Try to split. For example, as shown in the item of landscape determination in FIG. 9, the sky region extraction unit 44a has a luminance difference between the upper part of the image and the lower part of the image that is a predetermined value α or more and an edge amount difference is β or more The upper part of the image is extracted as a sky region, and the target image is recognized as a landscape image. In the first embodiment, the sky region extraction unit 44a succeeds in extracting the sky region 60a from the image data 60, and the information acquisition unit 43 determines that the image data 60 is a landscape photograph and proceeds to step S006. Note that the processing performed when it is determined in step S005 that the target image is not a landscape image will be described in the fourth and fifth embodiments.

図３に示すステップＳ００６では、天気情報取得部４４の空代表色抽出部４４ｂが、空領域抽出部４４ａで抽出された空領域の代表色を抽出する。空代表色抽出部４４ｂは、画像データ６０の空領域６０ａに対してクラスタリングを行い、空領域６０ａの代表色を抽出する。 In step S006 shown in FIG. 3, the sky representative color extraction unit 44b of the weather information acquisition unit 44 extracts the representative color of the sky region extracted by the sky region extraction unit 44a. The sky representative color extraction unit 44b performs clustering on the sky region 60a of the image data 60, and extracts the representative color of the sky region 60a.

ステップＳ００６において空領域の代表色を抽出すると、画像処理部４０は、ステップＳ００７の処理へ進む。ステップＳ００７では、情報取得部４３若しくは天気情報取得部４４が、空領域抽出部４４ａや空代表色抽出部４４ｂで取得された天気情報に基づき、対象画像から天気を推定することが可能か否かを判断する。例えば、天気情報取得部４４の天気推定部４４ｃは、図１０に示すような対応関係を参照して、空代表色抽出部４４ｂで取得された空領域の代表色が、対応表におけるいずれかの「天気」の「代表色」に該当する場合は、対象画像から天気を推定することが可能であると判断する。実施例１では、空代表色抽出部４４ｂが画像データ６０における空領域６０ａの代表色として「あざやかな青」に含まれる色を抽出し、天気情報取得部４４は、画像データ６０から天気を推定することが可能であると判断して、ステップＳ００８へ進む。 When the representative color of the sky area is extracted in step S006, the image processing unit 40 proceeds to the process of step S007. In step S007, whether or not the information acquisition unit 43 or the weather information acquisition unit 44 can estimate the weather from the target image based on the weather information acquired by the sky region extraction unit 44a or the sky representative color extraction unit 44b. Judging. For example, the weather estimation unit 44c of the weather information acquisition unit 44 refers to the correspondence as shown in FIG. 10, and the representative color of the sky region acquired by the sky representative color extraction unit 44b is one of the correspondence tables. When it corresponds to the “representative color” of “weather”, it is determined that the weather can be estimated from the target image. In the first embodiment, the sky representative color extraction unit 44 b extracts the color included in “bright blue” as the representative color of the sky region 60 a in the image data 60, and the weather information acquisition unit 44 estimates the weather from the image data 60. The process proceeds to step S008.

ステップＳ００８では、テキスト生成部５０における天気テキスト生成部５１が、天気情報取得部４４で抽出された天気情報に基づき撮影現場の天気に関する天気テキストを生成する。より具体的には、天気テキスト生成部５１は、天気推定部４４ｃによって推定された「晴れ（１）」、「曇り」などの天気情報を情報取得部４３から取得し、記憶部２８に記憶された天気辞書（図１１（Ａ））に含まれる単語又は文書のうち１つを選択し、それを対象画像に対応するテキストであると決定する。実施例１では、天気推定部４４ｃが画像データ６０の天気を「晴れ（１）」であると判断し、その情報を得た天気テキスト生成部５１は、天気辞書（図１１（Ａ））における晴れ（１）の項目から文書を選択することにより、画像データ６０のテキストを生成する。さらに、天気テキスト生成部５１で生成したテキストは、文章付加部５６に出力され、テキストの表示方法（表示位置、フォント等）が決定された後、画像データ６０と関連づけてメモリカード３４等に保存される。その後、画像処理部４０は、一連の画像テキスト生成処理を終了する。 In step S008, the weather text generation unit 51 in the text generation unit 50 generates a weather text related to the weather at the shooting site based on the weather information extracted by the weather information acquisition unit 44. More specifically, the weather text generation unit 51 acquires weather information such as “sunny (1)” and “cloudy” estimated by the weather estimation unit 44 c from the information acquisition unit 43 and is stored in the storage unit 28. One word or document included in the weather dictionary (FIG. 11A) is selected, and it is determined that the text corresponds to the target image. In the first embodiment, the weather estimation unit 44c determines that the weather of the image data 60 is “fine (1)”, and the weather text generation unit 51 that has obtained the information in the weather dictionary (FIG. 11A). The text of the image data 60 is generated by selecting a document from the clear (1) item. Further, the text generated by the weather text generation unit 51 is output to the sentence addition unit 56, and after the text display method (display position, font, etc.) is determined, it is stored in the memory card 34 or the like in association with the image data 60. Is done. Thereafter, the image processing unit 40 ends a series of image text generation processing.

なお、天気情報取得部４４が対象画像の天気を推定できないと判断した場合は、ステップＳ００９へ進む。ステップＳ００９では、テキスト生成部５０における色形容テキスト生成部５４が、図１１（Ｂ）に示すような「色形容」辞書を用いて、色情報取得部４７で取得された色情報に基づき、対象画像のテキストを生成する。テキスト生成後の処理は、ステップＳ００８と同様である。 When the weather information acquisition unit 44 determines that the weather of the target image cannot be estimated, the process proceeds to step S009. In step S009, the color description text generation unit 54 in the text generation unit 50 uses the “color description” dictionary as shown in FIG. 11B based on the color information acquired by the color information acquisition unit 47. Generate text for the image. Processing after text generation is the same as that in step S008.

図４（Ｃ）は、上述した実施例１に係るテキスト生成処理で生成されたテキスト「さわやかに晴れた」が、画像データ６０と伴に表示部２６に表示された状態を表している。このように、画像処理部４０は、天気情報取得部４４が抽出した天気情報を用いて、天気テキスト生成部が撮影現場の天気に関する天気テキストを生成することにより、より抽象的な情報である色情報から直接テキストを生成する技術に比べて、撮影者や観察者の感性に適合するテキストを生成することができ、生成されたテキストと画像データとのマッチング感が向上する。また、画像データから天気を推定できない場合には、画像データの色情報に基づきテキストを生成できるため、空領域の代表色が想定外であったような場合にでも、テキストを生成できずに処理を終了してしまう問題を回避できる。 FIG. 4C shows a state where the text “freshly clear” generated by the text generation processing according to the first embodiment described above is displayed on the display unit 26 together with the image data 60. As described above, the image processing unit 40 uses the weather information extracted by the weather information acquisition unit 44, and the weather text generation unit generates the weather text related to the weather at the shooting site. Compared to a technique that directly generates text from information, it is possible to generate text that matches the sensitivity of a photographer or an observer, and the matching feeling between the generated text and image data is improved. In addition, if the weather cannot be estimated from the image data, text can be generated based on the color information of the image data. Therefore, even if the representative color of the sky area is unexpected, the text can not be generated and processed. Can be avoided.

実施例２・実施例３
実施例２及び実施例３では、図５（Ａ）に示すような画像データ６５（実施例２）と図６（Ａ）に示すような画像データ７０（実施例３）がテキスト生成処理の対象となる場合を例に、説明を行う。なお、実施例２及び実施例３の説明では、実施例１との相違点のみを説明し、実施例１と同様の処理が行われる部分については説明を省略する。画像データ６５，７０が対象画像である場合、ステップＳ００１において、図２に示す人物情報取得部４５は、画像データ６５，７０の中から人物の像を抽出し、対象画像が人物画像であると判断してステップＳ００２へ進む。 Example 2 and Example 3
In Example 2 and Example 3, image data 65 (Example 2) as shown in FIG. 5A and image data 70 (Example 3) as shown in FIG. The case will be described as an example. In the description of the second and third embodiments, only the differences from the first embodiment will be described, and the description of the portions where the same processing as in the first embodiment is performed will be omitted. When the image data 65 and 70 are target images, the person information acquisition unit 45 shown in FIG. 2 extracts a person image from the image data 65 and 70 in step S001, and the target image is a person image. Determination is made and the process proceeds to step S002.

ステップＳ００２では、情報取得部４３が、対象画像である画像データ６５,７０の背景から空領域が抽出されるか否かを判断する。実施例３を用いて具体的に説明すると、図６（Ｂ）に示すように、画像データ７０のうち人物情報取得部４５が人物の像が写っていると認定した領域７０ｃ以外の領域を背景であると認定し、当該背景について、天気情報取得部４４の空領域抽出部４４ａが、空領域の抽出を実施する。図９に示すように、空領域抽出部４４ａは、対象領域が背景であるか画像全体であるかが異なることを除き、ステップＳ００５における風景写真判定と同様の手法により、対象領域を空領域７０ｄと地上領域７０ｅに分割することを試みる。実施例３に係る画像データ７０が処理対象である場合、情報取得部４３は画像データ７０の背景から空領域７０ｄを抽出し（図６（Ｂ）参照）、ステップＳ００３へ進む。これに対して、実施例２に係る画像データ６５が処理対象である場合、情報取得部４３は画像データ６５（図５（Ａ）参照）の背景から空領域を抽出できず、ステップＳ００４へ進む。 In step S002, the information acquisition unit 43 determines whether an empty region is extracted from the background of the image data 65 and 70 that are target images. More specifically, referring to the third embodiment, as shown in FIG. 6 (B), an area other than the area 70c in the image data 70 other than the area 70c that the person information acquisition unit 45 has recognized as a person image is shown in the background. The sky area extraction unit 44a of the weather information acquisition unit 44 extracts the sky area for the background. As shown in FIG. 9, the sky region extraction unit 44a converts the target region into the sky region 70d by the same method as the landscape photo determination in step S005, except that the target region is the background or the entire image. And try to divide it into the ground area 70e. When the image data 70 according to the third embodiment is a processing target, the information acquisition unit 43 extracts the empty area 70d from the background of the image data 70 (see FIG. 6B), and the process proceeds to step S003. On the other hand, when the image data 65 according to the second embodiment is a processing target, the information acquisition unit 43 cannot extract a sky region from the background of the image data 65 (see FIG. 5A), and the process proceeds to step S004. .

ステップＳ００４では、テキスト生成部５０の人物テキスト生成部５２が、図１１（Ｂ）に示すような「人物」辞書を用いて、人物情報取得部４５で取得された人物情報に基づき、対象画像のテキストを生成する。画像データ６５が対象画像である実施例２の場合、まず、人物情報取得部４５が、画像データ６５に複数の人物の像が写っていることや、被写体である人物の笑顔レベルが高い旨の人物情報を取得し、人物テキスト生成部５２に出力する。人物テキスト生成部５２は、人物情報取得部４５からの人物情報に基づき、被写体が複数である旨の情報から導かれる「みんな」等の単語や、笑顔レベルが高いことから導かれる「笑顔」等の単語が含まれる人物テキストを生成する。テキスト生成後の処理は、実施例１で説明したステップＳ００８と同様である。図５（Ｂ）は、上述した実施例２に係るテキスト生成処理で生成されたテキスト「みんないい表情！」が、画像データ６５と伴に表示部２６に表示された状態を表している。 In step S 004, the person text generation unit 52 of the text generation unit 50 uses the “person” dictionary as shown in FIG. 11B, based on the person information acquired by the person information acquisition unit 45, Generate text. In the case of the second embodiment in which the image data 65 is the target image, first, the person information acquisition unit 45 indicates that the image data 65 includes images of a plurality of persons and that the person who is the subject has a high smile level. Person information is acquired and output to the person text generator 52. The person text generation unit 52 is based on the person information from the person information acquisition unit 45, such as a word such as “everyone” derived from information indicating that there are a plurality of subjects, “smile” derived from a high smile level, and the like. A person text including the word is generated. The processing after the text generation is the same as step S008 described in the first embodiment. FIG. 5B shows a state in which the text “Everyone has a good expression!” Generated by the text generation processing according to the second embodiment described above is displayed on the display unit 26 together with the image data 65.

ステップＳ００３では、天気情報取得部４４が、対象画像の背景における空領域の代表色を決定した後、対象画像の天気を推定可能か否かについて判断する。対象画像の天気を推定可能である場合、天気テキスト生成部５１及び人物テキスト生成部５２が、それぞれ天気情報と人物情報に基づき、天気テキストと人物テキストを生成し、さらに複合テキスト生成部５５が、天気テキストと人物テキストを組み合わせたテキストである複合テキストを生成する。また、対象画像の天気を推定できない場合は、人物テキスト生成部５２及び色形容テキスト生成部５４が、それぞれ人物情報と色情報に基づき、人物テキストと色形容テキストを生成し、さらに複合テキスト生成部５５が、人物テキストと色形容テキストを組み合わせた複合テキストを生成する。なお、天気テキスト生成部５１による天気テキストの生成、人物テキスト生成部５２による人物テキストの生成及び色形容テキスト生成部５４による色形容テキストの生成は、ステップＳ００８、ステップＳ００４及びステップＳ００９で説明した処理と同様の方法で行うことができる。また、テキスト生成後の処理は、実施例１で説明したステップＳ００８と同様である。 In step S003, the weather information acquisition unit 44 determines whether the weather of the target image can be estimated after determining the representative color of the sky region in the background of the target image. When the weather of the target image can be estimated, the weather text generation unit 51 and the person text generation unit 52 generate the weather text and the person text based on the weather information and the person information, respectively, and the compound text generation unit 55 further Compound text that is a combination of weather text and person text is generated. In addition, when the weather of the target image cannot be estimated, the person text generation unit 52 and the color description text generation unit 54 generate the person text and the color description text based on the person information and the color information, respectively, and further, the composite text generation unit 55 generates a composite text combining the person text and the color description text. The generation of the weather text by the weather text generation unit 51, the generation of the person text by the person text generation unit 52, and the generation of the color and shape text by the color shape text generation unit 54 are the processes described in step S008, step S004, and step S009. It can be performed in the same way. Further, the processing after the text generation is the same as step S008 described in the first embodiment.

実施例３に係る画像データ７０が対象画像である場合、まず天気情報取得部４４が、図６（Ｂ）に示す空領域７０ｄの代表色（「あざやかな青」）を算出して、画像データ７０の天気を推定可能であると判断する。次に、天気テキスト生成部５１及び人物テキスト生成部５２が、それぞれ天気情報と人物情報に基づき、天気テキスト「青空の下」と人物テキスト「いい笑顔！」を生成し、さらに複合テキスト生成部５５が、天気テキストと人物テキストを組み合わせて、「青空の下、いい笑顔！」を生成する。図６（Ｃ）は、上述した実施例３に係るテキスト生成処理で生成されたテキストが、画像データ７５と伴に表示部２６に表示された状態を表している。 When the image data 70 according to the third embodiment is a target image, first, the weather information acquisition unit 44 calculates a representative color (“bright blue”) of the sky region 70d shown in FIG. It is determined that 70 weather conditions can be estimated. Next, the weather text generation unit 51 and the person text generation unit 52 generate the weather text “under the blue sky” and the person text “good smile!” Based on the weather information and the person information, respectively, and further, the composite text generation unit 55. However, the weather text and the person text are combined to generate “a good smile under the blue sky!”. FIG. 6C shows a state where the text generated by the text generation processing according to the third embodiment described above is displayed on the display unit 26 together with the image data 75.

このように、画像処理部４０は、室内撮影のように空が写っていない画像データに対しては、人物テキスト生成部が人物情報に基づきテキストを生成することにより、撮影者や観察者の感性に適合するテキストを生成することができる。また、天気情報と人物情報、人物情報と色情報のように、互いに種類の異なる情報から生成されたテキストを組み合わせる複合テキスト生成部５５を有するため、画像処理部４０は、多様で画像とのマッチング感の高いテキストを生成することができる。 As described above, the image processing unit 40 uses the person text generation unit to generate text based on the person information for image data in which the sky is not captured as in indoor shooting, so that the sensitivity of the photographer or the observer Text that conforms to can be generated. In addition, since the image processing unit 40 has a composite text generation unit 55 that combines texts generated from different types of information such as weather information and personal information, and personal information and color information, the image processing unit 40 is diverse and matches images. It is possible to generate text with high feeling.

実施例４・実施例５
実施例４及び実施例５では、図７（Ａ）に示すような画像データ７５（実施例４）と図８（Ａ）に示すような画像データ８０がテキスト生成処理の対象となる場合を例に、説明を行う。なお、実施例４及び実施例５の説明では、実施例１〜３との相違点のみを説明し、実施例１〜３と同様の処理が行われる部分については説明を省略する。画像データ７５，８０が対象画像である場合、ステップＳ００１では、実施例１の場合と同様に、情報取得部４３が対象画像を人物画像でないと判定し、ステップＳ００５へ進む。また、ステップＳ００５では、天気情報取得部４４の空領域抽出部４４ａが、画像データ７５，８０から空領域を抽出できず、これらの対象画像を風景画像でないと判断し、ステップＳ０１０へ進む。 Example 4 and Example 5
In the fourth and fifth embodiments, image data 75 (embodiment 4) as shown in FIG. 7A and image data 80 as shown in FIG. 8A are subject to text generation processing. The explanation will be given below. In the description of the fourth and fifth embodiments, only the differences from the first to third embodiments will be described, and the description of the portions where the same processing as in the first to third embodiments is performed will be omitted. When the image data 75 and 80 are target images, in step S001, as in the case of the first embodiment, the information acquisition unit 43 determines that the target image is not a person image, and the process proceeds to step S005. In step S005, the sky region extraction unit 44a of the weather information acquisition unit 44 cannot extract the sky region from the image data 75 and 80, and determines that these target images are not landscape images, and proceeds to step S010.

図３のステップＳ０１０では、情報取得部４３が、対象画像である画像データ７５，８０が自然物を撮影した自然物写真であるか否かを判断する。具体的には、情報取得部４３における人工物情報取得部４６が、画像データ７５，８０からエッジ情報を抽出した後、抽出したエッジの幾何学的特性に基づき、対象画像である画像データ７５，８０が自然物写真であるか人工物写真であるかを判断する。 In step S010 of FIG. 3, the information acquisition unit 43 determines whether the image data 75 and 80 that are target images are natural object photographs obtained by capturing natural objects. Specifically, after the artifact information acquisition unit 46 in the information acquisition unit 43 extracts edge information from the image data 75 and 80, the image data 75, which is the target image, based on the extracted geometric characteristics of the edge. It is determined whether 80 is a natural object photograph or an artifact photograph.

画像データ７５が対象画像である実施例４（図７参照）では、人工物情報取得部４６が、画像データ７５から抽出されたエッジについて、ランダムな形状性が高いと認定し、画像データ７５を自然物写真であると判断する。この場合、ステップＳ０１１へ進み、テキスト生成部５０における色形容テキスト生成部５４が、画像データ７５の色情報に基づき、色形容テキストを生成する。ステップＳ０１１での処理は、ステップＳ００９での処理と同様である。図７（Ｂ）は、実施例４に係るテキスト生成処理で生成されたテキスト「綺麗なピンクだね。」が、画像データ７５と伴に表示部２６に表示された状態を表している。 In Example 4 (see FIG. 7) in which the image data 75 is the target image, the artifact information acquisition unit 46 recognizes that the edge extracted from the image data 75 has a high random shape, and sets the image data 75 as the image data 75. Judged as a natural object photograph. In this case, the process proceeds to step S011, and the color and shape text generation unit 54 in the text generation unit 50 generates a color and shape text based on the color information of the image data 75. The process in step S011 is the same as the process in step S009. FIG. 7B shows a state in which the text “beautiful pink” generated by the text generation processing according to the fourth embodiment is displayed on the display unit 26 together with the image data 75.

また、画像データ８０が対象画像である実施例５（図８参照）では、人工物情報取得部４６が、画像データ８０から抽出されたエッジについて、規則的な形状性が高いと認定し、画像データ８０を人工物が写っている人工物写真であると判断する。この場合、ステップＳ０１２へ進み、テキスト生成部５０における人工物テキスト生成部５３が、画像データ８０の人工物情報に基づき、人工物テキストを生成する。図８（Ｂ）は、実施例５に係るテキスト生成処理で生成されたテキスト「何の形かな？」が、画像データ８０と伴に表示部２６に表示された状態を表している。 Further, in Example 5 (see FIG. 8) in which the image data 80 is the target image, the artifact information acquisition unit 46 recognizes that the edge extracted from the image data 80 has a high regular shape, and the image It is determined that the data 80 is an artifact photograph showing an artifact. In this case, the process proceeds to step S012, and the artifact text generation unit 53 in the text generation unit 50 generates the artifact text based on the artifact information of the image data 80. FIG. 8B shows a state where the text “What is the shape?” Generated by the text generation processing according to the fifth embodiment is displayed on the display unit 26 together with the image data 80.

このように、画像処理部４０は、空が映っていない画像データや、空が画像の観察者に対して強い印象を与えない画像データについては、色形容テキスト生成部５４や人工物テキスト生成部５３が、色情報や人工物情報に基づきテキストを生成することにより、撮影者や観察者の感性と整合しないテキストが生成される頻度を低減し、生成されるテキストと画像とのマッチングを高めることができる。また、画像処理部４０は、画像情報に応じて天気テキスト生成部５１、人物テキスト生成部５２、人工物テキスト生成部５３及び色形容テキスト生成部５４を選択的に用いてテキストを生成することにより、画像データの雰囲気を支配している要素にマッチしたテキストを生成することが可能である。 As described above, the image processing unit 40 uses the color shape text generation unit 54 and the artifact text generation unit for image data in which the sky is not reflected and image data in which the sky does not give a strong impression to the observer of the image. 53 generates text based on color information and artifact information, thereby reducing the frequency with which text that does not match the sensitivity of the photographer or observer is reduced, and increasing matching between the generated text and the image. Can do. In addition, the image processing unit 40 generates text by selectively using the weather text generation unit 51, the person text generation unit 52, the artifact text generation unit 53, and the color and shape text generation unit 54 according to the image information. It is possible to generate text that matches the elements that govern the atmosphere of the image data.

上述の実施形態及び実施例では、画像処理部４０を備える撮像装置１０を例に挙げて、画像処理装置の説明を行ったが、画像処理部４０を備える画像処理装置はこれに限定されず、パーソナルコンビュータ、携帯電話等、撮像部を必ずしも有しない装置であっても良い。また、画像データからテキストを生成するプログラムは、撮像装置１０だけでなく、画像処理を実施するその他の情報機器にも、実装することができる。 In the above-described embodiments and examples, the image processing apparatus has been described by taking the imaging apparatus 10 including the image processing unit 40 as an example. However, the image processing apparatus including the image processing unit 40 is not limited thereto, An apparatus that does not necessarily include an imaging unit, such as a personal computer or a mobile phone, may be used. A program that generates text from image data can be implemented not only in the imaging apparatus 10 but also in other information devices that perform image processing.

１０…撮像装置
１２…撮像部
１４…光学系
１６…撮像素子
１８…Ａ／Ｄ変換部
２０…カメラ制御部
２２…操作部
２４…バス
２６…表示部
２８…記憶部
３０…バッファメモリ部
３２…通信部
３４…メモリカード
４０…画像処理部
４１…画像データ入力部
４３…情報取得部
４４…天気情報取得部
４４ａ…空領域抽出部
４４ｂ…空代表色抽出部
４４ｃ…天気推定部
４５…人物情報取得部
４６…人工物情報取得部
４７…色情報取得部
５０…テキスト生成部
５１…天気テキスト生成部
５２…人物テキスト生成部
５３…人工物テキスト生成部
５４…色形容テキスト生成部
５５…複合テキスト生成部
５６…文章付加部
６０，６５，７０，７５，８０…画像データ
６０ａ，７０ｄ…空領域 DESCRIPTION OF SYMBOLS 10 ... Imaging device 12 ... Imaging part 14 ... Optical system 16 ... Imaging device 18 ... A / D conversion part 20 ... Camera control part 22 ... Operation part 24 ... Bus | bath 26 ... Display part 28 ... Memory | storage part 30 ... Buffer memory part 32 ... Communication unit 34 ... Memory card 40 ... Image processing unit 41 ... Image data input unit 43 ... Information acquisition unit 44 ... Weather information acquisition unit 44a ... Sky region extraction unit 44b ... Sky representative color extraction unit 44c ... Weather estimation unit 45 ... Person information Acquisition unit 46 ... Artifact information acquisition unit 47 ... Color information acquisition unit 50 ... Text generation unit 51 ... Weather text generation unit 52 ... Person text generation unit 53 ... Artifact text generation unit 54 ... Color and shape text generation unit 55 ... Compound text Generation unit 56 ... sentence addition unit 60, 65, 70, 75, 80 ... image data 60a, 70d ... empty area

Claims

画像データに関する情報を取得する情報取得部と、取得した前記情報からテキストを生成するテキスト生成部と、を有する画像処理装置であって、
前記情報取得部は、前記画像データの撮影現場の天気に関する天気情報を取得する天気情報取得部を有し、
前記テキスト生成部は、前記天気情報に基づき前記撮影現場の天気に関連する前記テキストである天気テキストを生成する天気テキスト生成部を有することを特徴とする画像処理装置。 An image processing apparatus comprising: an information acquisition unit that acquires information about image data; and a text generation unit that generates text from the acquired information.
The information acquisition unit includes a weather information acquisition unit that acquires weather information related to the weather at the shooting site of the image data,
The image processing apparatus according to claim 1, wherein the text generation unit includes a weather text generation unit that generates a weather text that is the text related to the weather at the shooting site based on the weather information.

請求項１に記載された画像処理装置であって、
前記情報取得部は、前記画像データに含まれる人物の像に関する人物情報を取得する人物情報取得部をさらに有し、
前記テキスト生成部は、前記人物情報に基づき前記人物の像に関連する前記テキストである人物テキストを生成する人物テキスト生成部と、前記天気テキストと前記人物テキストとを組み合わせた前記テキストである複合テキストを生成する複合テキスト生成部と、をさらに有することを特徴とする画像処理装置。 An image processing apparatus according to claim 1,
The information acquisition unit further includes a person information acquisition unit that acquires person information related to an image of a person included in the image data,
The text generation unit is configured to generate a person text that is the text related to the image of the person based on the person information, and a composite text that is the text obtained by combining the weather text and the person text An image processing apparatus, further comprising: a composite text generation unit that generates

請求項１又は請求項２に記載された画像処理装置であって、
前記情報取得部は、前記画像データに含まれる人工物の像に関する人工物情報を取得する人工物情報取得部をさらに有し、
前記テキスト生成部は、前記人工物情報に基づき、前記人工物の像に関連する前記テキストである人工物テキストを生成する人工物テキスト生成部をさらに有し、
前記テキスト生成部は、前記情報取得部が取得した前記情報に基づき、前記天気テキスト生成部と前記人工物テキスト生成部のいずれか一方を用いて前記テキストを生成することを特徴とする画像処理装置。 An image processing apparatus according to claim 1 or 2, wherein
The information acquisition unit further includes an artifact information acquisition unit that acquires artifact information related to an artifact image included in the image data,
The text generation unit further includes an artifact text generation unit that generates an artifact text that is the text related to the image of the artifact based on the artifact information,
The text generation unit generates the text using one of the weather text generation unit and the artifact text generation unit based on the information acquired by the information acquisition unit. .

請求項１から請求項３までのいずれか１項に記載された画像処理装置であって、
前記天気情報取得部は、前記画像データに含まれる空の像の全体に対する比率に関する空比率情報をさらに取得し、
前記テキスト生成部は、前記空比率情報に応じて前記テキストを変更することを特徴とする画像処理装置。 An image processing apparatus according to any one of claims 1 to 3, wherein
The weather information acquisition unit further acquires sky ratio information related to the ratio of the entire sky image included in the image data,
The image processing apparatus, wherein the text generation unit changes the text according to the empty ratio information.

請求項１から請求項４までのいずれか１項に記載された画像処理装置であって、
前記天気テキスト生成部は、前記撮影現場の天気が晴れである場合には、前記撮影現場の天気が曇り又は雨の場合と比較して、前記撮影現場の天気をより肯定的に表現する前記天気テキストを生成することを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 4, wherein:
When the weather at the shooting site is clear, the weather text generation unit is configured to express the weather at the shooting site more positively than when the weather at the shooting site is cloudy or rainy. An image processing apparatus for generating text.

請求項１から請求項５までのいずれか１項に記載された画像処理装置であって、
前記情報取得部は、前記画像データの色に関する色情報を取得する色情報取得部を有し、
前記テキスト生成部は、前記色情報に基づき前記画像データの色が持つイメージに関連する前記テキストである色形容テキストを生成する色形容テキスト生成部を有し、
前記テキスト生成部は、前記天気情報取得部が前記天気情報を取得できない場合に、前記色形容テキスト生成部を用いて前記テキストを生成することを特徴とする画像処理装置。 An image processing apparatus according to any one of claims 1 to 5, wherein
The information acquisition unit includes a color information acquisition unit that acquires color information related to the color of the image data,
The text generation unit includes a color shape text generation unit that generates a color shape text that is the text related to an image included in a color of the image data based on the color information,
The image processing apparatus, wherein the text generation unit generates the text using the color and shape text generation unit when the weather information acquisition unit cannot acquire the weather information.

請求項１から請求項６までのいずれか１項に記載された画像処理装置と、
被写体を撮像して前記画像データを生成する撮像部と、を有する撮像装置。 An image processing device according to any one of claims 1 to 6,
An imaging unit that captures an image of a subject and generates the image data.

コンピュータに、画像データに関する情報を取得する情報取得処理と、取得した前記情報からテキストを生成するテキスト生成処理と、を実行させる画像処理プログラムであって、
前記情報取得処理では、前記画像データの撮影現場の天気に関する天気情報を取得することができ、
前記テキスト生成処理では、前記天気情報に基づき前記撮影現場の天気に関連する前記テキストである天気テキストを生成することができる画像処理プログラム。 An image processing program for causing a computer to execute an information acquisition process for acquiring information about image data, and a text generation process for generating text from the acquired information,
In the information acquisition process, it is possible to acquire weather information related to the weather of the shooting site of the image data,
In the text generation process, an image processing program capable of generating a weather text that is the text related to the weather at the shooting site based on the weather information.