JP2012151572A - Image output device, image output method, and program - Google Patents
Image output device, image output method, and program Download PDFInfo
- Publication number
- JP2012151572A JP2012151572A JP2011007297A JP2011007297A JP2012151572A JP 2012151572 A JP2012151572 A JP 2012151572A JP 2011007297 A JP2011007297 A JP 2011007297A JP 2011007297 A JP2011007297 A JP 2011007297A JP 2012151572 A JP2012151572 A JP 2012151572A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- original image
- frame
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、画像出力装置、画像出力方法及びプログラムに関し、原画像をより効果的に見せることができる技術に関する。 The present invention relates to an image output apparatus, an image output method, and a program, and relates to a technique that can make an original image appear more effectively.
従来より、額縁に入れられた絵画や銀塩写真等が飾られるように、デジタル写真（原画像）の周縁に枠の画像を合成することによって、当該原画像を効果的に見せる手法が知られている。 Conventionally, there has been known a technique for effectively displaying an original image by synthesizing a frame image around the periphery of a digital photograph (original image) so that a picture or a silver halide photograph placed in a frame can be displayed. ing.
例えば特許文献１には、複数の枠の中から決定された一の枠の画像を原画像に合成して表示する手法が記載されている。 For example, Patent Document 1 describes a method of combining and displaying an image of one frame determined from a plurality of frames with an original image.
しかしながら、上述した特許文献１に記載の手法では、原画像に合成される枠の画像は、デフォルトの設定、あるいはユーザの選択操作により決定されていた。このため、このような枠の画像が原画像に合成されたとしても、合成された枠の画像が当該原画像をより効果的に見せるものである画像とは限らなかった。 However, in the method described in Patent Document 1 described above, the frame image to be combined with the original image is determined by default setting or a user selection operation. For this reason, even if such a frame image is combined with the original image, the combined frame image is not necessarily an image that shows the original image more effectively.
本発明は、このような状況に鑑みてなされたものであり、適切な枠の画像を表示対象の画像とともに表示させることで、より効果的に表示対象の画像を見せることができるようにすることを目的とする。 The present invention has been made in view of such a situation, and can display an image of a display target more effectively by displaying an image of an appropriate frame together with the image of the display target. With the goal.
上記目的を達成するため、本発明の一態様の画像出力装置は、原画像の画像データを取得する取得手段と、前記取得手段により取得された前記画像データに基づいて、前記原画像の構図を解析することによって、当該原画像内の処理対象の領域を決定する解析手段と、前記解析手段により処理対象として決定された領域についての、色彩、明度、及び彩度を抽出する抽出手段と、前記抽出手段による抽出結果に基づいて、前記原画像の周囲を取り囲む範囲の色を決定する決定手段と、前記決定手段により決定された色で前記原画像を取り囲んで表示されるように、画像データの出力を制御する出力制御手段と、を備えることを特徴とする。 In order to achieve the above object, an image output apparatus according to an aspect of the present invention includes an acquisition unit that acquires image data of an original image, and a composition of the original image based on the image data acquired by the acquisition unit. Analyzing means for determining an area to be processed in the original image by analyzing, extracting means for extracting color, brightness, and saturation for the area determined as the processing object by the analyzing means, Based on the extraction result by the extraction means, a determination means for determining a color in a range surrounding the original image, and the image data so that the original image is surrounded and displayed by the color determined by the determination means. Output control means for controlling the output.
本発明によれば、適切な枠の画像を表示対象の画像とともに表示させることで、より効果的に表示対象の画像を見せることができる。 ADVANTAGE OF THE INVENTION According to this invention, the image of a display target can be shown more effectively by displaying the image of a suitable frame with the image of a display target.
以下、本発明の実施形態について、図を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
［第１実施形態］
図１は、本発明に係る画像出力装置１の一実施形態としてのハードウェアの構成を示すブロック図である。
画像出力装置１は、例えばデジタルフォトフレームとして構成される。
[First Embodiment]
FIG. 1 is a block diagram showing a hardware configuration as an embodiment of an image output apparatus 1 according to the present invention.
The image output apparatus 1 is configured as a digital photo frame, for example.
画像出力装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、入力部１６と、出力部１７と、記憶部１８、通信部１９と、ドライブ２０と、を備えている。 The image output device 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a bus 14, an input / output interface 15, an input unit 16, and an output unit. 17, a storage unit 18, a communication unit 19, and a drive 20.
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。 The CPU 11 executes various processes according to a program recorded in the ROM 12 or a program loaded from the storage unit 18 to the RAM 13.
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。 The RAM 13 appropriately stores data necessary for the CPU 11 to execute various processes.
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、入力部１６、出力部１７、記憶部１８、通信部１９及びドライブ２３が接続されている。 The CPU 11, ROM 12, and RAM 13 are connected to each other via a bus 14. An input / output interface 15 is also connected to the bus 14. An input unit 16, an output unit 17, a storage unit 18, a communication unit 19, and a drive 23 are connected to the input / output interface 15.
入力部１６は、各種釦等の操作部で構成され、ユーザの指示操作を受け付ける。 The input unit 16 includes an operation unit such as various buttons, and accepts user instruction operations.
出力部１７は、画像等の各種情報を出力すべく、表示部４１と、ＬＥＤ部４２と、を備えている。
表示部４１は、画像を表示可能なディスプレイ等により構成される。
ＬＥＤ部４２は、図示はしないが表示部４１の周囲を覆うように配置される、複数のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）より構成される。複数のＬＥＤの発光状態が制御されることによって、各種情報が出力される。
The output unit 17 includes a display unit 41 and an LED unit 42 to output various information such as images.
The display unit 41 includes a display that can display an image.
The LED unit 42 includes a plurality of LEDs (Light Emitting Diodes) that are arranged so as to cover the periphery of the display unit 41 (not shown). Various information is output by controlling the light emission states of the plurality of LEDs.
記憶部１８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、表示対象の原画像や、当該原画像に合成され得る枠の画像等の各種画像のデータを記憶する。記憶部１８はまた、後述する図３乃至図７に示すような表示対象の画像の調和色を決定するために用いる色の関係を示したデータ等を記憶する。 The storage unit 18 is configured by a DRAM (Dynamic Random Access Memory) or the like, and stores various image data such as an original image to be displayed and a frame image that can be combined with the original image. The storage unit 18 also stores data indicating color relationships used to determine the harmonious colors of the images to be displayed as shown in FIGS. 3 to 7 described later.
通信部１９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。 The communication unit 19 controls communication with other devices (not shown) via a network including the Internet.
ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２０によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア３１は、記憶部１８に記憶されている画像のデータ等の各種データも、記憶部１８と同様に記憶することができる。 A removable medium 31 made of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately attached to the drive 20. The program read from the removable medium 31 by the drive 20 is installed in the storage unit 18 as necessary. The removable medium 31 can also store various data such as image data stored in the storage unit 18 in the same manner as the storage unit 18.
図２は、このような画像出力装置１の機能的構成のうち、枠付画像表示処理を実行するための機能的構成を示す機能ブロック図である。
枠付画像表示処理とは、表示対象の原画像に対して枠の画像を合成して表示部４１に表示させるまでの一連の処理をいう。
FIG. 2 is a functional block diagram showing a functional configuration for executing the framed image display process among the functional configurations of the image output apparatus 1.
The framed image display process refers to a series of processes until the frame image is synthesized with the original image to be displayed and displayed on the display unit 41.
図２において、ＣＰＵ１１は、画像取得部５１と、構図解析部５２と、ＨＳＶ抽出部５３と、調和色特定部５４と、枠決定部５５と、枠付画像出力制御部５６と、を備えている。 In FIG. 2, the CPU 11 includes an image acquisition unit 51, a composition analysis unit 52, an HSV extraction unit 53, a harmony color specification unit 54, a frame determination unit 55, and a framed image output control unit 56. Yes.
なお、画像取得部５１乃至枠付画像出力制御部５６は、本実施形態では、ＣＰＵ１１と、当該ＣＰＵ１１により実行されるプログラムとの組み合わせ、即ち、ハードウェアとソフトウェアとの組み合わせにより構成されている。しかしながら、これは例示であって、画像取得部５１乃至枠付画像出力制御部５６の機能の少なくとも一部を、ＣＰＵ１１以外の他の構成要素に移譲させることも当然可能である。 In this embodiment, the image acquisition unit 51 to the framed image output control unit 56 are configured by a combination of the CPU 11 and a program executed by the CPU 11, that is, a combination of hardware and software. However, this is merely an example, and it is naturally possible to transfer at least part of the functions of the image acquisition unit 51 to the framed image output control unit 56 to other components than the CPU 11.
画像取得部５１は、例えば、通信部１９やリムーバブルメディア３１から表示対象の画像のデータを、原画像のデータとして取得する。 The image acquisition unit 51 acquires, for example, data of an image to be displayed from the communication unit 19 or the removable medium 31 as original image data.
構図解析部５２は、画像取得部５１により取得された原画像のデータに基づいて、当該原画像の構図を解析することによって、当該原画像内の処理対象領域を決定する。 The composition analysis unit 52 analyzes the composition of the original image based on the data of the original image acquired by the image acquisition unit 51 to determine a processing target area in the original image.
ここで、処理対象領域とは、後述するＨＳＶ抽出部５３において色の特性が抽出される領域をいう。詳細については後述するが、この色の特性に基づいて、原画像に付加される枠の画像の色等が決定される。従って、構図解析部５２による原画像の構図の解析手法としては、原画像に付加される枠の画像の色等の決定手法に応じて、各種各様の手法が採用される。そこで、構図解析部５２による原画像の構図の解析手法の具体例については、原画像に付加される枠の画像の色等の決定手法とともに後述する。 Here, the processing target area refers to an area where color characteristics are extracted by the HSV extraction unit 53 described later. Although details will be described later, the color of the image of the frame added to the original image is determined based on the color characteristics. Therefore, as the method for analyzing the composition of the original image by the composition analysis unit 52, various methods are adopted depending on the method for determining the color of the frame image added to the original image. Therefore, a specific example of the composition analysis method of the original image by the composition analysis unit 52 will be described later together with a method for determining the color of the frame image added to the original image.
ＨＳＶ抽出部５３は、構図解析部５２により決定された処理対象領域の色の特性として、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒｔｉｏｎ／Ｃｈｒｏｍａ）及び明度（Ｂｒｉｇｈｔｎｅｓｓ Ｌｉｇｈｔｎｅｓｓ Ｖａｌｕｅ）の３つの成分を抽出する。
例えば、原画像のデータの色の特性が、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの成分からなるＲＧＢ色空間により表わされているものとする。この場合、処理対象領域のデータに対して、ＲＧＢ色空間からＨＳＶ色空間に色空間変換する変換処理が施され、その変換処理の結果に基づいて、処理対象領域についての、色相、彩度及び明度の各値（以下、これらをまとめて「ＨＳＶ値」と呼ぶ）が抽出される。なお、ＨＳＶ色空間等の詳細については、図３及び図４を参照して後述する。
ここで、処理対象領域は複数の画素から構成されているため、ＨＳＶ抽出部５３による変換処理が実行された段階では、各画素毎のＨＳＶ値が得られている。そこで、ＨＳＶ抽出部５３は、処理対象領域を構成する各画素のＨＳＶ値を用いて所定の演算を行うことにより、処理対象領域全体としての色（ＨＳＶ値）を抽出する。この場合の所定の演算は、特に限定されず、例えば、単純な平均を取る演算を採用してもよいし、メディアン値を取る演算を採用してもよい。要するに、当該処理対象領域を含む原画像が、枠の画像により、より効果的に表示されるように、当該処理対象領域の色を抽出できれば足り、演算手法自体は任意でよい。
The HSV extraction unit 53 extracts three components of hue (Hue), saturation (Saturation / Chroma), and brightness (Brightness Lightness Value) as the color characteristics of the processing target region determined by the composition analysis unit 52.
For example, it is assumed that the color characteristics of the original image data are represented by an RGB color space composed of three components of red (R), green (G), and blue (B). In this case, the data of the processing target area is subjected to conversion processing for color space conversion from the RGB color space to the HSV color space. Based on the result of the conversion processing, the hue, saturation, and Each value of lightness (hereinafter collectively referred to as “HSV value”) is extracted. Details of the HSV color space and the like will be described later with reference to FIGS.
Here, since the processing target area is composed of a plurality of pixels, the HSV value for each pixel is obtained at the stage when the conversion process by the HSV extraction unit 53 is executed. Therefore, the HSV extraction unit 53 extracts a color (HSV value) as the entire processing target region by performing a predetermined calculation using the HSV value of each pixel constituting the processing target region. The predetermined calculation in this case is not particularly limited, and for example, a simple average calculation or a median value calculation may be used. In short, it is sufficient that the color of the processing target area can be extracted so that the original image including the processing target area is more effectively displayed by the frame image, and the calculation method itself may be arbitrary.
調和色特定部５４は、ＨＳＶ抽出部５３により抽出された処理対象領域における色（ＨＳＶ値）に対する、調和色や不調和色を特定する。調和色や不調和色の詳細については、図５乃至図７を参照して後述する。 The harmony color identification unit 54 identifies a harmony color and an inharmonicity color with respect to the color (HSV value) in the processing target region extracted by the HSV extraction unit 53. Details of the harmony color and the inharmonicity color will be described later with reference to FIGS.
枠決定部５５は、調和色特定部５４による調和色や不調和色の特定結果に基づいて原画像に付加する枠の画像（原画像の周囲を取り囲む範囲の色で表示される枠の画像）を決定する。
枠の画像を決定する手法は、特に限定されず、例えば、記憶部１８に記憶されている１以上の枠の画像のデータの中から選択的に決定する、といった手法を採用することができる。また例えば、記憶部１８に記憶されている所定の枠の画像のデータに基づいて新たな枠の画像のデータを生成し、当該新たな枠の画像を原画像に付加すると決定する、といった手法を採用することもできる。
The frame determination unit 55 adds an image of a frame to be added to the original image based on the result of specifying the harmonious color and the inharmonic color by the harmonious color specifying unit 54 (an image of a frame displayed in a color that surrounds the periphery of the original image). To decide.
The method of determining the frame image is not particularly limited, and for example, a method of selectively determining one or more frame image data stored in the storage unit 18 may be employed. Further, for example, a method of generating data of a new frame image based on image data of a predetermined frame stored in the storage unit 18 and determining to add the new frame image to the original image. It can also be adopted.
枠付画像出力制御部５６は、画像取得部５１により取得された原画像のデータに対して、枠決定部５５により決定された枠の画像のデータを合成することによって、合成画像（以下、「枠付画像」と呼ぶ）のデータを生成する。そして、枠付画像出力制御部５６は、枠付画像のデータを表示部４１に出力する制御を実行する。これにより、枠付画像が表示部４１に表示される。即ち、原画像の周囲に、枠決定部５５により決定された枠の画像が付加されて表示部４１に表示される。 The framed image output control unit 56 synthesizes the image data of the frame determined by the frame determination unit 55 with the original image data acquired by the image acquisition unit 51, thereby generating a combined image (hereinafter, “ (Referred to as “framed image”). The framed image output control unit 56 executes control to output framed image data to the display unit 41. As a result, the framed image is displayed on the display unit 41. That is, the frame image determined by the frame determination unit 55 is added around the original image and displayed on the display unit 41.
さらに以下、このような機能的構成のＣＰＵ１１による枠付画像のデータの生成手法の詳細について、図３乃至図７を適宜参照して説明する。 Further, details of a method of generating framed image data by the CPU 11 having such a functional configuration will be described below with reference to FIGS. 3 to 7 as appropriate.
上述したように、本実施形態では、原画像のうち処理対象領域の色に対する調和色や不調和色が特定され、この特定された調和色や不調和色に基づいて、原画像に付加される枠の画像が決定される。このような一連の処理において用いられる色空間は、本実施形態では、ＨＳＶ色空間が採用されている。 As described above, in the present embodiment, a harmonious color or an inharmonic color with respect to the color of the processing target area is specified in the original image, and is added to the original image based on the specified harmonious color or inharmonic color. A frame image is determined. In this embodiment, the HSV color space is employed as the color space used in such a series of processes.
ここで、ＨＳＶ色空間とは、色相、彩度、明度の３つの成分からなるＨＳＶモデル（ＨＳＶ ｍｏｄｅｌ）で表される色空間をいう。このようなＨＳＶモデルとして、本実施形態では、図３及び図４に示すいわゆるマンセル・カラー・システム（Ｍｕｎｓｅｌｌ Ｃｏｌｌｏｒ Ｓｙｓｔｅｍ）が採用されている。 Here, the HSV color space refers to a color space represented by an HSV model (HSV model) including three components of hue, saturation, and brightness. In this embodiment, a so-called Munsell Color System (Munsell Color System) shown in FIGS. 3 and 4 is adopted as such an HSV model.
図３は、マンセルの色相環を示す概念図である。
図４は、所定の色相についての明度と彩度の一例を表示したマンセルの色票を示す概念図である。
即ち、色相（Ｈ）は、赤、黄、緑、青、紫等の色の様相の相違を示すものであり、その総体を順序立てて円環状に表わしたものが図３に示す色相関である。Ｒ（赤）、ＹＲ（黄赤）、Ｙ（黄）、ＧＹ（黄緑）、Ｇ（緑）、ＢＧ（青緑）、Ｂ（青）、ＰＢ（紫青）、Ｐ（紫）、及びＲＰ（赤紫）が基本１０色とされ、その順に円環状に配置される。
この場合、所定の色相（Ｈ）については、図４に示すような２次元平面上のマンセルの色票によって、明度（Ｖ）と彩度（Ｓ）が表現される。なお、図４の例では、色相（Ｈ）が赤（２．５Ｒ）についての、明度（Ｖ）と彩度（Ｓ）が示されている。
明度（Ｖ）は、色の明るさを示すものであり、図４の例の色票では、下限からの垂直上方向の距離を示す値で表現される。具体的には、明度（Ｖ）＝０が最も暗い色（黒）を示し、明度（Ｖ）＝１０が最も明るい色（白）を示している。即ち、明度（Ｖ）が大きな値になるほど、明るい色になっていく。
また、彩度（Ｓ）は、色の鮮やかさを示すものであり、図４の例の色票では、右限からの水平左方向の距離を示す値で表現される。具体的には、彩度（Ｓ）＝０が無彩を示し、彩度（Ｓ）が大きな値になるほど、鮮やかな色になっていく。ただし、彩度（Ｓ）は、色相（Ｈ）と明度（Ｓ）の組み合わせによって、最大値が異なる。
FIG. 3 is a conceptual diagram showing Munsell's hue circle.
FIG. 4 is a conceptual diagram showing Munsell's color chart displaying an example of lightness and saturation for a predetermined hue.
That is, the hue (H) indicates a difference in color appearance such as red, yellow, green, blue, purple, and the color correlation shown in FIG. is there. R (red), YR (yellow-red), Y (yellow), GY (yellow-green), G (green), BG (blue-green), B (blue), PB (purple blue), P (purple), and RP (red purple) is the basic 10 colors and is arranged in an annular shape in that order.
In this case, for a predetermined hue (H), lightness (V) and saturation (S) are expressed by Munsell color chart on a two-dimensional plane as shown in FIG. In the example of FIG. 4, lightness (V) and saturation (S) are shown for a hue (H) of red (2.5R).
The lightness (V) indicates the brightness of the color, and is represented by a value indicating the distance in the vertical upward direction from the lower limit in the color chart of the example of FIG. Specifically, lightness (V) = 0 indicates the darkest color (black), and lightness (V) = 10 indicates the brightest color (white). That is, as the brightness (V) increases, the color becomes brighter.
Saturation (S) indicates the vividness of the color, and is represented by a value indicating the distance in the horizontal left direction from the right limit in the color chart of the example of FIG. Specifically, the saturation (S) = 0 indicates achromatic color, and the greater the saturation (S), the more vivid the color becomes. However, the maximum value of saturation (S) varies depending on the combination of hue (H) and lightness (S).
本実施形態においては、上述したように、ＨＳＶ抽出部５３は、このようなマンセルの色相環及びマンセルの色票に基づいて、原画像の処理対象領域の色（ＨＳＶ値）を抽出する。すると、調和色特定部５４は、処理対象領域の色（ＨＳＶ値）に対する調和色や不調和色を特定する。
このような調和色や不調和色を特定する手法は、特に限定されないが、本実施形態では、色の調和を定量的に示した、ムーン＆スペーサの色彩調和論に基づく手法が採用されている。そこで、以下、このような手法の詳細について、図５乃至図７を参照して説明する。
In the present embodiment, as described above, the HSV extraction unit 53 extracts the color (HSV value) of the processing target area of the original image based on the Munsell hue ring and the Munsell color chart. Then, the harmonious color specifying unit 54 specifies a harmonious color or an unharmonized color with respect to the color (HSV value) of the processing target region.
A method for identifying such harmonious colors and unharmonic colors is not particularly limited, but in the present embodiment, a method based on the color harmony theory of the moon and spacer, which quantitatively indicates the harmonies of colors, is adopted. . Therefore, details of such a method will be described below with reference to FIGS.
図５は、ムーン＆スペンサーの色調和論に基づいて作成された、基準色との色相の差の点で、当該基準色の調和色及び不調和色を円形図示した概念図である。
ムーン＆スペンサー色調和論では、図３及び図４に示すいわゆるマンセル・カラー・システムに基づいて設定される色空間ωにおいて、明快な幾何学的関係の配色が調和配色とされ、曖昧な関係の配色が不調和とされる。
具体的には、基準色との調和配色は、同一調和、類似調和又は対比調和に属する色である。基準色との不調和配色は、第１不調和（第１不明瞭）、第２不調和（第２同一調和）、又は、眩輝の不調和に属する色である。
図５に示すように、基準色との色相の差の点に着目し、同図の円周上の基準色の位置（最上位の位置）からみて左周り及び右周りにそれぞれ、同一調和、第一不調和、類似調和、第二不調和及び対比調和が、その順番で配置される。
FIG. 5 is a conceptual diagram in which the harmony color and the inharmonicity color of the reference color are circularly illustrated in terms of the difference in hue from the reference color created based on the color harmony theory of Moon & Spencer.
In the Moon & Spencer color harmony theory, in the color space ω set based on the so-called Munsell color system shown in FIG. 3 and FIG. The color scheme is incongruent.
Specifically, the harmony color scheme with the reference color is a color belonging to the same harmony, similar harmony or contrast harmony. The discordant color arrangement with the reference color is a color belonging to the first discordant (first discordant), the second discordant (second identical harmony), or the dazzling discord.
As shown in FIG. 5, paying attention to the difference in hue from the reference color, the same harmony is observed in the counterclockwise and clockwise directions as viewed from the reference color position (the highest position) on the circumference of the figure. First harmony, similar harm, second harmony and contrast harmony are arranged in that order.
図６は、ムーン＆スペンサーの色調和論に基づいて作成された、基準色との色相、明度、彩度の差の点で、当該基準色の調和色又は不調和色の種類を特定するための基準を示している。
図６に示す表は行列構造を有しているため、以下、図６中横方向の項目の集合体を「行」と呼び、同図中縦方向の項目の集合体を「列」と呼ぶ。
図６の表では、「種類」、「色相差／角度」、「明度」、及び、「彩度」の各項目が、各行毎に対応付けられて配置されている。
即ち、所定の行の「種類」の項目には、基準色の調和色又は不調和色の種類が示されている。
当該所定の行の「色相差／角度」は、同一の行の最左方の「種類」の調和色又は不調和色についての、基準色との色相の差の範囲、及び、当該色相の差を図５の円周上の角度（基準色を０度）に換算した値の範囲が示されている。
当該所定の行の「明度」は、同一の行の最左方の「種類」の調和色又は不調和色についての、基準色との明度の差の範囲が示されている。
当該所定の行の「彩度」は、同一の行の最左方の「種類」の調和色又は不調和色についての、基準色との彩度の差の範囲が示されている。
具体的には例えば、図６の１行目に着目すると、基準色と比較して、「色相差／角度」が0乃至1j.n.d／±0度乃至１度の範囲内であり、「明度」が0乃至1j.n.dの範囲内であり、「彩度」が0乃至1j.n.dの範囲内である色が、「同一調和」という種類の調和色に分類される。
FIG. 6 is a diagram for identifying the type of harmony color or inharmonicity color of the reference color in terms of the difference in hue, brightness, and saturation from the reference color created based on the color harmony theory of Moon & Spencer. Shows the criteria.
Since the table shown in FIG. 6 has a matrix structure, the collection of items in the horizontal direction in FIG. 6 is called “row”, and the collection of items in the vertical direction in FIG. 6 is called “column”. .
In the table of FIG. 6, the items of “type”, “hue difference / angle”, “brightness”, and “saturation” are arranged in association with each row.
In other words, the item of “type” in the predetermined row indicates the type of the harmonic color or the non-harmonic color of the reference color.
The “hue difference / angle” of the predetermined row includes the range of the hue difference from the reference color and the difference of the hue with respect to the leftmost “kind” harmony color or inharmonic color of the same row. Is a range of values obtained by converting the angle into the angle on the circumference of FIG. 5 (the reference color is 0 degree).
The “lightness” of the predetermined row indicates the range of the difference in lightness from the reference color for the “kind” of the leftmost “kind” of the same row.
The “saturation” of the predetermined row indicates the range of the difference in saturation from the reference color for the “kind” of the leftmost “kind” of the same row.
Specifically, for example, focusing on the first line in FIG. 6, the “hue difference / angle” is in the range of 0 to 1j.nd / ± 0 degrees to 1 degree compared to the reference color, and “lightness "" Is in the range of 0 to 1j.nd, and colors in which "saturation" is in the range of 0 to 1j.nd are classified as a harmony color of the "same harmony" type.
図７は、ムーン＆スペンサーの色調和論に基づいて作成された、基準色との明度の差及び彩度の差の点で、当該基準の調和色及び不調和色を円形図示した概念図である。
明度の差及び彩度の差の点に着目した場合にも、図７の円周上の基準色の位置（最上位の位置）からみて左周り及び右周りにそれぞれ、同一調和、第一不明瞭、類似調和、第二不明瞭及び対比調和が、その順番で配置される。
FIG. 7 is a conceptual diagram created based on the color harmony theory of Moon & Spencer, in which the harmony color and the inharmonicity color of the reference are circularly illustrated in terms of brightness difference and saturation difference from the reference color. is there.
Even when paying attention to the difference in brightness and saturation, the same harmony and first inconsistency are observed in the counterclockwise and clockwise directions as viewed from the reference color position (the highest position) on the circumference in FIG. Clarity, similar harm, second ambiguity and contrast harmony are arranged in that order.
ここで、基準色としては、図２のＨＳＶ抽出部５３により抽出されたＨＳＶ値を有する、原画像の処理対象領域の色が採用される。即ち、調和色特定部５４は、図５乃至図７を参照して上述したムーン＆スペンサーの色調和論に基づいて、原画像の処理対象領域の色に対する調和色及び不調和色を特定する。すると、枠決定部５５は、このようにして特定された調和色及び不調和色に基づいて、原画像に付する枠を決定する。 Here, as the reference color, the color of the processing target area of the original image having the HSV value extracted by the HSV extraction unit 53 in FIG. 2 is employed. That is, the harmony color identification unit 54 identifies the harmony color and the inharmonicity color with respect to the color of the processing target area of the original image based on the color harmonization theory of the moon and spencer described above with reference to FIGS. Then, the frame determination part 55 determines the frame attached | subjected to an original image based on the harmony color and discordant color specified in this way.
このように、原画像に付する枠は、原画像の処理対象領域の色に対する調和色及び不調和色に基づいて決定されるため、原画像を効果的に表示できる枠を設定するためには、適切な処理対象領域の設定が必要になる。即ち、処理対象領域の設定は、構図解析部５２による原画像の構図の解析に基づいて行われるため、構図解析部５２に適用する構図の解析手法を適切にする必要がある。構図の解析手法としては、例えば、被写体を含む領域を処理対象領域として設定可能な、構図の解析手法を構図解析部５２に適用するとよい。この場合、処理対象領域の色は、主に被写体の色となるため、被写体の色に対する調和色や不調和色に基づく枠、即ち、被写体を含む原画像をより効果的に表示できる枠の設定が可能になる。具体的には例えば、被写体が人物である場合には、人物の顔を検出する任意の顔検出手法を、構図の解析手法として構図解析部５２に適用することができる。この場合、人物の顔の色、即ち肌色に対する調和色や不調和色に基づく枠、即ち人物を含む原画像をより効果的に表示できる枠の設定が可能になる。
また例えば、原画像の多くを占める領域等、原画像全体の印象を特徴付ける領域を処理対象領域として設定可能な、構図の解析手法を構図解析部５２に適用するとよい。この場合、例えば、原画像が風景画であるならば、当該風景画に写り込んでいる山や海等が処理対象領域となる。よって、山の緑色や海の青色等に対する調和色や不調和色に基づく枠、即ち山や海等を含む原画像をより効果的に表示できる枠の設定が可能になる。
As described above, since the frame attached to the original image is determined based on the harmonic color and the inharmonic color with respect to the color of the processing target area of the original image, in order to set a frame capable of effectively displaying the original image. Therefore, it is necessary to set an appropriate processing target area. That is, since the setting of the processing target area is performed based on the analysis of the composition of the original image by the composition analysis unit 52, it is necessary to make the composition analysis method applied to the composition analysis unit 52 appropriate. As a composition analysis method, for example, a composition analysis method that can set a region including a subject as a processing target region may be applied to the composition analysis unit 52. In this case, since the color of the processing target region is mainly the color of the subject, a frame based on a harmonic color or an inharmonic color with respect to the subject color, that is, a frame that can more effectively display the original image including the subject is set. Is possible. Specifically, for example, when the subject is a person, any face detection method for detecting a person's face can be applied to the composition analysis unit 52 as a composition analysis method. In this case, it is possible to set a frame based on the color of the person's face, that is, a harmony color or an inharmonic color with respect to the skin color, that is, a frame that can more effectively display the original image including the person.
Further, for example, a composition analysis method that can set a region that characterizes the impression of the entire original image, such as a region that occupies most of the original image, as the processing target region may be applied to the composition analysis unit 52. In this case, for example, if the original image is a landscape image, a mountain or sea reflected in the landscape image is the processing target area. Therefore, it is possible to set a frame based on a harmonious color or an unharmonic color with respect to the green of the mountain or the blue of the sea, that is, a frame that can more effectively display the original image including the mountain or the sea.
以上、図２乃至図７を参照して、本実施形態の画像出力装置１の機能的構成について説明した。
次にこのような機能的構成を有する画像出力装置１が実行する処理のうち枠付画像表示処理の流れについて説明する。
図８は、図２の機能的構成を有する図１の画像出力装置１が実行する枠付画像表示処理の流れを説明するフローチャートである。
The functional configuration of the image output apparatus 1 according to the present embodiment has been described above with reference to FIGS.
Next, the flow of the framed image display process among the processes executed by the image output apparatus 1 having such a functional configuration will be described.
FIG. 8 is a flowchart illustrating the flow of a framed image display process executed by the image output apparatus 1 of FIG. 1 having the functional configuration of FIG.
枠付画像表示処理は、本実施形態においては、ユーザが入力部１６を操作して枠付画像表示の指示をしたことを契機として開始される。 In this embodiment, the framed image display process is started when the user operates the input unit 16 to instruct the framed image display.
ステップＳ１において、画像取得部５１は、表示対象の画像のデータを取得したか否かを判定する。
表示対象の画像のデータが取得された場合には、ステップＳ１において、ＹＥＳであると判定されて、ステップＳ２に進む。
In step S <b> 1, the image acquisition unit 51 determines whether or not image data to be displayed has been acquired.
When data of an image to be displayed is acquired, it is determined as YES in Step S1, and the process proceeds to Step S2.
ステップＳ２において、構図解析部５２乃至枠決定部５５は、表示対象の画像を原画像として、原画像に付加する枠の画像を決定するまでの一連の処理（以下、「枠画像決定処理」と呼ぶ）を実行する。ステップＳ２の枠画像決定処理の流れの詳細については、図９を用いて後述する。 In step S2, the composition analysis unit 52 through the frame determination unit 55 use a display target image as an original image and a series of processes (hereinafter referred to as “frame image determination process”) until a frame image to be added to the original image is determined. Call). Details of the flow of the frame image determination process in step S2 will be described later with reference to FIG.
ステップＳ３において、枠付画像出力制御部５６は、原画像に対して枠の画像を付加するように各データを合成することで、枠付画像のデータを生成する。 In step S3, the framed image output control unit 56 generates framed image data by synthesizing each data so as to add a frame image to the original image.
ステップＳ４において、表示部４１は、枠付画像を表示する。 In step S4, the display unit 41 displays a framed image.
このようにしてステップＳ４の処理で枠付画像が表示されると、処理はステップＳ５に進む。或いはまた、表示対象の画像のデータが取得されなかった場合には、ステップＳ１においてＮＯであると判定されて、ステップＳ２乃至Ｓ４の処理は実行されずに、処理はステップＳ５に進む。 Thus, when the framed image is displayed in the process of step S4, the process proceeds to step S5. Alternatively, if the data of the display target image is not acquired, it is determined as NO in step S1, and the process proceeds to step S5 without performing the processes in steps S2 to S4.
ステップＳ５において、枠付画像出力制御部５６は、処理の終了指示があったか否かを判定する。詳細には、枠付画像出力制御部５６は、ユーザによる入力部１６への操作による処理の終了指示の有無を判定する。 In step S <b> 5, the framed image output control unit 56 determines whether an instruction to end the process has been given. Specifically, the framed image output control unit 56 determines whether or not there is an instruction to end the process by an operation on the input unit 16 by the user.
ユーザによる処理の終了指示が未だなされていない場合には、ステップＳ５においてＮＯであると判定されて、処理はステップＳ１に戻され、それ以降の処理が繰り返される。即ち、新たな表示対象の画像のデータが取得されると、ステップＳ１においてＹＥＳであると判定されて、ステップＳ２乃至Ｓ４の処理が実行される。これにより、新たな表示対象の画像に対して新たな枠が付された画像、即ち、新たな枠付画像が表示される。 If the user has not yet issued an instruction to end the process, it is determined as NO in step S5, the process returns to step S1, and the subsequent processes are repeated. That is, when new display target image data is acquired, it is determined as YES in step S1, and the processing of steps S2 to S4 is executed. As a result, an image with a new frame added to the new display target image, that is, a new framed image is displayed.
その後、処理の終了指示があった場合には、ステップＳ５においてＹＥＳであると判定されて、枠付画像表示処理は終了する。 Thereafter, when there is an instruction to end the process, it is determined as YES in Step S5, and the framed image display process ends.
次に、このような枠付画像表示処理のステップＳ２の枠画像決定処理の詳細について説明する。
図９は、図８の枠付画像表示処理のうち、ステップＳ２の枠画像決定処理の詳細を説明するフローチャートである。
上述したように、枠画像決定処理は、画像取得部５１により表示対象の画像のデータが取得され、ステップＳ１の処理でＹＥＳであると判定されたことを契機として、ステップＳ２の処理として開始される。
Next, details of the frame image determination process in step S2 of such a framed image display process will be described.
FIG. 9 is a flowchart illustrating details of the frame image determination process in step S2 in the framed image display process of FIG.
As described above, the frame image determination process is started as the process of step S2 when the data of the image to be displayed is acquired by the image acquisition unit 51 and determined to be YES in the process of step S1. The
ステップＳ２１において、構図解析部５２は、表示対象の画像のデータを原画像のデータとして用いて、当該原画像の構図を解析することによって、処理対象領域を決定する。 In step S <b> 21, the composition analysis unit 52 determines the processing target region by analyzing the composition of the original image using the data of the display target image as the original image data.
ステップＳ２２において、ＨＳＶ抽出部５３は、処理対象領域についての、色相、明度、及び彩度（ＨＳＶ値）を抽出する。 In step S22, the HSV extraction unit 53 extracts the hue, lightness, and saturation (HSV value) for the processing target region.
ステップＳ２３において、調和色特定部５４は、ＨＳＶ抽出部５３の抽出結果のうち、に色相に基づいて、処理対象領域についての、同一調和色、類似調和色、及び対比調和色の３種色を特定する。詳細には、調和色特定部５４は、ステップＳ２２の処理でＨＳＶ抽出部５３により抽出された処理対象領域の色相、明度、及び彩度（ＨＳＶ値）により特定される色を基準色として、基準色との色相の差の観点で、同一調和色、類似調和色、及び対比調和色の３種色に属する色を特定する。即ち、図５及び図６（ただし、図６の表では、「明度」及び「彩度」の項目は除く）を参照して、当該基準色に対する、同一調和色、類似調和色、及び対比調和色の３種色が特定される。 In step S <b> 23, the harmony color specifying unit 54 selects three kinds of colors of the same harmony color, the similar harmony color, and the contrast harmony color for the processing target region based on the hue among the extraction results of the HSV extraction unit 53. Identify. Specifically, the harmony color specifying unit 54 uses the color specified by the hue, brightness, and saturation (HSV value) of the processing target area extracted by the HSV extraction unit 53 in the process of step S22 as a reference color. From the viewpoint of the difference in hue from the color, the colors belonging to the three colors of the same harmony color, the similar harmony color, and the contrast harmony color are specified. That is, referring to FIG. 5 and FIG. 6 (however, in the table of FIG. 6, the items of “brightness” and “saturation” are excluded), the same harmony color, similar harmony color, and contrast harmony with respect to the reference color. Three types of colors are specified.
ステップＳ２４において、枠決定部５５は、３種色のうち少なくとも１種色の枠の画像のデータが存在するか否かを判定する。詳細には、枠決定部５５は、ステップＳ２３の処理で特定された同一調和色、類似調和色、及び対比調和色の３種色のうち、少なくとも１種色の枠の画像が記憶部１８に記憶されているか否かを判定する。 In step S <b> 24, the frame determination unit 55 determines whether there is image data of at least one color frame among the three colors. Specifically, the frame determining unit 55 stores in the storage unit 18 an image of at least one color frame among the three types of the same harmony color, the similar harmony color, and the contrast harmony color identified in the process of step S23. It is determined whether or not it is stored.
３種色のうち少なくとも１種色の枠の画像のデータが記憶部１８に記憶されている場合には、ステップＳ２４において、ＹＥＳと判定されて、ステップＳ２５に進む。 If the image data of the frame of at least one of the three colors is stored in the storage unit 18, YES is determined in step S24, and the process proceeds to step S25.
ステップＳ２５において、枠決定部５５は、３種色のうち少なくとも１種色の枠の画像として、複数の枠の画像のデータが存在するか否か、即ち記憶部１８に記憶されているか否かを判定する。
３種色のうち少なくとも１種色の枠の画像として、複数の枠の画像のデータが記憶部１８に記憶されている場合には、ステップＳ２５において、ＹＥＳであると判定されて、ステップＳ２６に進む。
In step S <b> 25, the frame determination unit 55 determines whether image data of a plurality of frames exists as an image of a frame of at least one of the three colors, that is, whether the data is stored in the storage unit 18. Determine.
When data of a plurality of frame images is stored in the storage unit 18 as a frame image of at least one of the three colors, it is determined as YES in step S25, and the process proceeds to step S26. move on.
ステップＳ２６において、枠決定部５５は、明度及び彩度に基づいて、１以上の枠の画像のデータを選択する。
即ち、上述したステップＳ２３の処理では、基準色との色相の差によって、同一調和色、類似調和色、及び対比調和色の３種色が特定されている。しかしながら、図６や図７に示すように、同一調和色、類似調和色、及び対比調和色の３種色の特定には、基準色との色相の差のみならず、基準色との明度の差及び彩度の差も考慮する必要がある。
従って、ステップＳ２６の処理では、色相の差によって特定された３種色のうち少なくとも１種類の枠の画像のデータが、明度の差及び彩度の差の点でも、３種類色に属する枠であるか否かが判断され、属すると判断された枠の画像のデータが選択される。
In step S26, the frame determination unit 55 selects image data of one or more frames based on the lightness and saturation.
That is, in the process of step S23 described above, three types of colors of the same harmony color, a similar harmony color, and a contrast harmony color are specified based on a difference in hue from the reference color. However, as shown in FIGS. 6 and 7, in order to specify the three colors of the same harmonious color, similar harmonious color, and contrast harmonious color, not only the difference in hue from the reference color but also the brightness of the reference color Differences and saturation differences also need to be considered.
Accordingly, in the process of step S26, the image data of at least one frame among the three colors specified by the difference in hue is a frame belonging to the three colors even in terms of brightness difference and saturation difference. It is determined whether or not it exists, and the image data of the frame determined to belong is selected.
ステップＳ２７において、枠決定部５５は、複数の枠の画像のデータが選択されたか否かを判定する。
ステップＳ２６の処理で複数の枠の画像のデータが選択された場合には、ステップＳ２７において、ＹＥＳであると判定されて、処理はステップＳ２８に進む。
In step S27, the frame determination unit 55 determines whether or not image data of a plurality of frames has been selected.
If image data of a plurality of frames is selected in the process of step S26, it is determined as YES in step S27, and the process proceeds to step S28.
ステップＳ２８において、枠決定部５５は、ユーザによる１枚の枠の画像の選択操作を受け付ける。
詳細には、枠決定部５５は、枠付画像出力制御部５６を介して、ステップＳ２７の処理で選択された複数の枠の画像のデータに基づいて、当該複数の枠の画像の各々を表示部４１に選択可能に表示させる。ユーザは、入力部１６を操作することによって、表示された複数の枠の画像の中から１枚の枠の画像を選択する。
In step S <b> 28, the frame determination unit 55 receives an operation for selecting an image of one frame by the user.
Specifically, the frame determination unit 55 displays each of the plurality of frame images based on the data of the plurality of frame images selected in step S27 via the framed image output control unit 56. The part 41 is displayed in a selectable manner. The user operates the input unit 16 to select one frame image from the displayed plurality of frame images.
このようにして、ステップＳ２６の処理で複数の枠の画像のデータが選択された場合には、ステップＳ２７においてＹＥＳであると判定されて、上述したステップＳ２８及びＳ２９の処理が実行される。これにより、ユーザにより選択された１枚の枠の画像のデータが選抜されたので、処理はステップＳ２９に進む。
これに対して、ステップＳ２６の処理で１枚の枠の画像のデータが選択された場合には、ステップＳ２７においてＮＯであると判定されて、処理はステップＳ２９に進む。即ち、ステップＳ２６の処理で１枚の枠の画像のデータが選択された場合には、１枚の枠の画像のデータを選抜する必要は特にないので、ステップＳ２８及びＳ２９の処理は実行されずに、処理はステップＳ２９に進む。
In this manner, when image data of a plurality of frames is selected in the process of step S26, it is determined as YES in step S27, and the processes of steps S28 and S29 described above are executed. Thereby, since the data of the image of one frame selected by the user is selected, the process proceeds to step S29.
On the other hand, when image data of one frame is selected in the process of step S26, it is determined as NO in step S27, and the process proceeds to step S29. That is, when the image data of one frame is selected in the process of step S26, it is not particularly necessary to select the image data of one frame, so the processes of steps S28 and S29 are not executed. The process proceeds to step S29.
ステップＳ２９において、枠決定部５５は、このようにして選抜された１枚の枠の画像のデータを付加対象として決定する。
これにより、枠画像決定処理は終了となる。即ち、図８の枠付画像表示処理のステップＳ２が終了し、処理は、ステップＳ３に進む。その結果、ステップＳ２９の処理で付加対象として決定された枠の画像が、原画像に付加されて表示される。
In step S29, the frame determining unit 55 determines the image data of one frame selected in this way as an addition target.
Thereby, the frame image determination process ends. That is, step S2 of the framed image display process in FIG. 8 ends, and the process proceeds to step S3. As a result, the frame image determined as the addition target in step S29 is added to the original image and displayed.
以上、色相の差によって特定された３種色のうち少なくとも１種色の枠の画像のデータが記憶部１８に記憶されていた場合の一連の処理、即ち、ステップＳ２４においてＹＥＳであると判定された場合のそれ以降の処理について説明した。
以下、３種色の何れの色の枠の画像のデータが存在しない場合、即ち、ステップＳ２４においてＮＯであると判定された場合のそれ以降の処理について説明する。
As described above, a series of processes when the image data of the frame of at least one color among the three colors specified by the difference in hue is stored in the storage unit 18, that is, it is determined as YES in Step S24. The subsequent processing in the case of the case has been described.
In the following, the subsequent processing when there is no frame data of any of the three colors, that is, when it is determined NO in step S24 will be described.
この場合、ステップＳ２４においてＮＯであると判定されると、処理はステップＳ３０に進む。
ステップＳ３０において、枠決定部５５は、無彩色の複数の枠の画像（白色、灰色、黒色の各枠の画像）の中から、ユーザによる１枚の枠の画像の選択操作を受け付ける。
詳細には、枠決定部５５は、枠付画像出力制御部５６を介して、無彩色の複数の枠の画像（白色、灰色、黒色の各枠の画像）のデータに基づいて、当該複数の枠の画像の各々を表示部４１に選択可能に表示させる。ユーザは、入力部１６を操作することによって、表示された複数の枠の画像の中から１枚の枠の画像を選択する。
In this case, if it is determined as NO in step S24, the process proceeds to step S30.
In step S <b> 30, the frame determination unit 55 accepts an operation for selecting one frame image by the user from among a plurality of achromatic frame images (white, gray, and black frame images).
Specifically, the frame determination unit 55, based on the data of a plurality of achromatic frame images (white, gray, and black frame images) via the framed image output control unit 56, Each of the frame images is displayed on the display unit 41 so as to be selectable. The user operates the input unit 16 to select one frame image from the displayed plurality of frame images.
ステップＳ２９において、枠決定部５５は、ステップＳ３０の処理で選択された１枚の枠の画像のデータを付加対象として決定する。
これにより、枠画像決定処理は終了となる。即ち、図８の枠付画像表示処理のステップＳ２が終了し、処理は、ステップＳ３に進む。その結果、ステップＳ２９の処理で付加対象として決定された枠の画像が、原画像に付加されて表示される。
In step S29, the frame determination unit 55 determines the image data of one frame selected in the process of step S30 as an addition target.
Thereby, the frame image determination process ends. That is, step S2 of the framed image display process in FIG. 8 ends, and the process proceeds to step S3. As a result, the frame image determined as the addition target in step S29 is added to the original image and displayed.
以上、本発明の第１実施形態に係る画像出力装置１について説明した。
次に、本発明の第２実施形態に係る画像出力装置１について説明する。
The image output apparatus 1 according to the first embodiment of the present invention has been described above.
Next, an image output apparatus 1 according to the second embodiment of the present invention will be described.
［第２実施形態］
本発明の第２実施形態に係る画像出力装置１は、第１実施形態に係る画像出力装置１と基本的に同様のハードウェア構成及び機能的構成を取ることができる。
従って、図１は、第２実施形態に係る画像出力装置１のハードウェアの構成を示すブロック図でもある。第２実施形態に係るは、第１実施形態と同様に、例えばデジタルフォトフレームにより構成することができる。
また、図２は、第２実施形態に係る画像出力装置１の機能的構成のうち、枠付画像表示処理を実行するための機能的構成を示す機能ブロック図でもある。
[Second Embodiment]
The image output apparatus 1 according to the second embodiment of the present invention can have basically the same hardware configuration and functional configuration as the image output apparatus 1 according to the first embodiment.
Therefore, FIG. 1 is also a block diagram showing a hardware configuration of the image output apparatus 1 according to the second embodiment. As in the first embodiment, the second embodiment can be configured by a digital photo frame, for example.
FIG. 2 is also a functional block diagram showing a functional configuration for executing a framed image display process among the functional configurations of the image output apparatus 1 according to the second embodiment.
さらに、第２実施形態に係る画像出力装置１が実行する枠付画像表示処理は、第１実施形態に係る枠付画像表示処理と基本的に同様の流れとなる。従って、図８は、第２実施形態に係る枠付画像表示処理の流れを説明するフローチャートでもある。
ただし、第２実施形態では、枠付画像表示処理のうちステップＳ２の枠画像決定処理については、第１実施形態で採用された図９のフローチャートではなく、図１０のフローチャートが採用される。
図１０は、図２の機能的構成を有する図１の画像出力装置１が実行する、第２実施形態に係る枠画像決定処理の流れを説明するフローチャートである。
Furthermore, the framed image display process executed by the image output apparatus 1 according to the second embodiment is basically the same as the framed image display process according to the first embodiment. Therefore, FIG. 8 is also a flowchart for explaining the flow of the framed image display processing according to the second embodiment.
However, in the second embodiment, the frame image determination process in step S2 of the framed image display process employs the flowchart of FIG. 10 instead of the flowchart of FIG. 9 employed in the first embodiment.
FIG. 10 is a flowchart illustrating the flow of a frame image determination process according to the second embodiment, which is executed by the image output apparatus 1 of FIG. 1 having the functional configuration of FIG.
上述した第１実施形態における図９の枠画像決定処理では、予め記憶されていた枠の画像のデータが、原画像の付加用に用いられていたのに対して、第２実施形態における図１０の枠画像処理では、枠の画像データが生成されて、原画像の付加用に用いられる点が差異点である。詳細には、第２実施形態では、第１実施形態に係るステップＳ２４乃至Ｓ２８の処理に代えて、ステップＳ４４の処理が実行される点が差異点である。
そこで、以下、このような差異点について主に説明し、一致点の説明は適宜省略する。
In the frame image determination process of FIG. 9 in the first embodiment described above, the data of the frame image stored in advance is used for adding the original image, whereas FIG. 10 in the second embodiment. In this frame image processing, the difference is that image data of the frame is generated and used for adding the original image. Specifically, the second embodiment is different in that the process of step S44 is executed instead of the processes of steps S24 to S28 according to the first embodiment.
Thus, hereinafter, such differences will be mainly described, and description of the coincident points will be omitted as appropriate.
枠画像決定処理は、画像取得部５１により表示対象の画像のデータが取得され、ステップＳ１の処理でＹＥＳであると判定されたことを契機として、ステップＳ２の処理として開始される。
この場合、第１実施形態におけるステップＳ２１乃至Ｓ２３の各処理と同様の、ステップＳ４１乃至Ｓ４３の処理が実行される。これにより、基準色（原画像の処理対象領域の色）との色相の差の観点で、当該基準色に対する、同一調和色、類似調和色、及び対比調和色の３種色が特定される。これにより、処理はステップＳ４４に進む。
The frame image determination process is started as the process of step S2 when the data of the image to be displayed is acquired by the image acquisition unit 51 and determined to be YES in the process of step S1.
In this case, the processes of steps S41 to S43 similar to the processes of steps S21 to S23 in the first embodiment are executed. Thereby, from the viewpoint of the difference in hue from the reference color (the color of the processing target area of the original image), three types of colors, the same harmony color, the similar harmony color, and the contrast harmony color, with respect to the reference color are specified. Thereby, a process progresses to step S44.
ステップＳ４４において、枠決定部５５は、３種色の各々の枠画像のデータを生成する。
なお、ステップＳ４３の処理では、第１実施形態のステップＳ２３の処理と同様に、基準色との色相の差によって、同一調和色、類似調和色、及び対比調和色の３種色が特定されている。しかしながら、図６や図７に示すように、同一調和色、類似調和色、及び対比調和色の３種色の特定には、基準色との色相の差のみならず、基準色との明度の差及び彩度の差も考慮する必要がある。
従って、ステップＳ４４の処理では、色相の差によって特定された３種色の各々に対して、さらに、明度の差及び彩度の差も考慮されて、具体的な３種類色の各々が決定されて、枠の画像のデータが生成される。
なお、原画像に付加される枠の画像は原則として１つであるため、３種類色のうちの所定の１種類色が予め決定され、枠決定部５５は、当該１種類色の枠の画像のデータのみを生成してもよい。或いは、３種類色の各々の枠の画像がユーザに表示され、ユーザが、入力部１６を操作して、所望の１枚の枠の画像を選択するようにしてもよい。
In step S44, the frame determination unit 55 generates data of the frame images of the three colors.
Note that, in the process of step S43, as in the process of step S23 of the first embodiment, three types of colors of the same harmony color, a similar harmony color, and a contrast harmony color are specified based on the difference in hue from the reference color. Yes. However, as shown in FIGS. 6 and 7, in order to specify the three colors of the same harmonious color, similar harmonious color, and contrast harmonious color, not only the difference in hue from the reference color but also the brightness of the reference color Differences and saturation differences also need to be considered.
Therefore, in the process of step S44, each of the three types of colors specified by the difference in hue is further considered in consideration of the difference in brightness and the difference in saturation, and each of the three specific colors is determined. Thus, frame image data is generated.
Since one frame image is added to the original image in principle, one predetermined color among the three types of colors is determined in advance, and the frame determination unit 55 determines the image of the frame of the one type color. Only the data may be generated. Alternatively, an image of each of the three types of frames may be displayed to the user, and the user may operate the input unit 16 to select a desired single frame image.
ステップＳ４５において、枠決定部５５は、ステップＳ４５の処理で生成した３種色の各々の枠の画像のデータのうちの所定の１つを付加対象として決定する。
これにより、第２実施形態の枠画像決定処理は終了となる。即ち、図８の枠付画像表示処理のステップＳ２が終了し、処理は、ステップＳ３に進む。その結果、ステップＳ２９の処理で付加対象として決定された枠の画像（新たに生成された枠の画像）が、原画像に付加されて表示される。
In step S45, the frame determining unit 55 determines a predetermined one of the image data of each of the three colors of frames generated in the process of step S45 as an addition target.
Thereby, the frame image determination process of the second embodiment is completed. That is, step S2 of the framed image display process in FIG. 8 ends, and the process proceeds to step S3. As a result, the frame image (newly generated frame image) determined as the addition target in step S29 is added to the original image and displayed.
以上、本発明の第２実施形態に係る画像出力装置１について説明した。
次に、本発明の第３実施形態に係る画像出力装置１について説明する。
The image output apparatus 1 according to the second embodiment of the present invention has been described above.
Next, an image output apparatus 1 according to a third embodiment of the present invention will be described.
［第３実施形態］
本発明の第３実施形態に係る画像出力装置１は、第１実施形態に係る画像出力装置１と基本的に同様のハードウェア構成及び機能的構成を取ることができる。
従って、図１は、第２実施形態に係る画像出力装置１のハードウェアの構成を示すブロック図でもある。第３実施形態に係るは、第１実施形態と同様に、例えばデジタルフォトフレームより構成することができる。
また、図２は、第２実施形態に係る画像出力装置１の機能的構成のうち、枠付画像表示処理を実行するための機能的構成を示す機能ブロック図でもある。
[Third Embodiment]
The image output apparatus 1 according to the third embodiment of the present invention can have basically the same hardware configuration and functional configuration as the image output apparatus 1 according to the first embodiment.
Therefore, FIG. 1 is also a block diagram showing a hardware configuration of the image output apparatus 1 according to the second embodiment. As in the first embodiment, the third embodiment can be configured from a digital photo frame, for example.
FIG. 2 is also a functional block diagram showing a functional configuration for executing a framed image display process among the functional configurations of the image output apparatus 1 according to the second embodiment.
ただし、第１実施形態に係る画像出力装置１が実行する枠付画像表示処理では、表示対象の画像は１枚（別の画像を表示するまでには明示の切り替え指示が必要）であった。これに対して、第３実施形態に係る画像出力装置１が実行する枠付画像表示処理では、表示対象は複数の画像であり、当該複数の画像が連続的に再生される。
このため、第３実施形態では、枠付画像表示処理については、第１実施形態で採用された図８のフローチャートではなく、図１１のフローチャートが採用される。
However, in the framed image display process executed by the image output apparatus 1 according to the first embodiment, the number of images to be displayed is one (an explicit switching instruction is required before another image is displayed). On the other hand, in the framed image display process executed by the image output apparatus 1 according to the third embodiment, the display target is a plurality of images, and the plurality of images are continuously reproduced.
Therefore, in the third embodiment, the framed image display process employs the flowchart of FIG. 11 instead of the flowchart of FIG. 8 employed in the first embodiment.
図１１は、図２の機能的構成を有する図１の画像出力装置１が実行する、第３実施形態に係る枠付画像表示処理の流れを説明するフローチャートである。 FIG. 11 is a flowchart for explaining the flow of a framed image display process according to the third embodiment, which is executed by the image output apparatus 1 of FIG. 1 having the functional configuration of FIG.
枠付画像表示処理は、本実施形態においては、ユーザが入力部１６を操作して枠付画像表示の指示をしたことを契機として開始される。 In this embodiment, the framed image display process is started when the user operates the input unit 16 to instruct the framed image display.
ステップＳ６１において、画像取得部５１は、表示対象の画像のデータを取得したか否かを判定する。
表示対象の画像のデータが取得された場合には、ステップＳ６１において、ＹＥＳである判定されて、ステップＳ６２に進む。
In step S <b> 61, the image acquisition unit 51 determines whether data of an image to be displayed has been acquired.
When data of an image to be displayed is acquired, YES is determined in step S61, and the process proceeds to step S62.
ステップＳ６２において、構図解析部５２乃至枠決定部５５は、枠画像決定処理を行う。
ステップＳ６２における枠決定部５５により枠画像決定処理の流れの詳細については、図１２を用いて、後述する。
In step S62, the composition analysis unit 52 through the frame determination unit 55 perform a frame image determination process.
Details of the flow of the frame image determination process by the frame determination unit 55 in step S62 will be described later with reference to FIG.
ステップＳ６３において、枠決定部５５は、再生パターンに従って、付加対象の枠画像を設定する。 In step S63, the frame determining unit 55 sets a frame image to be added according to the reproduction pattern.
ステップＳ６４において、枠付画像出力制御部５６は、表示対象の画像に対して、設定された枠画像を付加するように各データを合成することで、枠付画像のデータを生成する。 In step S64, the framed image output control unit 56 generates framed image data by synthesizing each data so as to add the set frame image to the display target image.
ステップＳ６５において、表示部４１は、枠付画像を表示する。 In step S65, the display unit 41 displays a framed image.
このようにしてステップＳ６５の処理で枠付画像が表示されると、処理はステップＳ６６に進む。或いはまた、表示対象の画像のデータが取得されなかった場合には、ステップＳ６６においてＮＯであると判定されて、ステップＳ６２乃至Ｓ６５の処理は実行されずに、処理はステップＳ６６に進む。 When the framed image is displayed in the process of step S65 in this way, the process proceeds to step S66. Alternatively, if the image data to be displayed is not acquired, it is determined as NO in step S66, and the process proceeds to step S66 without performing the processes in steps S62 to S65.
ステップＳ６６において、枠付画像出力制御部５６は、処理の終了指示があったか否かを判定する。詳細には、枠付画像出力制御部５６は、ユーザによる入力部１６への操作による処理の終了指示の有無を判定する。 In step S66, the framed image output control unit 56 determines whether or not an instruction to end the process has been given. Specifically, the framed image output control unit 56 determines whether or not there is an instruction to end the process by an operation on the input unit 16 by the user.
ユーザによる処理の終了指示が未だにされていない場合には、ステップＳ６６において、ＮＯであると判定されて、処理はステップＳ６１に戻され、それ以降の処理が繰り返えされる。即ち、新たな表示対象の画像のデータが取得されると、ステップＳ６１において、ＹＥＳであると判定されて、ステップＳ６２乃至Ｓ６５の処理が実行される。これにより、再生パターン毎の新たな表示対象の画像に対して、再生パターンに従った新たな枠が付された画像、即ち、新たな枠付画像が表示される。 If the user has not yet issued an instruction to end the process, it is determined as NO in step S66, the process returns to step S61, and the subsequent processes are repeated. That is, when new display target image data is acquired, it is determined as YES in step S61, and the processing of steps S62 to S65 is executed. As a result, an image with a new frame according to the reproduction pattern, that is, a new framed image is displayed on the new display target image for each reproduction pattern.
次に、このような枠付画像表示処理のステップＳ６２の枠画像決定処理の詳細について説明する。
図１２は、図１１の枠付画像表示処理のうち、ステップＳ６２の枠画像決定処理の詳細を説明するフローチャートである。
上述したように枠画像決定処理は、画像取得部５１により表示対象の画像のデータが取得されたと判定され、ステップＳ６１の処理でＹＥＳであること判定されたことを契機として、ステップＳ６２の処理として開始される。
Next, details of the frame image determination process in step S62 of such a framed image display process will be described.
FIG. 12 is a flowchart illustrating details of the frame image determination process in step S62 in the framed image display process of FIG.
As described above, the frame image determination process is performed as a process in step S62 when the image acquisition unit 51 determines that the data of the display target image has been acquired and the process in step S61 determines YES. Be started.
ステップＳ７１において、構図解析部５２は、表示対象の画像のデータを原画像のデータとして用いて、当該原画像の構図を解析することによって、処理対象領域を決定する。 In step S <b> 71, the composition analysis unit 52 determines the processing target region by analyzing the composition of the original image using the data of the display target image as the original image data.
ステップＳ７２において、ＨＳＶ抽出部５３は、処理対象領域についての、色相、明度、及び彩度（ＨＳＶ値）を抽出する。 In step S72, the HSV extraction unit 53 extracts the hue, brightness, and saturation (HSV value) for the processing target region.
ステップＳ７３において、調和色特定部５４は、ＨＳＶ抽出部５３の抽出結果のうち、に色相に基づいて、処理対象領域についての、同一調和色、類似調和色、及び対比調和色の３種色を特定する。詳細には、調和色特定部５４は、ステップＳ２２の処理でＨＳＶ抽出部５３により抽出された処理対象領域の色相、明度、及び彩度（ＨＳＶ値）により特定される色を基準色として、基準色との色相の差の観点で、同一調和色、類似調和色、及び対比調和色の３種色に属する色を特定する。即ち、図５及び図６（ただし、図６の表では、「明度」及び「彩度」の項目は除く）を参照して、当該基準色に対する、同一調和色、類似調和色、及び対比調和色の３種色が特定される。 In step S <b> 73, the harmony color specifying unit 54 selects three kinds of colors of the same harmony color, the similar harmony color, and the contrast harmony color for the processing target region based on the hue among the extraction results of the HSV extraction unit 53. Identify. Specifically, the harmony color specifying unit 54 uses the color specified by the hue, brightness, and saturation (HSV value) of the processing target area extracted by the HSV extraction unit 53 in the process of step S22 as a reference color. From the viewpoint of the difference in hue from the color, the colors belonging to the three colors of the same harmony color, the similar harmony color, and the contrast harmony color are specified. That is, referring to FIG. 5 and FIG. 6 (however, in the table of FIG. 6, the items of “brightness” and “saturation” are excluded), the same harmony color, similar harmony color, and contrast harmony with respect to the reference color. Three types of colors are specified.
ステップＳ７４において、枠決定部５５は、３種色の各々に対して、複数パターンの枠画像のデータの各々を生成する。
なお、ステップＳ７３の処理では、第１実施形態のステップＳ２３の処理と同様に、基準色との色相の差によって、同一調和色、類似調和色、及び対比調和色の３種色が特定されている。しかしながら、図６や図７に示すように、同一調和色、類似調和色、及び対比調和色の３種色の特定には、基準色との色相の差のみならず、基準色との明度の差及び彩度の差も考慮する必要がある。
従って、ステップＳ７４の処理では、色相の差によって特定された３種色の各々に対して、さらに、明度の差及び彩度の差も考慮されて、具体的な３種類色の各々が決定されて、枠の画像のデータが生成される。
なお、原画像に付加される枠の画像は原則として１つであるため、３種類色のうちの所定の１種類色が予め決定され、枠決定部５５は、当該１種類色の枠の画像のデータのみを生成してもよい。或いは、３種類色の各々の枠の画像がユーザに表示され、ユーザが、入力部１６を操作して、所望の１枚の枠の画像を選択するようにしてもよい。
In step S <b> 74, the frame determination unit 55 generates a plurality of patterns of frame image data for each of the three colors.
Note that, in the process of step S73, as in the process of step S23 of the first embodiment, three types of colors of the same harmony color, a similar harmony color, and a contrast harmony color are specified by the difference in hue from the reference color. Yes. However, as shown in FIGS. 6 and 7, in order to specify the three colors of the same harmonious color, similar harmonious color, and contrast harmonious color, not only the difference in hue from the reference color but also the brightness of the reference color Differences and saturation differences also need to be considered.
Therefore, in the process of step S74, each of the three types of colors specified by the difference in hue is further determined in consideration of the difference in brightness and the difference in saturation. Thus, frame image data is generated.
Since one frame image is added to the original image in principle, one predetermined color among the three types of colors is determined in advance, and the frame determination unit 55 determines the image of the frame of the one type color. Only the data may be generated. Alternatively, an image of each of the three types of frames may be displayed to the user, and the user may operate the input unit 16 to select a desired single frame image.
ステップＳ７５において、枠決定部５５は、３種色の各々に対して生成した複数パターンの枠画像のデータの再生順番を示す再生パターンを設定する。これにより、第３実施形態の枠画像決定処理は終了となる。即ち、図１１の枠付画像表示処理のステップＳ６２が終了し、処理は、ステップＳ６３に進む。その結果、ステップＳ６３の処理で付加対象として決定された枠の画像（新たに生成された枠の画像）が、原画像に付加されて表示される。 In step S75, the frame determination unit 55 sets a reproduction pattern indicating the reproduction order of data of a plurality of pattern frame images generated for each of the three colors. Thereby, the frame image determination process of the third embodiment is completed. That is, step S62 of the framed image display process in FIG. 11 ends, and the process proceeds to step S63. As a result, the frame image (newly generated frame image) determined as the addition target in step S63 is added to the original image and displayed.
以上説明したように、上記第１乃至第３実施形態における画像出力装置１は、画像取得部５１と、構図解析部５２と、ＨＳＶ抽出部５３と、枠決定部５５と、枠付画像出力制御部５６と、を備える。
画像取得部５１は、表示対象の画像を原画像のデータとして取得する。
構図解析部５２は、画像取得部５１により取得された原画像のデータに基づいて、当該原画像の構図を解析することによって、原画像内の処理対象領域を決定する。
ＨＳＶ抽出部５３は、構図解析部５２により決定された処理対象領域についての、色彩、明度、及び彩度（ＨＳＶ値）を抽出する。
枠決定部５５は、ＨＳＶ抽出部５３による抽出結果に基づいて、原画像の周囲を取り囲む範囲の色を決定する。
枠付画像出力制御部５６は、枠決定部５５により決定された色で原画像を取り込んで表示部４１に表示されるように、原画像のデータの出力を制御する。
As described above, the image output apparatus 1 in the first to third embodiments includes the image acquisition unit 51, the composition analysis unit 52, the HSV extraction unit 53, the frame determination unit 55, and the framed image output control. Part 56.
The image acquisition unit 51 acquires an image to be displayed as original image data.
The composition analysis unit 52 determines the processing target area in the original image by analyzing the composition of the original image based on the data of the original image acquired by the image acquisition unit 51.
The HSV extraction unit 53 extracts the color, lightness, and saturation (HSV value) for the processing target area determined by the composition analysis unit 52.
The frame determination unit 55 determines the color of the range surrounding the original image based on the extraction result by the HSV extraction unit 53.
The framed image output control unit 56 controls the output of the original image data so that the original image is captured in the color determined by the frame determination unit 55 and displayed on the display unit 41.
従って、第１乃至第３実施形態における画像出力装置１においては、表示対象の原画像の処理対象の色にとって適切な色の枠の画像が決定され、当該枠の画像が原画像に付加されて表示部４１に表示される。
このようにして、第１乃至第３実施形態における画像出力装置１においては、表示対象の原画像を、より効果的に表示することができる枠の画像を付加することが可能になる。
Therefore, in the image output device 1 in the first to third embodiments, an image of a frame having a color suitable for the processing target color of the original image to be displayed is determined, and the image of the frame is added to the original image. It is displayed on the display unit 41.
In this manner, in the image output apparatus 1 in the first to third embodiments, it is possible to add a frame image that can more effectively display the original image to be displayed.
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。 In addition, this invention is not limited to the above-mentioned embodiment, The deformation | transformation in the range which can achieve the objective of this invention, improvement, etc. are included in this invention.
上述の実施形態では、画像のデータから直接的に読み取れる色の情報に基づいて、調和色等が決定されたが、特にこれに限られず、例えば、画像のデータから副次的に読み取れる情報に基づいて、調和色等を決定するようにしてもよい。具体的には例えば、山の風景画が原画像である場合、茶色や黄色等が多く見られるときは、季節が「秋」であるという副次的な情報が読み取られる。この場合、各季節毎に、その季節にとって調和する色が調和色として対応付けられていれば、「秋」に対応する調和色を、当該原画像に付加する枠の色として決定することができる。 In the above-described embodiment, the harmony color or the like is determined based on the color information that can be directly read from the image data. However, the present invention is not limited to this. Thus, a harmonious color or the like may be determined. Specifically, for example, when a mountain landscape is an original image, when a large amount of brown or yellow is seen, secondary information indicating that the season is “autumn” is read. In this case, if a color that harmonizes with the season is associated as a harmonious color for each season, the harmonious color corresponding to “autumn” can be determined as the color of the frame added to the original image. .
また、上述の実施形態では、枠の色は調和色が採用されたが、特にこれに限られない。例えば、不調和色を枠の色として採用することも可能である。この場合、表示対象の原画像を引き立たせるようなプラスの効果があるような不調和色であってもよいし、逆に、表示対象の原画像が引き立たなくなるようなマイナスの効果があるような不調和色であってもよい。 In the above-described embodiment, a harmonious color is adopted as the color of the frame, but it is not limited to this. For example, an incongruent color can be adopted as the frame color. In this case, the color may be incongruent so as to have a positive effect that enhances the original image to be displayed, and conversely, such a negative effect that the original image to be displayed does not become more attractive. It may be an incongruent color.
また、上述の実施形態では、原画像に付加される枠は、画像とされたが、特にこれに限定されない。即ち、原画像を取り囲み、かつ、色が変化する対象であれば、枠として採用することができる。例えば、表示部４１の周囲に配置される複数のＬＥＤからなるＬＥＤ部４２（図１）を枠として設定することができる。 In the above-described embodiment, the frame added to the original image is an image, but is not particularly limited thereto. In other words, any object that surrounds the original image and whose color changes can be adopted as a frame. For example, the LED unit 42 (FIG. 1) composed of a plurality of LEDs arranged around the display unit 41 can be set as a frame.
この場合、本発明に係る画像出力装置１の枠付画像出力制御部５６は、原画像のデータを表示部４１に出力する制御を実行するとともに、さらに、ＬＥＤ部４２の発光状態の制御を実行する。これにより、発光状態が制御されたＬＥＤ部４２が枠として付加された状態で、原画像を表示部４１に表示される。 In this case, the frame-attached image output control unit 56 of the image output apparatus 1 according to the present invention executes control to output the original image data to the display unit 41 and further controls the light emission state of the LED unit 42. To do. As a result, the original image is displayed on the display unit 41 in a state where the LED unit 42 whose light emission state is controlled is added as a frame.
また、上述の実施形態では、画像出力装置１は、表示部４１により表示対象の画像を表示して出力したが、特にこれに限られない。画像出力装置１の出力は、例えば、印刷により行われるように構成してもよい。 In the above-described embodiment, the image output apparatus 1 displays and outputs an image to be displayed by the display unit 41, but is not limited thereto. The output of the image output apparatus 1 may be configured to be performed by printing, for example.
また、上述の実施形態では、枠の色を決定する場合には、図３及び図４に示すマンセル・カラー・システム（Ｍｕｎｓｅｌｌ Ｃｏｌｌｏｒ Ｓｙｓｔｅｍ）が採用されていたが、特にこれに限られず、色を定量的に表すことができる任意の表色系を採用することができる。 In the above-described embodiment, when the color of the frame is determined, the Munsell Color System (Munsell Color System) shown in FIGS. 3 and 4 is adopted, but the color is not limited to this. Any color system that can be expressed quantitatively can be employed.
また、上述の実施形態では、本発明が適用される画像出力装置１は、デジタルフォトフレームを例として説明したが、特にこれに限定されない。本発明は、原画像を、より効果的に表示することができる枠とともに画像を出力することができればよく、電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビ、ビデオカメラ、携帯型ナビゲーション装置、携帯電話装置、ポータブルゲーム機等に適用可能である。 In the above-described embodiment, the image output apparatus 1 to which the present invention is applied has been described using a digital photo frame as an example, but is not particularly limited thereto. The present invention only needs to be able to output an image together with a frame capable of more effectively displaying the original image, and can be applied to electronic devices in general. Specifically, for example, the present invention can be applied to a notebook personal computer, a printer, a television, a video camera, a portable navigation device, a cellular phone device, a portable game machine, and the like.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像出力装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。 The series of processes described above can be executed by hardware or can be executed by software. For example, the series of processes described above can be executed by hardware or can be executed by software. In other words, the functional configuration of FIG. 2 is merely an example and is not particularly limited. That is, it is sufficient that the image output apparatus 1 has a function capable of executing the above-described series of processes as a whole, and what kind of functional blocks are used to realize this function is not particularly limited to the example of FIG. . In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。 When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium. The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１８に含まれるハードディスク等で構成される。 The recording medium including such a program is not only constituted by the removable medium 31 of FIG. 1 distributed separately from the apparatus main body in order to provide the program to the user, but also in a state of being incorporated in the apparatus main body in advance. The recording medium etc. provided in The removable medium 31 is composed of, for example, a magnetic disk (including a floppy disk), an optical disk, a magneto-optical disk, or the like. The optical disk is composed of, for example, a CD-ROM (Compact Disk-Read Only Memory), a DVD (Digital Versatile Disk), or the like. The magneto-optical disk is configured by an MD (Mini-Disk) or the like. In addition, the recording medium provided to the user in a state of being incorporated in advance in the apparatus main body includes, for example, the ROM 12 in FIG. 1 in which the program is recorded, the hard disk included in the storage unit 18 in FIG.
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。 In addition, in this specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定することは意図していない。本発明はその他の様々な実施の形態を取ることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、本明細書や図面に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are merely illustrative and are not intended to limit the technical scope of the present invention. The present invention can take other various embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in the present specification and drawings, and are included in the invention described in the claims and equivalents thereof.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
原画像の画像データを取得する取得手段と、
前記取得手段により取得された前記画像データに基づいて、前記原画像の構図を解析することによって、当該原画像内の処理対象の領域を決定する解析手段と、
前記解析手段により処理対象として決定された領域についての、色彩、明度、及び彩度を抽出する抽出手段と、
前記抽出手段による抽出結果に基づいて、前記原画像の周囲を取り囲む範囲の色を決定する決定手段と、
前記決定手段により決定された色で前記原画像を取り囲んで表示されるように、画像データの出力を制御する出力制御手段と、
を備えることを特徴とする画像出力装置。
［付記２］
前記決定手段は、前記原画像の周囲を取り囲む範囲の色とともにこの色で表示される枠の画像データを決定し、
前記出力制御手段は、前記枠の画像データと前記原画像の画像データとを合成することによって、前記枠が付加された前記原画像の合成画像データを生成して、前記合成画像データの出力を制御する、
ことを特徴とする付記１に記載の画像出力装置。
［付記３］
前記原画像を表示する表示手段と、
前記表示手段の周囲に設けられる複数種の発光色で発光する発光手段と、
前記出力制御手段は、前記決定手段によって決定された色で発光するよう前記発光手段を制御する発光色制御手段を含む
ことを特徴とする付記１に記載の画像出力装置。
［付記４］
前記抽出手段による抽出結果に基づいて、前記解析手段により処理対象として決定された領域との調和色を特定する特定手段をさらに備え、
前記決定手段は、前記特定手段により特定された前記調和色を、前記原画像の周囲を取り囲む範囲の色として決定する、
ことを特徴とする付記１乃至３の何れか１項に記載の画像出力装置。
［付記５］
前記解析手段は、前記原画像の構図を解析することによって、当該原画像内に含まれる顔を検出し、当該顔を含む領域を、処理対象の領域として決定する、
ことを特徴とする付記１乃至４の何れか１項に記載の画像出力装置。
［付記６］
前記決定手段は、前記解析手段によって決定された処理対象の領域を強調する枠を、前記原画像に付加する枠として決定する、
ことを特徴とする付記１乃至５の何れか１項に記載の画像出力装置。
［付記７］
原画像の画像データを取得する取得ステップと、
前記取得ステップの処理により取得された前記画像データに基づいて、前記原画像の構図を解析することによって、当該原画像内の処理対象の領域を決定する解析ステップと、
前記解析ステップの処理により処理対象として決定された領域についての、色彩、明度、及び彩度を抽出する抽出ステップと、
前記抽出ステップの処理による抽出結果に基づいて、前記原画像の周囲を取り囲む範囲の色を決定する決定ステップと、
前記決定ステップの処理により決定された色で前記原画像を取り囲んで表示されるように、画像データの出力を制御する出力制御ステップと、
を含むことを特徴とする画像出力方法。
［付記８］
原画像の画像データを取得する取得機能と、
前記取得機能の発揮により取得された前記画像データに基づいて、前記原画像の構図を解析することによって、当該原画像内の処理対象の領域を決定する解析機能と、
前記解析機能の発揮により処理対象として決定された領域についての、色彩、明度、及び彩度を抽出する抽出機能と、
前記抽出機能の発揮による抽出結果に基づいて、前記原画像の周囲を取り囲む範囲の色を決定する決定機能と、
前記決定機能の発揮により決定された色で前記原画像を取り囲んで表示されるように、画像データの出力を制御する出力制御機能と、
をコンピュータに実現させることを特徴とするプログラム。
The invention described in the scope of claims at the beginning of the filing of the present application will be appended.
[Appendix 1]
Acquisition means for acquiring image data of the original image;
Analysis means for determining a region to be processed in the original image by analyzing the composition of the original image based on the image data acquired by the acquisition means;
Extraction means for extracting color, brightness, and saturation for the area determined as the processing target by the analysis means;
Determining means for determining a color of a range surrounding the original image based on an extraction result by the extracting means;
Output control means for controlling the output of image data so as to surround and display the original image in the color determined by the determination means;
An image output apparatus comprising:
[Appendix 2]
The determining means determines the image data of the frame displayed in this color together with the color of the range surrounding the original image,
The output control unit generates composite image data of the original image to which the frame is added by combining the image data of the frame and the image data of the original image, and outputs the composite image data. Control,
The image output apparatus according to appendix 1, wherein:
[Appendix 3]
Display means for displaying the original image;
A light emitting means for emitting light in a plurality of kinds of light emission colors provided around the display means;
The image output apparatus according to appendix 1, wherein the output control means includes a light emission color control means for controlling the light emission means to emit light in a color determined by the determination means.
[Appendix 4]
Based on the extraction result by the extracting means, further comprising a specifying means for specifying a harmonious color with the region determined as a processing target by the analyzing means,
The determining unit determines the harmonic color specified by the specifying unit as a color in a range surrounding the original image;
The image output device according to any one of appendices 1 to 3, wherein
[Appendix 5]
The analyzing unit detects a face included in the original image by analyzing the composition of the original image, and determines a region including the face as a processing target region;
The image output apparatus according to any one of appendices 1 to 4, wherein the image output apparatus is characterized in that
[Appendix 6]
The determining unit determines a frame for emphasizing the processing target area determined by the analyzing unit as a frame to be added to the original image;
6. The image output device according to any one of appendices 1 to 5, wherein
[Appendix 7]
An acquisition step of acquiring image data of the original image;
Based on the image data acquired by the processing of the acquisition step, by analyzing the composition of the original image, an analysis step of determining a region to be processed in the original image;
An extraction step for extracting color, brightness, and saturation for the region determined as a processing target by the processing of the analysis step;
A determination step of determining a color of a range surrounding the original image based on an extraction result obtained by the extraction step;
An output control step for controlling output of image data so as to surround and display the original image in the color determined by the processing of the determination step;
An image output method comprising:
[Appendix 8]
An acquisition function to acquire the image data of the original image;
Based on the image data acquired by exhibiting the acquisition function, by analyzing the composition of the original image, an analysis function for determining a region to be processed in the original image;
An extraction function for extracting color, brightness, and saturation for an area determined as a processing target by exhibiting the analysis function;
A determination function for determining a color of a range surrounding the original image based on an extraction result obtained by the extraction function;
An output control function for controlling the output of image data so as to surround and display the original image in a color determined by demonstrating the determination function;
A program characterized by causing a computer to realize.
１・・・画像出力装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・入力部、１７・・・出力部、１８・・・記憶部、１９・・・通信部、２０・・・ドライブ、３１・・・リムーバブルメディア、４１・・表示部、４２・・・ＬＥＤ部、５１・・・画像取得部、５２・・・構図解析部、５３・・・ＨＳＶ抽出部、５４・・・調和色特定部、５５・・・枠決定部、５６・・・枠付画像出力制御部 DESCRIPTION OF SYMBOLS 1 ... Image output device, 11 ... CPU, 12 ... ROM, 13 ... RAM, 14 ... Bus, 15 ... Input / output interface, 16 ... Input part, 17 ... Output unit 18 ... Storage unit 19 ... Communication unit 20 ... Drive 31 ... Removable media 41 ... Display unit 42 ... LED unit 51 ... Image acquisition , 52... Composition analysis unit, 53... HSV extraction unit, 54... Harmonic color identification unit, 55... Frame determination unit, 56.
Claims (8)
前記取得手段により取得された前記画像データに基づいて、前記原画像の構図を解析することによって、当該原画像内の処理対象の領域を決定する解析手段と、
前記解析手段により処理対象として決定された領域についての、色彩、明度、及び彩度を抽出する抽出手段と、
前記抽出手段による抽出結果に基づいて、前記原画像の周囲を取り囲む範囲の色を決定する決定手段と、
前記決定手段により決定された色で前記原画像を取り囲んで表示されるように、画像データの出力を制御する出力制御手段と、
を備えることを特徴とする画像出力装置。 Acquisition means for acquiring image data of the original image;
Analysis means for determining a region to be processed in the original image by analyzing the composition of the original image based on the image data acquired by the acquisition means;
Extraction means for extracting color, brightness, and saturation for the area determined as the processing target by the analysis means;
Determining means for determining a color of a range surrounding the original image based on an extraction result by the extracting means;
Output control means for controlling the output of image data so as to surround and display the original image in the color determined by the determination means;
An image output apparatus comprising:
前記出力制御手段は、前記枠の画像データと前記原画像の画像データとを合成することによって、前記枠が付加された前記原画像の合成画像データを生成して、前記合成画像データの出力を制御する、
ことを特徴とする請求項１に記載の画像出力装置。 The determining means determines the image data of the frame displayed in this color together with the color of the range surrounding the original image,
The output control unit generates composite image data of the original image to which the frame is added by combining the image data of the frame and the image data of the original image, and outputs the composite image data. Control,
The image output apparatus according to claim 1.
前記表示手段の周囲に設けられる複数種の発光色で発光する発光手段と、
前記出力制御手段は、前記決定手段によって決定された色で発光するよう前記発光手段を制御する発光色制御手段を含む、
ことを特徴とする請求項１に記載の画像出力装置。 Display means for displaying the original image;
A light emitting means for emitting light in a plurality of kinds of light emission colors provided around the display means;
The output control means includes a light emission color control means for controlling the light emission means to emit light with the color determined by the determination means,
The image output apparatus according to claim 1.
前記決定手段は、前記特定手段により特定された前記調和色を、前記原画像の周囲を取り囲む範囲の色として決定する、
ことを特徴とする請求項１乃至３の何れか１項に記載の画像出力装置。 Based on the extraction result by the extracting means, further comprising a specifying means for specifying a harmonious color with the region determined as a processing target by the analyzing means,
The determining unit determines the harmonic color specified by the specifying unit as a color in a range surrounding the original image;
The image output apparatus according to claim 1, wherein the image output apparatus is an image output apparatus.
ことを特徴とする請求項１乃至４の何れか１項に記載の画像出力装置。 The analyzing unit detects a face included in the original image by analyzing the composition of the original image, and determines a region including the face as a processing target region;
The image output apparatus according to claim 1, wherein the image output apparatus is an image output apparatus.
ことを特徴とする請求項１乃至５の何れか１項に記載の画像出力装置。 The determining unit determines a frame for emphasizing the processing target area determined by the analyzing unit as a frame to be added to the original image;
The image output apparatus according to claim 1, wherein the image output apparatus is an image output apparatus.
前記取得ステップの処理により取得された前記画像データに基づいて、前記原画像の構図を解析することによって、当該原画像内の処理対象の領域を決定する解析ステップと、
前記解析ステップの処理により処理対象として決定された領域についての、色彩、明度、及び彩度を抽出する抽出ステップと、
前記抽出ステップの処理による抽出結果に基づいて、前記原画像の周囲を取り囲む範囲の色を決定する決定ステップと、
前記決定ステップの処理により決定された色で前記原画像を取り囲んで表示されるように、画像データの出力を制御する出力制御ステップと、
を含むことを特徴とする画像出力方法。 An acquisition step of acquiring image data of the original image;
Based on the image data acquired by the processing of the acquisition step, by analyzing the composition of the original image, an analysis step of determining a region to be processed in the original image;
An extraction step for extracting color, brightness, and saturation for the region determined as a processing target by the processing of the analysis step;
A determination step of determining a color of a range surrounding the original image based on an extraction result obtained by the extraction step;
An output control step for controlling output of image data so as to surround and display the original image in the color determined by the processing of the determination step;
An image output method comprising:
前記取得機能の発揮により取得された前記画像データに基づいて、前記原画像の構図を解析することによって、当該原画像内の処理対象の領域を決定する解析機能と、
前記解析機能の発揮により処理対象として決定された領域についての、色彩、明度、及び彩度を抽出する抽出機能と、
前記抽出機能の発揮による抽出結果に基づいて、前記原画像の周囲を取り囲む範囲の色を決定する決定機能と、
前記決定機能の発揮により決定された色で前記原画像を取り囲んで表示されるように、画像データの出力を制御する出力制御機能と、
をコンピュータに実現させることを特徴とするプログラム。 An acquisition function to acquire the image data of the original image;
Based on the image data acquired by exhibiting the acquisition function, by analyzing the composition of the original image, an analysis function for determining a region to be processed in the original image;
An extraction function for extracting color, brightness, and saturation for an area determined as a processing target by exhibiting the analysis function;
A determination function for determining a color of a range surrounding the original image based on an extraction result obtained by the extraction function;
An output control function for controlling the output of image data so as to surround and display the original image in a color determined by demonstrating the determination function;
A program characterized by causing a computer to realize.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011007297A JP2012151572A (en) | 2011-01-17 | 2011-01-17 | Image output device, image output method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011007297A JP2012151572A (en) | 2011-01-17 | 2011-01-17 | Image output device, image output method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012151572A true JP2012151572A (en) | 2012-08-09 |
| JP2012151572A5 JP2012151572A5 (en) | 2014-01-30 |
Family
ID=46793433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011007297A Pending JP2012151572A (en) | 2011-01-17 | 2011-01-17 | Image output device, image output method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012151572A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013219591A (en) * | 2012-04-10 | 2013-10-24 | Nikon Systems Inc | Image processing device and image processing program |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001037728A (en) * | 1999-06-23 | 2001-02-13 | Pulsion Medical Systems Ag | Intraaortic balloon catheter system and measurement of thermodilution cardiac output |
| JP2002218218A (en) * | 2001-01-19 | 2002-08-02 | Fuji Photo Film Co Ltd | Image synthesizer |
| JP2004537901A (en) * | 2001-07-31 | 2004-12-16 | ヒューレット・パッカード・カンパニー | Automatic frame selection and layout of one or more images and generation of images bounded by frames |
| JP2005108137A (en) * | 2003-10-02 | 2005-04-21 | Seiko Epson Corp | Selection of decorative image |
| JP2005110159A (en) * | 2003-10-02 | 2005-04-21 | Seiko Epson Corp | Generation of decorative image |
| JP2005117437A (en) * | 2003-10-09 | 2005-04-28 | Seiko Epson Corp | Blocked decorative image |
-
2011
- 2011-01-17 JP JP2011007297A patent/JP2012151572A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001037728A (en) * | 1999-06-23 | 2001-02-13 | Pulsion Medical Systems Ag | Intraaortic balloon catheter system and measurement of thermodilution cardiac output |
| JP2002218218A (en) * | 2001-01-19 | 2002-08-02 | Fuji Photo Film Co Ltd | Image synthesizer |
| JP2004537901A (en) * | 2001-07-31 | 2004-12-16 | ヒューレット・パッカード・カンパニー | Automatic frame selection and layout of one or more images and generation of images bounded by frames |
| JP2005108137A (en) * | 2003-10-02 | 2005-04-21 | Seiko Epson Corp | Selection of decorative image |
| JP2005110159A (en) * | 2003-10-02 | 2005-04-21 | Seiko Epson Corp | Generation of decorative image |
| JP2005117437A (en) * | 2003-10-09 | 2005-04-28 | Seiko Epson Corp | Blocked decorative image |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013219591A (en) * | 2012-04-10 | 2013-10-24 | Nikon Systems Inc | Image processing device and image processing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6381215B2 (en) | Image processing apparatus, image processing method, display apparatus, display apparatus control method, and program | |
| JP4329475B2 (en) | Decorative image selection | |
| JP2014022801A (en) | Image processing apparatus, information processing method, information processing program | |
| CN105874786B (en) | Image processing apparatus, image processing method and computer readable recording medium storing program for performing | |
| JP2008234124A (en) | Representative color extraction method and representative color extracting device | |
| JP2011199671A (en) | Image processing apparatus, method and program | |
| JP2013025329A (en) | Object display device, object display method and object display program | |
| US20080144929A1 (en) | Apparatus and method of reproducing preferred color | |
| JP2016142988A (en) | Display device and display control program | |
| JP2005117407A (en) | Image processor | |
| JP2020109914A (en) | Information processing device and information processing method | |
| JP2011205380A (en) | Image processing apparatus | |
| JP2012151572A (en) | Image output device, image output method, and program | |
| JP2013141200A (en) | Image processor, program, image processing method, and imaging apparatus | |
| US8922580B2 (en) | Method and system to modify a color lookup table | |
| US10602112B2 (en) | Image processing apparatus | |
| RU2004117830A (en) | METHOD FOR CONVERTING IMAGES | |
| CN113706665B (en) | Image processing method and device | |
| JP2014175733A (en) | Image reproduction apparatus and image reproduction program | |
| JP2018139387A (en) | Image processing device, method of controlling the same, display device comprising image processing device, program, and storage medium | |
| JP2013143725A (en) | Image display device, image display method, and program | |
| CN102654919A (en) | Image processing device, image processing method and storage medium | |
| JP6347731B2 (en) | Screen parts generator | |
| JP5761386B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5459072B2 (en) | Image processing apparatus, image processing method, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131211 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131211 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141127 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150210 |