JP3915784B2 - Image arrangement apparatus and method - Google Patents

Image arrangement apparatus and method Download PDF

Info

Publication number
JP3915784B2
JP3915784B2 JP2004029496A JP2004029496A JP3915784B2 JP 3915784 B2 JP3915784 B2 JP 3915784B2 JP 2004029496 A JP2004029496 A JP 2004029496A JP 2004029496 A JP2004029496 A JP 2004029496A JP 3915784 B2 JP3915784 B2 JP 3915784B2
Authority
JP
Japan
Prior art keywords
arrangement
image
angle
images
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004029496A
Other languages
Japanese (ja)
Other versions
JP2005222311A (en
Inventor
均 山門
宇 谷
徹 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2004029496A priority Critical patent/JP3915784B2/en
Priority to US10/924,812 priority patent/US7308650B2/en
Publication of JP2005222311A publication Critical patent/JP2005222311A/en
Application granted granted Critical
Publication of JP3915784B2 publication Critical patent/JP3915784B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、特定の領域内への複数の画像の配置を自動的に決定する際に用いて好適な画像配置装置及び方法に関する。   The present invention relates to an image arrangement apparatus and method suitable for use in automatically determining the arrangement of a plurality of images in a specific area.

デジタルカメラ、カメラ付き携帯電話の普及によって、写真の電子化がますます進んでいる。そのため、写真アルバムにおいては、従来の印画紙に焼き付けた写真を紙のアルバムに貼るといった面倒な作業は好まれなくなってきている。すなわち、多くのユーザーは、電子写真を、例えばコンピュータとソフトウェアで実現される電子写真アルバム上に配置することで整理するようになってきている。さらに、インターネット上で公開したり、必要に応じてカラープリンタのような高画質出力デバイスを用いて出力を行ったりする際に、電子写真アルバムが利用されている。今後、電子写真アルバムのニーズはますます高まるものと考えられる。   With the widespread use of digital cameras and camera-equipped mobile phones, digitization of photographs is becoming increasingly popular. For this reason, in the photo album, the troublesome work of pasting the photo printed on the photographic paper on the paper album is becoming less preferred. That is, many users have come to organize electronic photographs by placing them on an electronic photograph album realized by, for example, a computer and software. Furthermore, an electronic photo album is used when publishing on the Internet or when necessary using a high-quality output device such as a color printer. In the future, the need for electronic photo albums is expected to increase.

しかしながら従来は、紙の写真アルバム、電子写真アルバムによらず、ユーザー自身が、満足する配置を得られるまで配置位置を考え、手作業で画像を配置したり、配置の指示を行なったりしていた。   However, in the past, regardless of paper photo albums or electronic photo albums, the user himself thought about the placement position until a satisfactory placement was obtained, and placed images manually or instructed placement. .

あるいは、Adobe社のアプリケーションソフト、Photoshop Album(Adobe Systems Incorporated(アドビシステムズ社)の米国および他の国における商標または登録商標)に見られるように、あらかじめ写真の配置や背景が定められたテンプレートを用いて電子写真アルバムを作成していた。この場合は、テンプレートの配置に満足できない場合は、別のテンプレートを選択する以外に方法は無かった。   Alternatively, use a template with a pre-defined photo layout and background, as seen in Adobe's application software, Photoshop Album (a trademark or registered trademark of Adobe Systems Incorporated in the United States and other countries). Had created an electronic photo album. In this case, if the template layout is not satisfactory, there is no method other than selecting another template.

また、他の従来例では、個々の画像の場を計算し、さらに、個々の画像に及ぼす全ての画像によるネットフォースを算出し、それを距離と方向として解釈し画像の位置決めを行なうものがあった(特許文献1参照)。この文献に記載の技術では、個々の画像が中心に静電気点電荷を持っていた場合に存在すると考えられる静電気作用をシミュレーションすることで、個々の画像の新しい位置が計算される。その計算を反復して行い、収束した段階で美的に満足できるレイアウトが得られるとされている。   In another conventional example, the field of each image is calculated, and the net force of all the images exerted on each image is calculated, and this is interpreted as the distance and the direction to position the image. (See Patent Document 1). In the technique described in this document, a new position of each image is calculated by simulating an electrostatic action that is considered to exist when each image has an electrostatic point charge at the center. It is said that the calculation is repeated and an aesthetically pleasing layout can be obtained at the convergence stage.

しかしながらこの従来の技術の場合は、画像の配置は自動で定まるが、複雑な演算処理が必要となる。そのため、処理に時間が掛かったり、高性能なコンピュータが必要となったりするという課題があった。
特開2001−36732号公報(第8頁、第1図)
However, in the case of this conventional technique, the arrangement of images is automatically determined, but complicated arithmetic processing is required. For this reason, there are problems that processing takes time and a high-performance computer is required.
JP 2001-36732 A (page 8, FIG. 1)

本発明は、上記事情に鑑みてなされたものであって、簡易な演算処理で、効率良く、特定の領域内に電子写真等の複数の電子画像を自動的に配置することができる画像配置装置及び方法を提供することを目的とする。   The present invention has been made in view of the above circumstances, and is an image placement apparatus capable of automatically placing a plurality of electronic images such as electrophotographic images in a specific area efficiently with simple arithmetic processing. And to provide a method.

本発明は、特定の領域内に複数の電子画像を自動的に配置する装置であって、
130°〜144°の角度を整数倍した整数倍角度に基づいて各画像の配置角度を決定する配置角度決定手段と、配置角度決定手段で決定された配置角度の方向による各画像の重なりに応じて各画像の配置位置を決定する配置位置決定手段と、配置位置決定手段によって特定の領域内に配置位置を決定できなかった画像があった場合、配置角度決定手段が基準とする所定の角度の整数倍値を変更する配置角度変更手段とを具備することを特徴とする。本発明は、所定の角度に基づいて各画像の配置角度を決定し、その決定した角度による各画像の重なりに応じて各画像の配置位置を決定するようにしている。したがって、簡単な演算処理で各画像の配置位置を決定することができる。さらに、配置角度変更手段によって、特定の領域内に配置位置を決定できなかった画像があった場合、配置角度決定手段が基準とする所定の角度の整数倍値を変更するので、特定領域内に配置可能な画像数を多くすることができる。また、同じ画像数においても様々な配置パターンを生成できる。
前記配置角度決定手段が、130°〜144°の角度をを整数倍した角度に基づいて各画像の配置角度を決定することを特徴とする。ここでは、画像の枚数が少ない場合などに、黄金角を例えば有理数で近似することで、さらに演算処理を簡単化することができる。
The present invention is an apparatus for automatically arranging a plurality of electronic images in a specific region,
An arrangement angle determining unit that determines an arrangement angle of each image based on an integer multiple angle obtained by multiplying an angle of 130 ° to 144 ° by an integer, and according to the overlap of the images according to the direction of the arrangement angle determined by the arrangement angle determination unit If there is an arrangement position determining means for determining the arrangement position of each image and an image whose arrangement position could not be determined within a specific area by the arrangement position determining means, the arrangement angle determining means has a predetermined angle as a reference. And an arrangement angle changing means for changing the integer multiple value. In the present invention, the arrangement angle of each image is determined based on a predetermined angle, and the arrangement position of each image is determined according to the overlap of the images based on the determined angle. Therefore, the arrangement position of each image can be determined by a simple calculation process. Furthermore, when there is an image in which the arrangement position could not be determined within the specific area by the arrangement angle changing means, the integer multiple value of the predetermined angle that the arrangement angle determining means serves as a reference is changed. The number of images that can be arranged can be increased. Various arrangement patterns can be generated even with the same number of images.
The arrangement angle determining means determines the arrangement angle of each image based on an angle obtained by multiplying an angle of 130 ° to 144 ° by an integer. Here, when the number of images is small, the arithmetic processing can be further simplified by approximating the golden angle with a rational number, for example.

本発明は、また、前記配置角度決定手段が、360°/(1+(1+√5)/2)で求まる黄金角を整数倍した前記整数倍角度に基づいて各画像の配置角度を決定することを特徴とする。ここで黄金角とは、円周360°を黄金比1:(1+√5)/2に分けた角度であり、360°/(1+(1+√5)/2)=137.507764…°で求められる角度である。黄金比は、最も均整がとれた美しい長方形の縦横比を表すものとして知られている。黄金角については、例えば葉序において黄金角ごとに枝から葉を出すことによって葉の重なりを小さくし、太陽光や雨を最適に分け合うことができると知られている。本発明は、黄金角を整数倍した角度に基づいて各画像の配置角度を決定し、その決定した角度による各画像の重なりに応じて各画像の配置位置を決定するようにしている。したがって、簡単な演算処理で各画像の配置位置を決定することができる。さらに、各画像の重なりも少なくしやすいので、効率的な配置を得ることができる。また、配置角度変更手段によって、特定の領域内に配置位置を決定できなかった画像があった場合、配置角度決定手段が基準とする黄金角の整数倍値を変更するので、特定領域内に配置可能な画像数を多くすることができる。また、同じ画像数においても様々な配置パターンを生成できる。   According to the present invention, the arrangement angle determination means determines an arrangement angle of each image based on the integer multiple angle obtained by multiplying the golden angle obtained by 360 ° / (1+ (1 + √5) / 2). It is characterized by. Here, the golden angle is an angle obtained by dividing the circumference 360 ° into the golden ratio 1: (1 + √5) / 2, and 360 ° / (1+ (1 + √5) / 2) = 1377.57764. This is the required angle. The golden ratio is known to represent the aspect ratio of the most balanced and beautiful rectangle. As for the golden angle, it is known that, for example, leaves can be removed from the branches for each golden angle in the stratification to reduce the overlap of the leaves and optimally share sunlight and rain. In the present invention, the arrangement angle of each image is determined based on an angle obtained by multiplying the golden angle by an integer, and the arrangement position of each image is determined in accordance with the overlap of the images based on the determined angle. Therefore, the arrangement position of each image can be determined by a simple calculation process. Furthermore, since overlapping of each image is easy to reduce, an efficient arrangement can be obtained. In addition, when there is an image whose arrangement position could not be determined within a specific area by the arrangement angle changing means, the arrangement angle determining means changes the integer multiple of the golden angle as a reference. The number of possible images can be increased. Various arrangement patterns can be generated even with the same number of images.

本発明は、また、前記配置角度決定手段が、1番目に画像を配置する初期位置を回転の中心位置として各画像の配置角度を決定する。これによれば、1番目の画像の配置位置を設定するのと同時に、他の画像の配置における回転の中心位置を設定することができるようになる。   In the present invention, the arrangement angle determination means determines an arrangement angle of each image with an initial position where the image is first arranged as a rotation center position. According to this, at the same time as setting the arrangement position of the first image, it becomes possible to set the rotation center position in the arrangement of other images.

本発明は、また、前記配置角度変更手段が、配置位置が決定された画像に対して基準として用いられた所定の角度の整数倍値を所定量増分させた後、前記配置角度決定手段によって各画像の配置角度を再決定させ、前記配置位置決定手段が、所定量ずつ画像をずらしながら重なりが無くなった位置に画像の配置位置を決定することを特徴とする。これによれば一旦配置を決定した画像に対する画像の配置方向を変化させて再度画像の配置がなされるので、複数の画像配置例による配置を行うことができ、より多くの画像を同一領域内に配置することができるようになる。また、同じ画像数においても様々な配置パターンを生成できる。   In the present invention, the arrangement angle changing means increments an integer multiple of a predetermined angle used as a reference with respect to the image for which the arrangement position is determined by a predetermined amount, and then the arrangement angle determining means The arrangement angle of the image is re-determined, and the arrangement position determining means determines the arrangement position of the image at a position where there is no overlap while shifting the image by a predetermined amount. According to this, since the arrangement of the image is performed again by changing the arrangement direction of the image with respect to the image once determined, it is possible to perform arrangement according to a plurality of image arrangement examples, and more images can be arranged in the same region. Can be placed. Various arrangement patterns can be generated even with the same number of images.

本発明は、また、前記配置角度変更手段が、配置位置が決定された画像に対して基準として用いられた所定の角度の整数倍値を所定量増分させた後、前記配置角度決定手段によって各画像の配置角度を再決定させ、前記配置位置決定手段が、所定量ずつ画像をずらしながら重なりが無くなり且つ一定値以上画像間の距離が離れた位置に画像の配置位置を決定することを特徴とする。これによれば一旦配置を決定した画像に対する画像の配置方向を変化させて再度画像の配置がなされるので、複数の画像配置例による配置を行うことができ、より多くの画像を同一領域内に配置することができるようになる。また、同じ画像数においても様々な配置パターンを生成できる。さらに、画像間に一定のすきまを設けることができる。   In the present invention, the arrangement angle changing means increments an integer multiple of a predetermined angle used as a reference with respect to the image for which the arrangement position is determined by a predetermined amount, and then the arrangement angle determining means The arrangement angle of the image is re-determined, and the arrangement position determining means determines the arrangement position of the image at a position where there is no overlap and the distance between the images is more than a predetermined value while shifting the image by a predetermined amount. To do. According to this, since the arrangement of the image is performed again by changing the arrangement direction of the image with respect to the image once determined, it is possible to perform arrangement according to a plurality of image arrangement examples, and more images can be arranged in the same region. Can be placed. Various arrangement patterns can be generated even with the same number of images. Furthermore, a certain gap can be provided between images.

本発明の他の態様は、特定の領域内に複数の電子画像を自動的に配置する方法であって、配置角度決定手段が130°〜144°の角度を整数倍した整数倍角度に基づいて各画像の配置角度を決定する配置角度決定過程と、配置位置決定手段が配置角度決定過程で決定された配置角度の方向による各画像の重なりに応じて各画像の配置位置を決定する配置位置決定過程と、配置角度変更手段が配置位置決定過程で特定の領域内に配置位置を決定できなかった画像があった場合、配置角度決定過程で基準とする所定の角度の整数倍値を変更する配置角度変更過程とを有することを特徴とする。また、本発明のさらに他の態様は、特定の領域内に複数の電子画像を自動的に配置するためのプログラムであって、配置角度決定手段が130°〜144°の角度を整数倍した整数倍角度に基づいて各画像の配置角度を決定する配置角度決定過程と、配置位置決定手段が配置角度決定過程で決定された配置角度の方向による各画像の重なりに応じて各画像の配置位置を決定する配置位置決定過程と、配置角度変更手段が配置位置決定過程で特定の領域内に配置位置を決定できなかった画像があった場合、配置角度決定過程で基準とする所定の角度の整数倍値を変更する配置角度変更過程とをコンピュータを用いて実行するための記述を含むことを特徴とする。   Another aspect of the present invention is a method for automatically arranging a plurality of electronic images in a specific region, wherein the arrangement angle determining means is based on an integer multiple angle obtained by multiplying an angle of 130 ° to 144 ° by an integer. An arrangement angle determination process for determining the arrangement angle of each image, and an arrangement position determination for determining the arrangement position of each image according to the overlapping of the respective images according to the arrangement angle direction determined by the arrangement position determination means in the arrangement angle determination process. And an arrangement for changing an integer multiple of a predetermined angle as a reference in the arrangement angle determination process when there is an image for which the arrangement angle change means cannot determine the arrangement position in a specific area in the arrangement position determination process And an angle changing process. According to still another aspect of the present invention, there is provided a program for automatically arranging a plurality of electronic images in a specific region, wherein the arrangement angle determining means is an integer obtained by multiplying an angle of 130 ° to 144 ° by an integer. An arrangement angle determination process for determining the arrangement angle of each image based on the double angle, and an arrangement position of each image according to the overlap of the images according to the direction of the arrangement angle determined by the arrangement position determination means in the arrangement angle determination process If there is an image in which the arrangement position determining process to be determined and the arrangement angle changing means cannot determine the arrangement position within a specific area in the arrangement position determining process, an integral multiple of a predetermined angle used as a reference in the arrangement angle determining process It includes a description for executing the arrangement angle changing process for changing the value using a computer.

以下、本発明を実施するための最良の形態について、図面を参照して説明する。   The best mode for carrying out the present invention will be described below with reference to the drawings.

図1は本発明の画像配置装置の構成を説明するためのブロック図であり、図2はその動作の一例を説明するためのフローチャートである。本実施の形態の画像配置装置は、中央処理装置、記憶装置、キーボード、マウス、表示装置、光記録媒体を用いた記録装置等を備えた一般的なコンピュータと、プリンタ、デジタルカメラ等の周辺装置と、コンピュータで所定のシステムソフトウェア上で実行される画像配置処理用のプログラムとから構成することができる。図1はその画像配置処理プログラムの各機能をブロックに分けて示したものである。   FIG. 1 is a block diagram for explaining the configuration of the image arrangement apparatus of the present invention, and FIG. 2 is a flowchart for explaining an example of the operation thereof. The image arrangement apparatus according to the present embodiment includes a general computer including a central processing unit, a storage device, a keyboard, a mouse, a display device, a recording device using an optical recording medium, and peripheral devices such as a printer and a digital camera. And a program for image arrangement processing executed on computer with predetermined system software. FIG. 1 shows each function of the image layout processing program divided into blocks.

図1および図2において、ユーザー(操作者)の操作に従って起動した画像配置装置(画像配置プログラム)は、配置領域サイズ取得部101によって、ユーザーとの間でグラフィカルユーザインターフェース等を用いてユーザーが指示した画像を配置するための特定の領域となる配置領域サイズを取得する。また配置画像数取得部102は、同様にしてユーザーが指示した自動配置する画像数を取得する(図2のステップS101)。   In FIG. 1 and FIG. 2, an image layout apparatus (image layout program) activated in accordance with a user (operator) operation is instructed by the layout area size acquisition unit 101 with the user using a graphical user interface or the like. An arrangement area size that is a specific area for arranging the obtained image is acquired. Similarly, the arrangement image number acquisition unit 102 acquires the number of images to be automatically arranged instructed by the user (step S101 in FIG. 2).

画像サイズ設定部103は、取得された画像数と領域サイズから、各画像を配置する際のサイズ(幅と高さ)を設定する(ステップS102)。初期位置設定部104は、最初に配置する画像の初期位置(X0,Y0)を決定する(ステップS103)。この初期位置の決定方法は、乱数による生成や、配置領域内の中心で設定や、ユーザーのアクションによる設定や、あらかじめ定義された定義データから取得などが考えられる。また、初期位置に対し画像を配置する場合、画像の中心を初期位置に一致させる場合や、画像重心を初期位置に一致させる場合、画像の外接四角形の中心を初期位置に一致させる場合など考えられる。 The image size setting unit 103 sets the size (width and height) for arranging each image from the acquired number of images and area size (step S102). The initial position setting unit 104 determines the initial position (X 0 , Y 0 ) of the first image to be arranged (step S103). As a method for determining the initial position, generation by random numbers, setting at the center in the arrangement area, setting by user action, acquisition from predefined definition data, and the like can be considered. In addition, when an image is arranged with respect to the initial position, the center of the image is matched with the initial position, the center of gravity of the image is matched with the initial position, or the center of the circumscribed rectangle of the image is matched with the initial position .

配置角度設定部105は、2番目の画像の黄金角の係数初期値M2を0に初期化する(ステップS104)。配置角度設定部105は、また、配置対象の画像として2番目の画像を選択し、さらに黄金角の係数m(mは0以上の整数)をM2に設定する(ステップS105)。次に、画像間距離設定部106は、画像間の距離Lを所定の初期値に初期化する(ステップS106)。ここではLを0に初期化するものとする。   The arrangement angle setting unit 105 initializes the coefficient initial value M2 of the golden angle of the second image to 0 (step S104). The arrangement angle setting unit 105 also selects the second image as the arrangement target image, and further sets the golden angle coefficient m (m is an integer of 0 or more) to M2 (step S105). Next, the inter-image distance setting unit 106 initializes the inter-image distance L to a predetermined initial value (step S106). Here, L is initialized to 0.

黄金角とは、円周360°を黄金比の1:(1+√5)/2に分けた角度であり、360°/(1+(1+√5)/2)=137.507764…°と求められる。この黄金比は、最も均整がとれた美しい長方形の縦横比を表すものとして知られている。黄金角については、例えば葉序において黄金角ごとに枝から葉を出すことによって葉の重なりを小さくし、太陽光や雨を最適に分け合うことができると知られている。本実施の形態では、黄金角をm倍(整数倍)した角度に基づいて各画像の配置角度を決定し、その決定した角度による各画像の重なりに応じて各画像の配置位置を決定するようにしている。配置角度設定部105は、黄金角と係数mから、現在配置中の画像の配置すべき方向θ(配置角度θ)を、θ=m×黄金角の計算によって決定する(ステップS107)。   The golden angle is an angle obtained by dividing the circumference of 360 ° into the golden ratio of 1: (1 + √5) / 2, and is obtained as 360 ° / (1+ (1 + √5) / 2) = 1377.57764. It is done. This golden ratio is known as representing the aspect ratio of the most balanced and beautiful rectangle. As for the golden angle, it is known that, for example, leaves can be removed from the branches for each golden angle in the stratification to reduce the overlap of the leaves and optimally share sunlight and rain. In the present embodiment, the arrangement angle of each image is determined based on an angle obtained by multiplying the golden angle by m (integer multiple), and the arrangement position of each image is determined according to the overlap of the images based on the determined angle. I have to. The arrangement angle setting unit 105 determines, from the golden angle and the coefficient m, the direction θ (arrangement angle θ) in which the currently arranged image should be arranged by calculating θ = m × golden angle (step S107).

なお、本実施の形態では、黄金角の具体値として、130°〜144°の値の範囲を用いることとする。ただし、黄金角の値としては、フィボナッチ数列から割り出される約137.5°が最も好ましい事例である。この例では、黄金角の設定値として137.5°を用いることとする。   In the present embodiment, a value range of 130 ° to 144 ° is used as a specific value of the golden angle. However, as the value of the golden angle, about 137.5 ° calculated from the Fibonacci sequence is the most preferable case. In this example, 137.5 ° is used as the golden angle setting value.

画像位置算出部107は、初期位置設定部104で求めた初期位置(X0,Y0)と、配置角度設定部105および画像間距離設定部106で求めた画像を配置すべき方向θおよび画像間の距離Lから、各画像の配置位置を算出する(ステップS108)。画像位置算出部107では、以下の計算式に基づき新たな画像位置(X,Y)が計算できる。この例では、初期位置設定部104で求めた1番目に画像を配置する初期位置(X0,Y0)を回転の中心位置として各画像の配置角度を決定することとしているが、回転の中心位置は任意に設定できるようにしてもよい。

Figure 0003915784
The image position calculation unit 107 sets the initial position (X 0 , Y 0 ) obtained by the initial position setting unit 104, the direction θ and the image in which the image obtained by the arrangement angle setting unit 105 and the inter-image distance setting unit 106 should be arranged. The arrangement position of each image is calculated from the distance L between them (step S108). The image position calculation unit 107 can calculate a new image position (X, Y) based on the following calculation formula. In this example, the arrangement angle of each image is determined with the initial position (X 0 , Y 0 ) at which the first image is obtained determined by the initial position setting unit 104 as the rotation center position. The position may be arbitrarily set.
Figure 0003915784

重なり検出部108は、画像位置算出部107で求めた画像位置(X,Y)と今まで計算した他の画像の位置とを比較し、各画像が重なっているか否かを判断する(ステップS109)。重なり検出部108によって重なっていると判断された場合、画像間距離設定部106で画像間の距離Lが増加される(ステップS109で「No」からステップS110)。   The overlap detection unit 108 compares the image position (X, Y) obtained by the image position calculation unit 107 with the positions of other images calculated so far, and determines whether or not the images overlap (step S109). ). If the overlap detection unit 108 determines that the images overlap, the image distance setting unit 106 increases the distance L between the images (“No” in step S109 to step S110).

画像間距離設定部106は、例えば、L=L+1のように単純に1画素を単位として1ピクセルずつ画像間の距離Lを増加させる。そして、増加した画像間の距離Lを用いて他の画像との重なりが無くなるまで、ステップS108〜S110の処理が繰り返し実行される。   The inter-image distance setting unit 106 simply increases the inter-image distance L pixel by pixel, for example, as L = L + 1. Then, using the increased distance L between the images, the processes in steps S108 to S110 are repeatedly executed until there is no overlap with other images.

ステップS109で重なりがないと判断された場合(ステップS109で「Yes」)、領域外検出部109は、画像位置算出部107によって算出された新たな画像位置(X,Y)に当該画像を配置した場合に、当該画像が最初に取得した配置領域内からはみ出すか否かを判断する(ステップS111)。領域外検出部109によってはみ出すと判断された場合には(ステップS111で「No」)、配置角度変更部110によって再度、画像の方向を変化させて(すなわち係数mを変化させて)、他の位置で画像が配置できるかどうかを計算する(ステップS113を介して、ステップS107以降の処理を再度実行)。ただし、この再計算を行う前には、まだ画像位置を計算していない方向に、変更後の方向を設定できるかどうかを判断する(ステップS112)。   If it is determined in step S109 that there is no overlap (“Yes” in step S109), the out-of-region detection unit 109 places the image at the new image position (X, Y) calculated by the image position calculation unit 107. In such a case, it is determined whether or not the image protrudes from the first acquired arrangement area (step S111). If it is determined by the out-of-region detection unit 109 (“No” in step S111), the arrangement angle changing unit 110 again changes the direction of the image (that is, changes the coefficient m), and other It is calculated whether or not an image can be arranged at the position (the processing after step S107 is executed again via step S113). However, before performing this recalculation, it is determined whether or not the changed direction can be set in the direction in which the image position has not yet been calculated (step S112).

例えば黄金角の設定値を137.5°にし、回転方向の初期値を0°(m=0)にした場合、方向を144回変化させたときの配置角度θは、θ=m×137.5°=144×137.5°=360°×55となり、これはm=0の場合の配置角度θ=0°と一致することを意味する。つまり、m=144以上で係数mを変化させたとしても、すでに計算済みのものと同一の方向について計算を繰り返すことになる。本実施の形態では、2番目の画像(黄金角の方向に沿って座標をずらした位置に最初に配置する画像)の黄金角の係数mの初期値を、変数M2によって設定するようにしている。この変数M2は、ステップS114で1ずつ値が増加する変数である。そのため、回転方向の初期値は、常に0°(m=0)で一定ではなく、M2×137.5°(m=M2)と変化する値である。そのため、最初の方向と同一になったか否かは、係数mが(144+変数M2)に一致したかどうかで判断することができる。そこで、ステップS112では、係数mが(144+M2)に一致したかどうかを判断することで、画像位置を計算していない方向がまだあるかどうかを判断している。そして、画像位置を計算していない方向がある場合に、配置角度θを他の方向に設定して、画像の配置処理を行うようにしている。   For example, when the set value of the golden angle is 137.5 ° and the initial value of the rotation direction is 0 ° (m = 0), the arrangement angle θ when the direction is changed 144 times is θ = m × 137. 5 ° = 144 × 137.5 ° = 360 ° × 55, which means that the arrangement angle θ = 0 ° when m = 0 is satisfied. That is, even if the coefficient m is changed when m = 144 or more, the calculation is repeated in the same direction as that already calculated. In this embodiment, the initial value of the coefficient m of the golden angle of the second image (the image that is first arranged at a position shifted in the direction of the golden angle) is set by the variable M2. . This variable M2 is a variable whose value increases by 1 in step S114. Therefore, the initial value in the rotation direction is not always constant at 0 ° (m = 0), but is a value that changes as M2 × 137.5 ° (m = M2). Therefore, whether or not the first direction is the same can be determined by whether or not the coefficient m matches (144 + variable M2). Therefore, in step S112, it is determined whether there is still a direction in which the image position is not calculated by determining whether the coefficient m matches (144 + M2). When there is a direction in which the image position is not calculated, the arrangement angle θ is set to another direction, and the image arrangement processing is performed.

したがって、この場合、領域外検出部109によってはみ出すと判断された場合(ステップS111で「No」)、係数mが(144+M2)未満のときにのみ(ステップS112で「No」)、係数mを1だけ増加させて(ステップS113)、配置角度設定部105、画像間距離設定部106、画像位置算出部107等によるステップS107以降の計算をやりなおすことにしている(ステップS112で「No」からステップS113を介してステップS107)。ここで、ステップS112〜S113の処理は、配置角度変更部110、領域外検出部109等の図1に示すブロック内で行ったり、あるいは図示していない他の機能ブロックで行ったりすることができる。   Therefore, in this case, if it is determined that the out-of-region detection unit 109 protrudes (“No” in Step S111), the coefficient m is set to 1 only when the coefficient m is less than (144 + M2) (“No” in Step S112). (Step S113), the arrangement angle setting unit 105, the inter-image distance setting unit 106, the image position calculation unit 107, etc. perform the calculation after step S107 again (from “No” in step S112 to step S113). Through step S107). Here, the processing of steps S112 to S113 can be performed in the block shown in FIG. 1 such as the arrangement angle changing unit 110, the out-of-region detection unit 109, or other functional blocks not shown. .

一方、係数mが(144+M2)に一致した場合には(ステップS112で「Yes」)、その場合の初期条件では画像をすべて配置できないことを意味するので、ステップS114で、配置処理を行う際の初期条件(ここでは2番目に配置する画像の配置方向)を変更する処理を行う。この処理は、配置角度変更部110によって実行される。本実施の形態では、2番目の黄金角の係数初期値M2を現在の値から1だけ増分する処理を行う。2番目の黄金角の係数初期値M2は、ステップS105で2番目の画像の黄金角の係数mを設定する際に用いられる値である。したがって、黄金角の係数初期値M2を変更してステップS106以降の処理を行うことで、異なる初期条件で画像の配置を行うことができる。ただし、ステップS114で黄金角の係数初期値M2を変更した後でステップS115でそれによって決まる2番目の画像の黄金角の係数mが以前に用いたものと同じ値となるか否かを判定している。すなわち、この例では配置方向θが、黄金角の係数mが144の場合と、黄金角の係数mが0の場合とで同一の方向となるので、黄金角の係数mが144以上となる場合には配置処理を終了することとしている(ステップS115で「Yes」)。   On the other hand, when the coefficient m matches (144 + M2) (“Yes” in step S112), it means that not all images can be arranged under the initial condition in that case. Processing for changing the initial condition (here, the arrangement direction of the second image to be arranged) is performed. This process is executed by the arrangement angle changing unit 110. In the present embodiment, a process of incrementing the coefficient initial value M2 of the second golden angle by 1 from the current value is performed. The coefficient initial value M2 of the second golden angle is a value used when setting the coefficient m of the golden angle of the second image in step S105. Therefore, by changing the golden angle coefficient initial value M2 and performing the processing from step S106 onward, the images can be arranged under different initial conditions. However, after the golden angle coefficient initial value M2 is changed in step S114, it is determined in step S115 whether or not the golden angle coefficient m of the second image determined thereby is the same value as previously used. ing. That is, in this example, since the arrangement direction θ is the same in the case where the golden angle coefficient m is 144 and the golden angle coefficient m is 0, the golden angle coefficient m is 144 or more. Is to end the arrangement process (“Yes” in step S115).

2番目の画像の黄金角の係数mが以前に用いた値とならない場合には(ステップS115で「No」)、ステップS105へ戻り、2番目の画像を処理対象の画像とし、新たな黄金角の係数(前回から1だけ増分した値)を用いて、ステップS106以上の処理が再度実行される。   When the golden angle coefficient m of the second image does not become the value used previously (“No” in step S115), the process returns to step S105, the second image is set as the processing target image, and a new golden angle is obtained. Using the coefficient (the value incremented by 1 from the previous time), the processing from step S106 is executed again.

なお、ステップS112およびステップS115では係数mが(144+M2)に一致するか否かおよび144以上であるか否かで未計算の方向があるか否かを判断しているが、この判断の基準となる値は黄金角の設定値(近似値)を137.5°以外に設定した場合には、その設定値に応じて適宜変更する必要がある。   In step S112 and step S115, it is determined whether or not there is an uncalculated direction based on whether the coefficient m matches (144 + M2) and whether it is equal to or greater than 144. When the golden angle setting value (approximate value) is set to a value other than 137.5 °, it is necessary to appropriately change the value according to the setting value.

他方、重なり検出部108によって重なりが無いと判断され(ステップS109で「Yes」)、領域外検出部109によって配置領域外にはみ出ていないと判断された場合(ステップS111で「Yes」)、画像の配置位置が決定される(ステップS116)。次に初期位置設定部104等では、まだ配置位置を計算すべき画像があるかどうかを確認し、未処理の画像が残っている場合は(ステップS117で「No」)、次の画像を選択して(ステップS118)、配置計算を続ける(ステップS106以降)。この場合、次の画像に対しては、画像間の距離Lのみを初期化して、黄金角の係数mは前の画像に対して用いられたものと同一の値を初期値として用いている。一方、全ての画像の配置が決定した場合は、処理を終了する(ステップS117で「Yes」)。   On the other hand, if the overlap detection unit 108 determines that there is no overlap (“Yes” in step S109) and the out-of-region detection unit 109 determines that the image does not protrude outside the arrangement region (“Yes” in step S111), the image Is determined (step S116). Next, the initial position setting unit 104 or the like checks whether or not there is an image whose arrangement position should be calculated. If an unprocessed image remains (“No” in step S117), the next image is selected. Then (step S118), the arrangement calculation is continued (after step S106). In this case, for the next image, only the distance L between the images is initialized, and the golden angle coefficient m is the same as that used for the previous image as the initial value. On the other hand, if the arrangement of all the images has been determined, the process is terminated (“Yes” in step S117).

図3および図4に、図2に示す処理による複数の画像の配置例を示す。図3に示す例は、最初の画像11を配置領域1の中心に配置し、2番目の画像12に対する黄金角の係数mを0とした場合の配置例である。他方、図4に示す例は、最初の画像21を配置領域1の中心に配置し、2番目の画像22に対する黄金角の係数mを1(=0+1)とした場合の配置例である。   3 and 4 show examples of arrangement of a plurality of images by the process shown in FIG. The example shown in FIG. 3 is an arrangement example in which the first image 11 is arranged at the center of the arrangement region 1 and the golden angle coefficient m for the second image 12 is set to zero. On the other hand, the example shown in FIG. 4 is an arrangement example in which the first image 21 is arranged at the center of the arrangement region 1 and the golden angle coefficient m for the second image 22 is 1 (= 0 + 1).

図3に示す例では、1番目の画像11を配置領域1の中心に配置し、次にm=0(0°)の方向に2番目の画像12を配置している。3番目の画像13は、m=0(0°)の方向には配置できず(破線で示す画像13aが配置領域1からはみ出すため)、m=1(137.5°)の方向に配置されている。そして、4番目の画像14はm=2(275°)の方向に、5番目の画像15はm=3の方向に、6番目の画像16はm=4の方向に、7番目の画像17はm=5の方向に、それぞれ配置されている。そして、8番目の画像18はm=6〜m=11の方向に配置できず、m=12の方向に配置され、9番目の画像19はm=13〜m=15の方向に配置できず、m=16の方向に配置されている。このように、図3に示す例では、2番目の画像12の黄金角の係数mを0にした場合に、合計9枚の画像を黄金角の係数に基づいて配置されている。   In the example shown in FIG. 3, the first image 11 is arranged at the center of the arrangement area 1, and then the second image 12 is arranged in the direction of m = 0 (0 °). The third image 13 cannot be arranged in the direction of m = 0 (0 °) (because the image 13a shown by the broken line protrudes from the arrangement region 1), and is arranged in the direction of m = 1 (137.5 °). ing. The fourth image 14 is in the direction of m = 2 (275 °), the fifth image 15 is in the direction of m = 3, the sixth image 16 is in the direction of m = 4, and the seventh image 17 is. Are arranged in the direction of m = 5, respectively. The eighth image 18 cannot be arranged in the direction of m = 6 to m = 11, is arranged in the direction of m = 12, and the ninth image 19 cannot be arranged in the direction of m = 13 to m = 15. , M = 16. As described above, in the example shown in FIG. 3, when the golden angle coefficient m of the second image 12 is set to 0, a total of nine images are arranged based on the golden angle coefficient.

一方、図4に示す例でも、図3と同一の配置領域1に対して、同一サイズの複数の画像を配置している。ただし、2番目の画像22に対する黄金角の係数mを1とすることで、配置可能枚数を10枚に増加させている。すなわち、1番目の画像21を配置領域1の中心に配置し、次にm=1(137.5°)の方向に2番目の画像22を配置している。3番目の画像23は、m=2(275°)の方向に配置されている。そして、4番目の画像24はm=3の方向に、5番目の画像25はm=4の方向に、6番目の画像26はm=5の方向に、それぞれ配置されている。そして、7番目の画像27はm=6〜m=7の方向に配置できず、m=8の方向に配置され、8番目の画像28はm=9〜m=11の方向に配置できず、m=12の方向に配置され、9番目の画像29はm=13〜m=15の方向に配置できず、m=16の方向に配置され、10番目の画像30はm=17の方向に配置できず、m=18の方向に配置されている。このように、図4に示す例では、2番目の画像22の黄金角の係数mを1にすることで、合計10枚の画像を黄金角の係数に基づいて配置できている。   On the other hand, also in the example shown in FIG. 4, a plurality of images of the same size are arranged in the same arrangement area 1 as in FIG. However, by setting the golden angle coefficient m for the second image 22 to 1, the number of possible arrangements is increased to 10. That is, the first image 21 is arranged at the center of the arrangement area 1, and then the second image 22 is arranged in the direction of m = 1 (137.5 °). The third image 23 is arranged in the direction of m = 2 (275 °). The fourth image 24 is arranged in the direction of m = 3, the fifth image 25 is arranged in the direction of m = 4, and the sixth image 26 is arranged in the direction of m = 5. The seventh image 27 cannot be arranged in the direction of m = 6 to m = 7, is arranged in the direction of m = 8, and the eighth image 28 cannot be arranged in the direction of m = 9 to m = 11. , M = 12, the ninth image 29 cannot be arranged in the direction of m = 13 to m = 15, and the tenth image 30 is arranged in the direction of m = 17. Cannot be arranged in the direction of m = 18. In this way, in the example shown in FIG. 4, by setting the golden angle coefficient m of the second image 22 to 1, a total of 10 images can be arranged based on the golden angle coefficient.

以上のように、本実施の形態では、画像の配置規則を自然界にあらわれる規則正しい美しさをルール化したものとして知られる規則に応じて定めている。さらに、各画像の配置は、順番に各画像を配置する際に、前に配置した画像の位置に基づいて決定することができる。したがって、従来例のように各画像間のネットフォースを求めるような複雑な配列計算が不要となる。また、適用するルールは、人類が長年見慣れている自然の美しさを容易に再現可能なものである。そのため、電子写真アルバムに適用した場合も、人がより自然に感じる美しい配置を再現することが容易に可能になると考えられる。さらに、所定の初期条件で所望の画像数の配置ができない場合には、配置角度の初期値を変更して画像の配置を行うようにしているので、配置可能となる枚数を増加させることができる。   As described above, in the present embodiment, the image arrangement rule is determined according to a rule known as a rule of regular beauty that appears in the natural world. Furthermore, the arrangement of each image can be determined based on the position of the previously arranged image when arranging each image in turn. Therefore, a complicated arrangement calculation for obtaining the net force between the images as in the conventional example becomes unnecessary. The rules to be applied are those that can easily reproduce the natural beauty that mankind has been accustomed to for many years. Therefore, even when applied to an electrophotographic album, it is considered possible to easily reproduce a beautiful arrangement that a person feels more natural. Furthermore, when a desired number of images cannot be arranged under a predetermined initial condition, the image can be arranged by changing the initial value of the arrangement angle, so that the number of images that can be arranged can be increased. .

なお、図2を参照して説明した画像間距離設定部106の動作では、画像間の距離LをL=L+1のように単純に1画素を単位とする1ピクセルずつ増加させることにした。しかし、画像間の距離Lの増加手法は、これに限らず、例えば5ピクセル毎といった複数ピクセルを単位として増加させたり、増分値をフィボナッチ数列に従って変化させたりすることができる。   In the operation of the inter-image distance setting unit 106 described with reference to FIG. 2, the inter-image distance L is simply increased by one pixel in units of one pixel as L = L + 1. However, the method of increasing the distance L between images is not limited to this, and can be increased in units of a plurality of pixels, for example, every 5 pixels, or the increment value can be changed according to the Fibonacci sequence.

フィボナッチ数列は、初期値a0,a1から漸化式an+2=an+an+1で定まる数列である。例えば、a0=0,a1=1とすると、フィボナッチ数列は、0,1,1,2,3,5,8,13,21,34,55,89,…となる。また、フィボナッチ数列の隣接する数(項)の比率は、0/1=0,1/1=1,2/1=2,3/2=1.5,5/3=1.666…,…,89/55=1.61818…,…であり、黄金比1:(1+√5)/2に近づいていく。距離の増分は、例えば、フィボナッチ数の組み合わせによって(例えば21と34を交互に用いる。)、あるいは、フィボナッチ数列に従って(0,1,1,2,3,5,8,13,21,34,55,89,…の順に)、変化させることができる。 Fibonacci sequence is a sequence determined from the initial value a 0, a 1 in recurrence formula a n + 2 = a n + a n + 1. For example, if a 0 = 0 and a 1 = 1, the Fibonacci sequence is 0, 1 , 1 , 2, 3, 5, 8, 13, 21, 34, 55, 89,. Further, the ratio of adjacent numbers (terms) in the Fibonacci sequence is 0/1 = 0, 1/1 = 1, 2/1 = 2, 3/2 = 1.5, 5/3 = 1.666,. ..., 89/55 = 1.61818 ..., and approaches the golden ratio 1: (1 + √5) / 2. The increment of the distance is, for example, by a combination of Fibonacci numbers (for example, 21 and 34 are alternately used) or according to a Fibonacci number sequence (0, 1, 1, 2, 3, 5, 8, 13, 21, 34, (In the order of 55, 89,...).

図5にフィボナッチ数列に従って変化させる場合のフローチャートを示した。図5に示すフローチャートでは、図2に示すフローチャートに対して、図5のステップS106aおよびS110aと図2のステップS106およびS110の内容が異なっている。他のステップは同一である。図5に示す例では、画像間距離設定部106が、画像間の距離LpをLp=Lp-1+Lp-2のようにフィボナッチ数列に従って設定する。ここで、Lp-1およびLp-2は画像間の距離Lpを所定量ずつ徐々に増加させながら画像の重なりを判定する際の1回前および2回前に用いた画像間の距離Lpの値である。 FIG. 5 shows a flowchart in the case of changing according to the Fibonacci sequence. In the flowchart shown in FIG. 5, the contents of steps S106a and S110a in FIG. 5 and steps S106 and S110 in FIG. 2 are different from the flowchart shown in FIG. The other steps are the same. In the example illustrated in FIG. 5, the inter-image distance setting unit 106 sets the inter-image distance L p according to the Fibonacci sequence such that L p = L p−1 + L p−2 . Here, L p-1 and L p-2 are the distances between images used before and twice before determining the overlap of images while gradually increasing the distance L p between images by a predetermined amount. The value of L p .

なお、本発明の実施の形態は上記のものに限られず、例えば次のような変更が可能である。例えば画像間距離設定部106で初期位置からの距離を所定量ずつ徐々にずらしながら配置位置を決定する際に、他の画像との重なりがなくなり、かつ、さらに一定の間隔以上画像間の距離が離れた位置を当該画像の配置位置として決定するようにしてもよい。つまり、所定間隔のすきまを有するように各画像間の配置を決定するようにしてもよい。   The embodiment of the present invention is not limited to the above-described embodiment, and for example, the following modifications are possible. For example, when the arrangement position is determined by gradually shifting the distance from the initial position by a predetermined amount by the inter-image distance setting unit 106, there is no overlap with other images, and the distance between the images exceeds a certain distance. The distant position may be determined as the arrangement position of the image. That is, the arrangement between the images may be determined so as to have a predetermined gap.

また、重なり検出部108では、各画像の重なりが、完全に無くなる場合のみが条件を満たすときであると判断することに加え、あらかじめ設定した重なりを許す範囲内である場合にも条件が満たされると判断するようにしてもよい。すなわち、あらかじめ設定した重なりに係る所定量以内であれば、各画像間に重なりが生じていてもその状態で配置位置を決定するようにしてもよい。   In addition, the overlap detection unit 108 determines that only when the overlap between images is completely eliminated is when the condition is satisfied, and the condition is also satisfied when the overlap is within a preset allowable range. You may make it judge. That is, as long as it is within a predetermined amount related to the overlap set in advance, the arrangement position may be determined in that state even if there is an overlap between the images.

また、上記の例では、n番目(nは2以上の整数)の画像の位置を決定する際には、m番目(mは0以上の整数)の黄金角の延長線上で初期位置(X0,Y0)から距離を伸ばして他画像との重なりに係る条件を満たす配置位置が得られた場合に、ステップS111で配置領域から当該画像がはみ出ていたと判断されたときには、m+1番目の黄金角に沿った延長線上で(ステップS113でmを1だけ増分。)、再度初期位置から距離を伸ばして画像の位置を求めることとしている(ステップS106から再計算。)。これに対して、例えば、配置領域内に収まっていたとしても、所定量以上距離を伸ばしても他の画像との重なりが生じていた場合、すなわち、配置領域内であっても領域の境界との余裕が小さい場合には、配置領域からはみ出すときに相当するものとして、ステップS111による判断結果を得るようにしてもよい。 In the above example, when determining the position of the nth image (n is an integer of 2 or more), the initial position (X 0 ) on the extension line of the mth (m is an integer of 0 or more) golden angle. , Y 0 ) and an arrangement position that satisfies the conditions related to the overlap with other images is obtained, and if it is determined in step S111 that the image has protruded from the arrangement area, the m + 1th golden angle (M is incremented by 1 in step S113), the position of the image is obtained again by extending the distance from the initial position (recalculation from step S106). On the other hand, for example, even if it is within the arrangement area, if it overlaps with other images even if the distance is increased by a predetermined amount or more, that is, even within the arrangement area, If the margin is small, the determination result in step S111 may be obtained as equivalent to the case where the margin is outside the arrangement area.

また、図2のフローチャートに従って、全画像の位置を計算した結果、一つまたはそれ以上の画像の位置が定まらなかった場合(配置できなかった場合)、初期位置(X0,Y0)を1ピクセルまたは複数ピクセル分ずらして再計算するようにすることもできる。 Further, as a result of calculating the positions of all the images in accordance with the flowchart of FIG. 2, when the position of one or more images cannot be determined (when they cannot be arranged), the initial position (X 0 , Y 0 ) is set to 1. It is also possible to recalculate by shifting pixels or a plurality of pixels.

次に図6を参照して、図1の構成による他の動作例について説明する。図6に示す動作例は、図2に示す動作例一部を変更したものである。図2に示す動作例では、ある画像が配置できなかった場合、角度に基づいて配置する最初の画像である2番目の画像の配置方向の初期値を変更した後、再度2番目の画像を配置し直し、その後順次3番目以降の画像をその1つ前の画像に対して決定された配置方向(係数m)を初期値として使用して画像の配置位置を確認し、確認結果に応じて配置位置を決定するようにしていた。例えば3番目の画像については、まず2番目の画像の配置が決定された配置方向(係数m)を初期値としてその方向に配置できるかどうかを確認し、配置できた場合にはその位置に決定し、配置できなかった場合には配置方向を変更するようにしていた。一方、図6に示す動作例では、ある画像が配置できなかった場合、すべての画像の配置方向の初期値を変更した後、各画像に対する初期値を使用して配置の可能性を確認するようにしている。例えば、n番目の画像が配置できなかった場合、2番目、3番目、4番目、…の各画像の配置方向の初期値をすべて変更する。具体的には、各画像に対して最後に決定された配置方向を示す係数をそれぞれ1ずつ増加させて次の初期値とする。そして、変更した配置方向を初期値として配置可能かどうかを確認する。図6の動作例では、このため、配置方向を示す係数を記憶するための変数mを、各画像に対応させて複数用いている。   Next, another example of the operation according to the configuration of FIG. 1 will be described with reference to FIG. The operation example shown in FIG. 6 is obtained by changing a part of the operation example shown in FIG. In the operation example shown in FIG. 2, when an image cannot be arranged, the second image is arranged again after changing the initial value of the arrangement direction of the second image, which is the first image arranged based on the angle. After that, the third and subsequent images are sequentially checked using the arrangement direction (coefficient m) determined with respect to the previous image as an initial value, and the arrangement positions of the images are determined according to the confirmation results. I was trying to determine the position. For example, for the third image, first, the arrangement direction (coefficient m) in which the arrangement of the second image is determined is checked as an initial value to determine whether or not it can be arranged in that direction. However, if the arrangement could not be made, the arrangement direction was changed. On the other hand, in the operation example shown in FIG. 6, when an image cannot be arranged, the initial value of the arrangement direction of all the images is changed, and then the possibility of arrangement is confirmed using the initial value for each image. I have to. For example, when the n-th image cannot be arranged, all the initial values of the arrangement directions of the second, third, fourth,. Specifically, the coefficient indicating the arrangement direction determined last for each image is increased by 1 to obtain the next initial value. Then, it is confirmed whether the changed arrangement direction can be arranged as an initial value. In the operation example of FIG. 6, for this reason, a plurality of variables m for storing a coefficient indicating the arrangement direction are used corresponding to each image.

図6に示すフローチャートでは、変数iを画像の順番を表す変数として用いている。例えば2番目の画像がi=2、n番目の画像がi=nである。そして、各画像に対する黄金角の係数mを保持するための変数miを新たに用いている。ここで変数miの添え字iは、画像の順番を表す変数である。例えば、m2が2番目の画像の黄金角の係数mを保持し、mnがn番目の画像の黄金角の係数mを保持する変数である。図6に示す動作例では、画像の配置ができなかった場合に画像方向の初期値を変化させるとき、配置を決定することができた各画像に対して決定された黄金角の係数miを1ずつ増分した値を新たな配置を決定する際の黄金角の係数mの初期値として用いるようにしている。 In the flowchart shown in FIG. 6, the variable i is used as a variable representing the order of images. For example, the second image is i = 2 and the nth image is i = n. A variable mi is newly used to hold the golden angle coefficient m for each image. Wherein subscript variable m i letter i is a variable indicating the order of the images. For example, m 2 is a variable that holds the golden angle coefficient m of the second image, and mn is a variable that holds the golden angle coefficient m of the nth image. In the operation example shown in FIG. 6, when the initial value of the image direction is changed when the image cannot be arranged, the golden angle coefficient m i determined for each image for which the arrangement can be determined. The value incremented by 1 is used as the initial value of the coefficient m of the golden angle when determining a new arrangement.

例えば、最初の条件で、2番目の画像の黄金角の係数m2が0、3番目の画像の黄金角の係数m3が0、4番目の画像の黄金角の係数m4が1、…と決定された後、n番目の画像が配置できなかったとすると、次の条件では、2番目の画像の黄金角の係数m2の初期値を1、3番目の画像の黄金角の係数m3の初期値を1、4番目の画像の黄金角の係数m4の初期値を2、…として再度、各画像の配置が試みられる。 For example, under the first condition, the golden angle coefficient m 2 of the second image is 0, the golden angle coefficient m 3 of the third image is 0, the golden angle coefficient m 4 of the fourth image is 1,. If the n-th image cannot be arranged after the determination, the initial value of the golden angle coefficient m 2 of the second image is set to 1, 2 , and the golden angle coefficient m 3 of the third image under the following conditions: The initial value is set to 1, and the initial value of the golden angle coefficient m 4 of the fourth image is set to 2,...

具体的には、図6に示すステップS204およびステップS214の処理を、図2において対応する処理であるステップS104およびステップS114の処理と異ならせている。なお、図6に示す各ステップS201〜S203、S205〜S213およびS215〜S218は、図2の各ステップS101〜S103、S105〜S113およびS115〜S118と実質的に同一の処理を行うものである。   Specifically, the processing of step S204 and step S214 shown in FIG. 6 is different from the processing of step S104 and step S114, which are the corresponding processing in FIG. Note that steps S201 to S203, S205 to S213, and S215 to S218 shown in FIG. 6 perform substantially the same processing as steps S101 to S103, S105 to S113, and S115 to S118 of FIG.

まず、自動配置する画像数nと領域サイズを取得し(ステップS201)、画像数nと領域サイズから配置する際の各画像のサイズを設定する(ステップS202)。次に、最初の画像の初期位置の決定し(ステップS203)、2番目の画像からn番目の画像に対する変数mi(i=2〜n)を0に初期化する(ステップS204)。次に変数iを2として、2番目の画像を配置対象とする(ステップS205)。 First, the number n of images to be automatically arranged and the region size are acquired (step S201), and the size of each image at the time of placement is set from the number n of images and the region size (step S202). Next, determination of the initial position of the first image (step S203), the variable m i from the second image with respect to the n-th image (i = 2- through n) is initialized to 0 (step S204). Next, the variable i is set to 2, and the second image is set as an arrangement target (step S205).

以降、ステップS206〜S213の処理によって、図2のステップS106〜S113の処理と同様に、i番目の画像に対する配置位置の決定処理が行われる。そして、画像が配置できた場合、画像の位置を決定し(ステップS216)、最後の画像でない場合には(ステップS217で「No」)、変数iを1だけ増加させ、次の画像を選択して(ステップS218)、ステップS206以降の処理が再度実行される。ここで、ステップS216の処理では、i番目の画像の位置を決定したときの黄金角の係数値が変数miに格納された状態となる。 Thereafter, the process of steps S206 to S213 performs the arrangement position determination process for the i-th image, similar to the processes of steps S106 to S113 in FIG. If the image can be arranged, the position of the image is determined (step S216). If it is not the last image (“No” in step S217), the variable i is incremented by 1 and the next image is selected. (Step S218), the processing after Step S206 is executed again. Here, in the processing in step S216, the coefficient values of the golden angle when determining the position of the i-th image is a state of being stored in the variable m i.

一方、現在の初期条件で、黄金角の係数miを144+m2まで変化させてもn枚の画像の配置できなかった場合には(ステップS212で「Yes」)、初期条件を変更して再度配置が試みられる。ここで変数m2は、2番目の画像の黄金角の係数の初期値であり、図2の変数M2に対応している。例えば係数m2=0(あるいはm2=1、m2=2、…)のときは画像方向が0°(あるいは137.5°、275°、…)を配置方向の初期値とする場合であり、そこから144回、回転方向を変更しても画像を配置できなかったときには再び同じ角度0°(あるいは137.5°、275°、…)で配置が試みられることになるので、同じ方向での確認を回避するため初期条件を変更する。その際、図6に示す例では、2番目〜n番目の画像の黄金角の係数m2〜mnの初期値を、それまでに決定された値(あるいは当初の初期値)から1ずつ増分することで変更している(ステップS214)。 On the other hand, if n images cannot be arranged even if the golden angle coefficient mi is changed to 144 + m 2 under the current initial conditions (“Yes” in step S212), the initial conditions are changed and then again. Placement is attempted. Here, the variable m 2 is an initial value of the coefficient of the golden angle of the second image, and corresponds to the variable M2 in FIG. For example, when the coefficient m 2 = 0 (or m 2 = 1, m 2 = 2,...), The image direction is 0 ° (or 137.5 °, 275 °,...) As the initial value in the arrangement direction. Yes, if the image could not be arranged even if the rotation direction was changed 144 times from there, the arrangement will be attempted again at the same angle 0 ° (or 137.5 °, 275 °,...). Change the initial condition to avoid the confirmation at. In this case, in the example shown in FIG. 6, the initial values of the golden angle coefficients m 2 to mn of the second to n-th images are incremented by 1 from the value determined so far (or the initial initial value). This is changed (step S214).

この処理によって、例えば、2番目の画像の黄金角の係数m2が0、3番目の画像の黄金角の係数m3が1、…と決定された後、配置できない画像ができ、再度配置処理を行う場合には、2番目の画像の黄金角の係数m2の初期値を1、3番目の画像の黄金角の係数m3の初期値を2、…として再度、各画像の配置が試みられることになる。 By this processing, for example, after the golden angle coefficient m 2 of the second image is determined to be 0, and the golden angle coefficient m 3 of the third image is determined to be 1,. If the initial value of the golden angle coefficient m 2 of the second image is 1, the initial value of the golden angle coefficient m 3 of the third image is 2, and so on. Will be.

なお、本発明の実施の形態は、コンピュータとそのコンピュータで実行されるプログラムとから実現することができ、そのプログラムは通信回線やコンピュータで読み取り可能な記録媒体を介して配付することが可能である。また、図1に示す各部は、さらに分割したり、あるいは統合したり、あるいは通信回線を介して分散して配置するようにしたりすることができる。   The embodiment of the present invention can be realized by a computer and a program executed by the computer, and the program can be distributed via a communication line or a computer-readable recording medium. . Further, the units shown in FIG. 1 can be further divided, integrated, or distributed via communication lines.

なお、上記では黄金角を基にして本発明について説明したが、本発明の態様は次のような特徴を有するものとしてとらえることも可能である。すなわち、本発明は、特定の領域内に一つあるいは複数の画像の配置を自動的に決定するものであって、フィボナッチ数列を用いて画像の配置を決定することを特徴とするものとしてとらえることができる。ここで、フィボナッチ数列を用いる際には、角度に対してフィボナッチ数列を適用して画像の配置を決定することを特徴とするものとしてとらえることができる。あるいは、フィボナッチ数列を用いる際に、距離に対してフィボナッチ数列を適用して画像の配置を決定することを特徴とするものとすることができる。あるいは、上記では特に実施の形態を述べてはいないが、フィボナッチ数列を用いる際に、画像の方向(傾き)に対してフィボナッチ数列を適用して画像の配置を決定するものとすることができる。あるいは、フィボナッチ数列を用いる際に、フィボナッチ数列があらわれる等角らせん(極点と曲線上の任意の点を結ぶ直線が、その点における曲線の接線と常に同じ角度で交わるらせん)を適用して画像の配置を決定することを特徴とするものとすることができる。   In the above description, the present invention has been described based on the golden angle. However, the aspect of the present invention can also be regarded as having the following characteristics. That is, the present invention automatically determines the arrangement of one or a plurality of images in a specific area, and is characterized by determining the arrangement of images using a Fibonacci sequence. Can do. Here, when the Fibonacci sequence is used, it can be considered that the arrangement of the image is determined by applying the Fibonacci sequence to the angle. Alternatively, when the Fibonacci sequence is used, the image arrangement may be determined by applying the Fibonacci sequence to the distance. Alternatively, although the embodiment is not particularly described above, when the Fibonacci sequence is used, the arrangement of the images can be determined by applying the Fibonacci sequence to the direction (tilt) of the image. Alternatively, when using the Fibonacci sequence, apply an equiangular spiral (a straight line connecting a pole and any point on the curve that always intersects the tangent of the curve at that point) at the same angle as the Fibonacci sequence. It may be characterized by determining the arrangement.

ここで、フィボナッチ数列を用いる際には、植物の葉序に見られる黄金角(130°〜144°の角度で、最も好ましい事例は約137.5°)を元に画像の配置を決定するものとすることができる。また、n(nは2以上の整数)番目の画像の位置を決定する際、m(mは0以上の整数)番目の黄金角に沿った線上で、初期位置からの距離を徐々にずらす際に、距離の増分をフィボナッチ数(1,1,2,3,5,8,13,21,34,55,89,144,233,…の中の一つ、あるいは、複数の組み合わせ、例えば、21と34を交互に設定)として伸ばしながら他の画像との重なりがなくなった時点、あるいは一定の間隔以上画像間の距離が離れた時点を、n番目の画像の位置とすることができる。あるいは、n番目の画像の位置を決定する際、m番目の黄金角に沿った線上で、初期位置からの距離を徐々にずらす際の距離の増分がフィボナッチ数列に従っており、他の画像との重なりがなくなった時点、あるいは一定の間隔以上画像間の距離が離れた時点を、n番目の画像の位置とすることができる。   Here, when the Fibonacci sequence is used, the image layout is determined based on the golden angle (130 ° to 144 °, the most preferable example being about 137.5 °) found in the vegetation of plants. It can be. Also, when determining the position of the nth image (where n is an integer of 2 or more), the distance from the initial position is gradually shifted on the line along the mth (m is an integer of 0 or more) golden angle. In addition, the increment of the distance is set to one of Fibonacci numbers (1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, 233,. The position of the n-th image can be the time when the overlap with other images disappears or the distance between the images is more than a certain distance while stretching. Alternatively, when determining the position of the nth image, the increment of the distance when gradually shifting the distance from the initial position on the line along the mth golden angle follows the Fibonacci sequence, and overlaps with other images The position of the n-th image can be set at a point in time when the image disappears or when the distance between the images exceeds a certain interval.

また、全画像の位置を計算した結果、一つあるいはそれ以上の画像の位置が定まらなかった場合、初期位置を1ピクセルあるいは複数ピクセル分ずらして再計算することを特徴とするものとしてとらえることができる。さらに、初期位置をずらして再計算しても、一つあるいはそれ以上の画像の位置が定まらなかった場合、初期位置を再度ずらして計算し、全画像の位置が定まるまで反復計算することを特徴とするものとしてとらえることもできる。   Further, when the position of one or more images is not determined as a result of calculating the positions of all the images, the initial position is shifted by one pixel or a plurality of pixels and recalculated. it can. Furthermore, if the position of one or more images is not determined even after shifting the initial position and recalculating, the initial position is shifted again and the calculation is repeated until the positions of all the images are determined. It can also be regarded as.

本発明の画像配置装置の構成例を示すブロック図。The block diagram which shows the structural example of the image arrangement | positioning apparatus of this invention. 図1の構成の動作例を示すフローチャート。The flowchart which shows the operation example of a structure of FIG. 図1および図2の構成およびフローチャートによる画像配置例(処理途中)を示す図。The figure which shows the example of image arrangement | positioning (during a process) by the structure and flowchart of FIG. 1 and FIG. 図1および図2の構成およびフローチャートによる画像配置例(処理終了後)を示す図。The figure which shows the example of image arrangement | positioning (after completion | finish of a process) by the structure and flowchart of FIG. 1 and FIG. 図1の構成の他の動作例を示すフローチャート。The flowchart which shows the other operation example of the structure of FIG. 図1の構成のさらに他の動作例を示すフローチャート。The flowchart which shows the other operation example of the structure of FIG.

符号の説明Explanation of symbols

1 配置領域(特定領域)、101 配置領域サイズ取得部、102 配置画像数取得部、103 画像サイズ設定部、104 初期位置設定部、105 配置角度設定部、106 画像間距離設定部、107 画像位置算出部、108 重なり検出部、109 領域外検出部、110 配置角度変更部
DESCRIPTION OF SYMBOLS 1 Arrangement area (specific area), 101 Arrangement area size acquisition part, 102 Arrangement image number acquisition part, 103 Image size setting part, 104 Initial position setting part, 105 Arrangement angle setting part, 106 Inter-image distance setting part, 107 Image position Calculation unit, 108 Overlap detection unit, 109 Out-of-region detection unit, 110 Arrangement angle change unit

Claims (7)

特定の領域内に複数の電子画像を自動的に配置する装置であって、
130°〜144°の角度を整数倍した整数倍角度に基づいて各画像の配置角度を決定する配置角度決定手段と、
配置角度決定手段で決定された配置角度の方向による各画像の重なりに応じて各画像の配置位置を決定する配置位置決定手段と、
配置位置決定手段によって特定の領域内に配置位置を決定できなかった画像があった場合、配置角度決定手段が基準とする所定の角度の整数倍値を変更する配置角度変更手段と を具備することを特徴とする画像配置装置。
An apparatus for automatically arranging a plurality of electronic images in a specific area,
An arrangement angle determining means for determining an arrangement angle of each image based on an integer multiple angle obtained by multiplying an angle of 130 ° to 144 ° by an integer;
An arrangement position determining means for determining an arrangement position of each image in accordance with the overlap of the images according to the direction of the arrangement angle determined by the arrangement angle determining means;
Arrangement angle changing means for changing an integer multiple of a predetermined angle as a reference by the arrangement angle determining means when there is an image whose arrangement position could not be determined within a specific area by the arrangement position determining means. An image arrangement device characterized by the above.
前記配置角度決定手段が、1番目に画像を配置する初期位置を回転の中心位置として各画像の配置角度を決定する
ことを特徴とする請求項1記載の画像配置装置。
The image arrangement apparatus according to claim 1, wherein the arrangement angle determination unit determines an arrangement angle of each image with an initial position where the image is first arranged as a rotation center position.
前記配置角度決定手段が、360°/(1+(1+√5)/2)で求まる黄金角を整数倍した前記整数倍角度に基づいて各画像の配置角度を決定することを特徴とする請求項1又は2記載の画像配置装置。   The arrangement angle determining means determines an arrangement angle of each image based on the integer multiple angle obtained by multiplying a golden angle obtained by 360 ° / (1+ (1 + √5) / 2) by an integer. 3. The image arrangement device according to 1 or 2. 前記配置角度変更手段が、配置位置が決定された画像に対して基準として用いられた所定の角度の整数倍値を所定量増分させた後、前記配置角度決定手段によって各画像の配置角度を再決定させ、
前記配置位置決定手段が、所定量ずつ画像をずらしながら重なりが無くなった位置に画像の配置位置を決定する
ことを特徴とする請求項1〜3のいずれか1項に記載の画像配置装置。
The arrangement angle changing means increments an integer multiple of a predetermined angle used as a reference for the image for which the arrangement position has been determined by a predetermined amount, and then the arrangement angle determining means reconfigures the arrangement angle of each image. Let
The image arrangement apparatus according to any one of claims 1 to 3, wherein the arrangement position determination unit determines an image arrangement position at a position where there is no overlap while shifting the image by a predetermined amount.
前記配置角度変更手段が、配置位置が決定された画像に対して基準として用いられた所定の角度の整数倍値を所定量増分させた後、前記配置角度決定手段によって各画像の配置角度を再決定させ、
前記配置位置決定手段が、所定量ずつ画像をずらしながら重なりが無くなり且つ一定値以上画像間の距離が離れた位置に画像の配置位置を決定する
ことを特徴とする請求項1〜3のいずれか1項に記載の画像配置装置。
The arrangement angle changing means increments an integer multiple of a predetermined angle used as a reference for the image for which the arrangement position has been determined by a predetermined amount, and then the arrangement angle determining means reconfigures the arrangement angle of each image. Let
The arrangement position determining means determines the arrangement position of the image at a position where there is no overlap and the distance between the images is a predetermined value or more while shifting the image by a predetermined amount. The image arrangement device according to item 1.
特定の領域内に複数の電子画像を自動的に配置する方法であって、
配置角度決定手段が130°〜144°の角度を整数倍した整数倍角度に基づいて各画像の配置角度を決定する配置角度決定過程と、
配置位置決定手段が配置角度決定過程で決定された配置角度の方向による各画像の重なりに応じて各画像の配置位置を決定する配置位置決定過程と、
配置角度変更手段が配置位置決定過程で特定の領域内に配置位置を決定できなかった画像があった場合、配置角度決定過程で基準とする所定の角度の整数倍値を変更する配置角度変更過程と
を有することを特徴とする画像配置方法。
A method of automatically arranging a plurality of electronic images in a specific area,
An arrangement angle determining process in which the arrangement angle determining means determines an arrangement angle of each image based on an integer multiple angle obtained by multiplying an angle of 130 ° to 144 ° by an integer;
An arrangement position determination process in which the arrangement position determination means determines the arrangement position of each image according to the overlap of the images according to the direction of the arrangement angle determined in the arrangement angle determination process;
An arrangement angle changing process in which the arrangement angle changing means changes an integer multiple of a predetermined angle as a reference in the arrangement angle determining process when there is an image in which the arrangement position cannot be determined within a specific area in the arrangement position determining process. An image arrangement method comprising:
特定の領域内に複数の電子画像を自動的に配置するためのプログラムであって、
配置角度決定手段が130°〜144°の角度を整数倍した整数倍角度に基づいて各画像の配置角度を決定する配置角度決定過程と、
配置位置決定手段が配置角度決定過程で決定された配置角度の方向による各画像の重なりに応じて各画像の配置位置を決定する配置位置決定過程と、
配置角度変更手段が配置位置決定過程で特定の領域内に配置位置を決定できなかった画像があった場合、配置角度決定過程で基準とする所定の角度の整数倍値を変更する配置角度変更過程と
をコンピュータを用いて実行するための記述を含むことを特徴とする画像配置プログラム。
A program for automatically arranging a plurality of electronic images in a specific area,
An arrangement angle determining process in which the arrangement angle determining means determines an arrangement angle of each image based on an integer multiple angle obtained by multiplying an angle of 130 ° to 144 ° by an integer;
An arrangement position determination process in which the arrangement position determination means determines the arrangement position of each image according to the overlap of the images according to the direction of the arrangement angle determined in the arrangement angle determination process;
An arrangement angle changing process in which the arrangement angle changing means changes an integer multiple of a predetermined angle as a reference in the arrangement angle determining process when there is an image in which the arrangement position cannot be determined within a specific area in the arrangement position determining process. An image layout program including a description for executing and using a computer.
JP2004029496A 2003-08-29 2004-02-05 Image arrangement apparatus and method Expired - Fee Related JP3915784B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004029496A JP3915784B2 (en) 2004-02-05 2004-02-05 Image arrangement apparatus and method
US10/924,812 US7308650B2 (en) 2003-08-29 2004-08-25 Image layout device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004029496A JP3915784B2 (en) 2004-02-05 2004-02-05 Image arrangement apparatus and method

Publications (2)

Publication Number Publication Date
JP2005222311A JP2005222311A (en) 2005-08-18
JP3915784B2 true JP3915784B2 (en) 2007-05-16

Family

ID=34997888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004029496A Expired - Fee Related JP3915784B2 (en) 2003-08-29 2004-02-05 Image arrangement apparatus and method

Country Status (1)

Country Link
JP (1) JP3915784B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4665933B2 (en) 2006-07-04 2011-04-06 セイコーエプソン株式会社 Document editing support apparatus, program, and storage medium
JP2010128587A (en) * 2008-11-25 2010-06-10 Sony Computer Entertainment Inc Image display, image display method, program, and information storage medium
EP2352118B1 (en) 2008-11-25 2017-08-16 Sony Interactive Entertainment Inc. Image display device, method for displaying image and information storing medium
US9383916B2 (en) * 2009-09-30 2016-07-05 Microsoft Technology Licensing, Llc Dynamic image presentation

Also Published As

Publication number Publication date
JP2005222311A (en) 2005-08-18

Similar Documents

Publication Publication Date Title
US7308650B2 (en) Image layout device
WO2019201042A1 (en) Image object recognition method and device, storage medium, and electronic device
CN110349082B (en) Image area clipping method and device, storage medium and electronic device
CN109614941B (en) Embedded crowd density estimation method based on convolutional neural network model
CN109523503A (en) A kind of method and apparatus of image cropping
CN109829453A (en) It is a kind of to block the recognition methods of text in card, device and calculate equipment
JP2019501454A (en) Computer system and method for upsampling images
JP4749051B2 (en) Image processing
CN105447190B (en) Picture retrieval method, device and server based on convolutional neural networks
US20100124383A1 (en) Systems and methods for resolution-invariant image representation
US9098534B2 (en) Image display system, image display method, social network service system, and computer-readable medium
EP2446611B1 (en) Compilation of images
WO2004109596A2 (en) Image region filling by example-based inpainting
CN105868797A (en) Network parameter training method, scene type identification method and devices
US20110211753A1 (en) Automatic processing of pre-selected filters that are associated with each photo location within the template in relation to creating the photobook
JP3915784B2 (en) Image arrangement apparatus and method
CN109671039B (en) Image vectorization method based on layering characteristics
CN110443877A (en) Method, apparatus, terminal device and the storage medium of model rendering
JP5229360B2 (en) Image processing apparatus, image data conversion method, print order receiving apparatus, program
CN110796583A (en) Stylized visible watermark adding method
JP2006024183A (en) Image arrangement device and method
JP5594282B2 (en) Image processing device
JP3633608B2 (en) Image arrangement apparatus and method
CN108171650A (en) One kind has the function of that stroke optimizes Chinese flower ink and wash style stroke generation method
CN109345487B (en) Image enhancement method and computing device

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061031

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070129

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130216

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees