WO2016031254A1 - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2016031254A1
WO2016031254A1 PCT/JP2015/004356 JP2015004356W WO2016031254A1 WO 2016031254 A1 WO2016031254 A1 WO 2016031254A1 JP 2015004356 W JP2015004356 W JP 2015004356W WO 2016031254 A1 WO2016031254 A1 WO 2016031254A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
information
information processing
processing apparatus
geometric feature
Prior art date
Application number
PCT/JP2015/004356
Other languages
English (en)
French (fr)
Inventor
嘉人 大木
松一郎 守屋
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/329,805 priority Critical patent/US10134164B2/en
Priority to JP2016544968A priority patent/JP6677160B2/ja
Priority to EP15836761.5A priority patent/EP3188130A4/en
Publication of WO2016031254A1 publication Critical patent/WO2016031254A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals

Definitions

  • This technology relates to a technology such as an information processing device that generates image data based on geometric feature information obtained from original image data.
  • image data for output is obtained by arranging image data captured by a digital still camera in a predetermined area of decorative image data (eg, album page image data) prepared in advance.
  • decorative image data eg, album page image data
  • an object of the present technology is to provide a technology capable of generating image data including original image data in which the geometric characteristics of the original image data are reflected.
  • the information processing apparatus includes an acquisition unit and a generation unit.
  • the acquisition unit acquires geometric feature information extracted by analyzing the first image data.
  • the generation unit generates second image data based on the geometric feature information, a first region in which corresponding image data corresponding to the first image data is arranged, and the second image Third image data including the second area in which the data is arranged is generated.
  • the “corresponding image data” may be image data of the first image data itself, or some changes are made to the first image data such as image data having a resolution different from that of the first image data. It may be image data.
  • second image data reflecting the geometric characteristics of the first image data is generated, and the corresponding image data corresponding to the first image data and the second image data are included.
  • 3 image data is generated. Accordingly, it is possible to generate the third image data including the original image data (corresponding image data) that reflects the geometric characteristics of the original image data (first image data).
  • the third image data reflects the geometric features of the first image data in the second image data in the second region, the image having a unified design and high designability as a whole. It becomes.
  • the acquisition unit acquires the color information extracted by analyzing the first image data, and the generation unit generates second image data based on the color information. Also good.
  • the acquisition unit acquires a plurality of geometric feature information obtained from the first image data, and the generation unit determines a priority for each of the plurality of geometric feature information.
  • the second image data may be generated based on geometric feature information selected based on the priority.
  • the acquisition unit may acquire related information related to the first image data, and the generation unit may reflect the related information as text data in the second image data. .
  • the design of the third image data can be further improved, and useful information can be provided to the user.
  • the second area may be an area around the first area.
  • the generation unit may determine a position of the text data in the second image data based on a position of a geometric feature in the second image data.
  • the acquisition unit acquires information on a centroid position of the first image data obtained by analyzing the first image data, and the generation unit is based on the centroid position, The positions of the first area and the second area may be determined.
  • the acquisition unit acquires information on a centroid position of the first image data obtained by analyzing the first image data, and the generation unit is based on the centroid position, You may determine the position of the said 1st area
  • the acquisition unit acquires feature information different from the geometric feature information extracted by analyzing the first image data, and the generation unit is based on the feature information.
  • the number of geometric feature information to be reflected in the second image data may be determined.
  • the acquisition unit acquires related information related to the first image data
  • the generation unit is configured to reflect a geometry to be reflected in the second image data based on the related information.
  • the number of target feature information may be determined.
  • the information processing apparatus may further include an extraction unit that analyzes the first image data and extracts geometric feature information.
  • the extraction unit analyzes the first image data, extracts feature information different from the geometric feature information, and extracts the geometric information to be extracted based on the feature information.
  • the number of feature information or the range of numbers may be determined.
  • the acquisition unit acquires related information related to the first image data, and determines a number or a range of the number of the geometric feature information to be acquired based on the related information. It is good.
  • the generation unit may reflect the geometric feature information in the corresponding image data.
  • the acquisition unit acquires processing prohibition / permission information as related information related to the first image data
  • the generation unit is configured to generate the geometry based on the processing prohibition / permission information. It may be determined whether or not the characteristic feature information is reflected in the corresponding image data.
  • the generation unit analyzes the first image data and determines whether or not the text data to be reflected in the second image is included in the first image data. Then, the size of the text data in the second image data may be changed according to whether or not the text data is included in the first image data.
  • An information processing system includes an analysis device and a generation device.
  • the analysis device analyzes first image data and extracts geometric feature information from the first image data.
  • the generation device acquires the geometric feature information, generates second image data based on the geometric feature information, and corresponding image data corresponding to the first image data is arranged.
  • Third image data including one region and a second region in which the second image data is arranged is generated.
  • An information processing method includes obtaining geometric feature information extracted by analyzing first image data; Generating second image data based on the geometric feature information; Generating a third image data including a first area in which corresponding image data corresponding to the first image data is arranged, and a second area in which the second image data is arranged. .
  • the program according to the present technology is stored in a computer. Obtaining geometric feature information extracted by analyzing the first image data; Generating second image data based on the geometric feature information; Executing a step of generating third image data including a first area in which corresponding image data corresponding to the first image data is arranged and a second area in which the second image data is arranged;
  • FIG. 14 is a flowchart showing a flow of design image data projection processing by an information processing system according to another embodiment of the present technology. It is a figure showing an example of design image data projected with an information processing system concerning other embodiments of this art. It is a figure showing an example of design image data projected with an information processing system concerning other embodiments of this art. It is a figure showing an example of design image data projected with an information processing system concerning other embodiments of this art. It is a figure showing an example of design image data projected with an information processing system concerning other embodiments of this art. It is a figure showing an example of design image data projected with an information processing system concerning other embodiments of this art.
  • FIG. 1 is a block diagram illustrating an electrical configuration of the information processing apparatus 10 according to the present technology.
  • the information processing apparatus 10 includes a control unit (extraction unit, acquisition unit, generation unit) 1, a storage unit 2, a display unit 3, an input unit 4, and a communication unit 5.
  • Examples of the information processing apparatus 10 include, but are not limited to, a PC (Personal Computer), a game machine, a television device, a mobile phone (including a smartphone), a portable game machine, and a portable music player.
  • the storage unit 2 includes a non-volatile memory (for example, ROM (Read Only Memory)) in which various programs necessary for the processing of the control unit 1 are stored, and a volatile memory (as a work area of the control unit 1).
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the various programs may be read from a portable recording medium such as an optical disk or a semiconductor memory.
  • the display unit 3 is configured by, for example, a liquid crystal display, an EL display (EL: Electro Luminescence), or the like, and displays various images on the screen based on the control of the control unit 1.
  • the display unit 3 may be formed integrally with the information processing apparatus 10 or may be formed separately from the information processing apparatus 10 (particularly, the information processing apparatus 10 is a PC or a game machine). If).
  • the input unit 4 inputs an instruction from the user and outputs a signal according to the user's instruction to the control unit 1.
  • the input unit 4 includes, for example, a keyboard, a mouse, and the like, and includes a touch sensor provided on the display unit 3.
  • the input unit 4 may be a game controller.
  • the input unit 4 may be a television remote controller.
  • the control unit 1 is constituted by a CPU (Central Processing Unit) or the like.
  • the control unit 1 executes various calculations based on various programs stored in the storage unit 2 and controls each unit of the information processing apparatus 10 in an integrated manner.
  • CPU Central Processing Unit
  • control unit 1 analyzes the original image data 11 (first image data, see FIG. 3), and executes a process of extracting geometric features from the original image data 11.
  • the control unit 1 acquires the extracted geometric features and generates background image data 12 (second image data, see FIG. 3) reflecting the geometric features.
  • the control unit 1 then converts the original image data 11 (corresponding image data: the original image data itself or image data to which some changes such as resolution, size change, trimming processing, color adjustment processing, etc. have been added.
  • design image data 13 (third image data, see FIG. 3) including background image data 12 is executed.
  • Examples of the original image data 11 include image data of a music jacket, image data of a scene of a television program, image data captured by a digital still camera (not shown), and the like.
  • image data 11 is image data of a music jacket.
  • the communication unit 5 is configured to be able to communicate with other devices such as a server device and a digital still camera on the network.
  • the communication unit 5 communicates with a server device on the network in accordance with an instruction from the control unit 1, and acquires image data of a music jacket or a scene of a television program from the server device, The related information (metadata) associated with these image data is acquired.
  • image data and related information stored in a recorder that records the television program may be used.
  • the communication unit 5 communicates with the digital still camera in accordance with an instruction from the control unit 1 to acquire image data captured by the digital still camera, or related information (metadata) associated with the image data. ) Or get.
  • the communication part 5 may acquire image data and related information from the server apparatus on a network.
  • the related information is a music title, artist information (artist name, nationality, etc.), genre information (JAZZ, classic, rock, metal, etc.), Tempo information (fast and slow), playback time, etc.
  • the related information includes a television program name, a performer name, a broadcast date and time, and the like.
  • the related information includes shooting date / time, shooting location, shutter speed, and the like.
  • FIG. 2 is a flowchart showing a process when the design image data 13 is generated from the original image data 11.
  • FIG. 3 is a diagram showing a state when the design image data 13 is generated from the original image data 11.
  • FIG. 3 shows a state in which design image data 13 is generated from image data of a music jacket.
  • the information processing apparatus 10 has already acquired the original image data 11 and related information from the server device, the digital still camera, or the like via the communication unit 5, and the original image data 11
  • the related information is already stored in the storage unit 2.
  • the control unit 1 starts the process shown in FIG. 2 at a predetermined timing.
  • Various timings can be adopted as the processing start timing. For example, timing when the original image data 11 is acquired via the communication unit 5, timing when an instruction from the user is input by the input unit 4 Etc.
  • the control unit 1 analyzes the original image data 11, and from the original image data 11, geometric features, color information, face information, and text. Information is extracted (step 101).
  • the geometric feature means a straight line, a circle, an arc, a polygon (a combination of straight lines), or the like.
  • Hough transform is used as a method for extracting geometric features.
  • FIG. 3 shows an example of the original image data 11 on the left side of FIG.
  • an image of a woman playing a musical instrument (clarinet) and image data of a jacket including a song title are shown as an example.
  • FIG. 4 is a flowchart showing processing when extracting geometric features. Note that FIG. 4 shows processing when a straight line is extracted as a geometric feature.
  • the control unit 1 sets a threshold value (t) used for line extraction to an initial value (T_START) (step 201).
  • the control unit 1 extracts a straight line from the original image data 11 using the Hough transform (step 202).
  • the Hough transform feature points are detected from the original image data 11 as preprocessing, and straight lines are extracted based on the feature points. Note that as the preprocessing, edge sharpening processing by contour detection may be executed instead of feature point detection.
  • the detected feature points are indicated by black circles on the left side in the center of FIG.
  • This figure shows an example in which feature points are detected in a portion corresponding to a musical instrument (clarinet) and a portion corresponding to a hand playing the musical instrument. In this figure, only some of the detected feature points are displayed for convenience of explanation.
  • the right-hand diagram at the center of FIG. 3 shows a straight line extracted by the Hough transform.
  • This figure shows an example in which two straight lines are extracted at an angle corresponding to the inclination of the musical instrument (clarinet) at a position corresponding to the position of the musical instrument (clarinet).
  • Step 203 the control unit 1 next determines whether or not the current number of trials (k) in the straight line extraction has reached the maximum number of trials (K_MAX).
  • K_MAX the maximum number of trials
  • step 204 the control unit 1 determines that the number of extracted straight lines (n) is larger than the minimum number of straight lines to be extracted (N_MIN: for example, 2) and the number of straight lines to be extracted. It is determined whether it is smaller than the maximum value (N_MAX: for example, 10). That is, the control unit 1 determines whether or not the number (n) of the extracted straight lines is within a preset number range.
  • N_MIN minimum number of straight lines to be extracted
  • N_MAX for example, 10
  • the range of the number of straight lines to be extracted may be determined based on values input by the user via the input unit 4 or extracted from the original image data 11. Determined based on a feature different from the geometric feature.
  • the feature different from the geometric feature means a spatial frequency, a color distribution and the like in the original image data 11.
  • control unit 1 determines that the original image at the time before step 204 is executed.
  • the data 11 is analyzed to detect the spatial frequency and color distribution from the original image data 11.
  • control part 1 sets the value of N_MIN and N_MAX so that the value of N_MIN and N_MAX becomes high, so that a spatial frequency becomes high. Further, the control unit 1 sets the values of N_MIN and N_MAX so that the values of N_MIN and N_MAX become higher as the color distribution becomes more complicated. Note that both the spatial frequency and the color distribution may be used, or one of them may be used.
  • the range of the number of straight lines to be extracted may be determined based on predetermined related information among related information (metadata) related to the original image data 11.
  • the control unit 1 determines the range of the number of straight lines to be extracted based on genre information (JAZZ, classic, rock, metal, etc.) and tempo information (fast, slow).
  • the image data of the music jacket tends to be more complicated in design when the genre is rock or metal than when the genre is JAZZ or classic.
  • the image data of the music jacket tends to have a more complicated design when the tempo is faster than when the tempo is slower. Therefore, this relationship is used to determine the range of the number of straight lines to be extracted.
  • the control unit 1 sets the values of N_MIN and N_MAX so that the values of N_MIN and N_MAX are higher than when the genre is JAZZ or classic. Further, the control unit 1 sets the values of N_MIN and N_MAX so that the values of N_MIN and N_MAX increase as the tempo increases. Note that both genre information and tempo information may be used, or one of them may be used.
  • the range of the number of straight lines to be extracted may be determined using both features (spatial frequency, color distribution) different from geometric features and predetermined related information (genre information, tempo information).
  • the range of the number of straight lines to be extracted is at least one of features (spatial frequency, color distribution) different from geometric features and predetermined related information (genre information, tempo information). The case where it was determined based on was demonstrated. On the other hand, not the range of the number of straight lines to be extracted but the number of straight lines to be extracted is different from geometric features (spatial frequency, color distribution) and predetermined related information (genre information, tempo information) It may be determined based on at least one.
  • step 204 when the number (n) of the extracted straight lines is within the preset number range (YES in step 204), the control unit 1 proceeds to the next step 210. On the other hand, when the number (n) of the extracted straight lines is not within the preset number range (NO in step 204), the control unit 1 should extract the number (n) of the extracted straight lines. It is determined whether it is smaller than the minimum value (N_MIN) of the number of straight lines (step 205).
  • the control unit 1 sets the current threshold value (t) to a predetermined amount ( ⁇ t ) Lower (step 206).
  • the determination in step 205 is negative (NO in step 205), that is, if the number of extracted straight lines (n) is larger than the maximum number of straight lines to be extracted (N_MAX), control is performed.
  • the unit 1 increases the current threshold value (t) by a predetermined amount ( ⁇ t) (step 207).
  • the control unit 1 When the threshold value (t) is lowered or raised by a predetermined amount ( ⁇ t), the control unit 1 next determines that the threshold value (t) is larger than the minimum value (T_MIN) of the threshold value and the maximum value (T_MAX) of the threshold value. ) Is determined (step 208). That is, the control unit 1 determines whether or not the threshold value (t) is within a preset threshold range.
  • the control unit 1 proceeds to step 210.
  • the control unit 1 sets the amount of change ( ⁇ t) in the threshold value (step 209).
  • the threshold change amount ( ⁇ t) is set as follows. First, when the number (n) of straight lines is smaller than N_MIN in the previous trial and the number (n) of straight lines is smaller than N_MIN in the current trial, the control unit 1 changes the current threshold value.
  • the amount ( ⁇ t) is set to the same value (or a larger value than the previous time) as the previous threshold change amount.
  • the change amount ( ⁇ t) is set to the same value as the previous threshold change amount (or a value greater than the previous value).
  • the first threshold change amount ( ⁇ t) is set to a large value to some extent.
  • control unit 1 changes the current threshold value.
  • the amount ( ⁇ t) is set to a value smaller than the previous threshold change amount.
  • the change amount ( ⁇ t) is set to a value smaller than the previous change amount of the threshold value.
  • the number of straight lines (n) can be quickly converged within the range of the number of straight lines to be extracted.
  • the control unit 1 proceeds to step 210.
  • step 210 the control unit 1 executes the process of acquiring the extracted straight line and determining the priority for this straight line.
  • the following indicators are used when determining this priority.
  • control unit 1 may determine the priority using all of (1) to (4), or may use a part of (1) to (4). Priority may be determined.
  • the original image data 11 is analyzed to extract not only geometric features but also color information.
  • the color information all colors used in the original image data 11 may be extracted, or some colors may be extracted.
  • the priority is set so that the priority of the color increases as the area of the color increases.
  • priorities are set so that the priorities are lower than chromatic colors.
  • the background color for example, blue
  • the color of the clothes worn by the woman for example, red
  • the color of the clarinet for example, brown
  • the control unit 1 extracts face information, text information, and the like from the original image data 11 in addition to geometric features and color information.
  • the face information is face area information, face center position information, etc.
  • the text information is text character information ("music name" in the example shown in FIG. 3) or text area information. Information on the center position of text.
  • FIG. 5 is a diagram illustrating a state when the original image data 11 is arranged within a predetermined frame.
  • a state where text data is arranged in addition to the original image data 11 in the frame is shown.
  • the lower diagram in FIG. 5 shows a state where only the original image data 11 is arranged in the frame.
  • the shape of the frame (the shape of the second region) is not limited to a rectangle.
  • the shape of the frame may be a circle, an ellipse, a triangle, a pentagon or more polygon.
  • the area in which the original image data 11 is arranged is called a first area A1
  • the other area in which the background image data 12 is arranged is the first area A1. This is referred to as area 2 of A2.
  • step 102 the control unit 1 first determines the position of the center of gravity in the original image data 11. In determining the position of the center of gravity, face area information, face center position information, text area information, text center position information, and feature point position information (refer to the black circles in FIG. 3, left center figure) At least one of them is used.
  • the center of gravity position in the original image data 11 is indicated by a white circle.
  • the control unit 1 acquires information on the position of the center of gravity, and based on the information, determines the position where the original image data 11 should be placed in the frame (that is, the first area A1 and The position of the second area A2 is determined).
  • the control unit 1 controls the side where the center of gravity position is biased in the original image data 11 (inside the frame The original image data 11 is arranged on the left side of FIG. Then, the control unit 1 arranges the text data on the side opposite to the side where the original image data 11 is arranged in the frame (that is, arranges the text data in a predetermined area in the second area A2). .
  • the control unit 1 when only the original image data 11 is arranged in the frame, the control unit 1 is opposite to the side where the center of gravity position is biased in the original image data 11.
  • the original image data 11 is arranged (on the right side in the frame).
  • the data arranged in the frame as the text data is predetermined related information among the related information (metadata) related to the original image data 11.
  • the text data arranged in the frame is a song name, artist name, genre name, etc. when the original image data 11 is image data of a song jacket.
  • the text data arranged in the frame is a program name, performer name, broadcast date and time, and the like.
  • the image data is image data captured by a digital still camera
  • the text data arranged in the frame is the shooting date and time, the shooting location, and the like.
  • the control unit 1 next causes the background in which the geometric features in the original image data 11 are reflected.
  • Image data 12 is generated, and design image data 13 including original image data (corresponding image data) 11 and background image data 12 is generated (step 103).
  • step 103 first, the control unit 1 selects a predetermined number of straight lines to be reflected in the background image data 12 from a plurality of straight lines extracted from the original image data 11. At this time, the control unit 1 executes processing for preferentially selecting a straight line having a high priority.
  • the number of straight lines to be reflected in the background image data 12 may be determined based on a value input by the user via the input unit 4 or extracted from the original image data 11. It may be determined based on a feature (spatial frequency, color distribution) different from the geometric feature.
  • the control unit 1 When the number of straight lines to be reflected in the background image data 12 is determined by the spatial frequency, color distribution, etc., the control unit 1 increases the number of straight lines to be reflected in the background image data 12 as the spatial frequency increases. Thus, the number of straight lines is set. Further, the control unit 1 sets the number of straight lines so that the number of straight lines to be reflected in the background image data 12 increases as the color distribution becomes more complicated. Note that both the spatial frequency and the color distribution may be used, or one of them may be used.
  • the number of straight lines to be reflected in the background image data 12 may be determined based on predetermined related information among related information (metadata) related to the original image data.
  • the control unit 1 determines the number of straight lines to be reflected in the background image data 12 based on genre information (JAZZ, classic, rock, metal, etc.) and tempo information (fast, slow).
  • the control unit 1 sets the number of straight lines so that the number of straight lines to be reflected is larger than when the genre is JAZZ or classic. Further, the control unit 1 sets the number of straight lines so that the number of straight lines to be reflected increases as the tempo increases. Note that both genre information and tempo information may be used, or one of them may be used.
  • the number of straight lines to be reflected in the background image data 12 is determined using both features (spatial frequency, color distribution) different from geometric features and predetermined related information (genre information, tempo information). Also good.
  • control unit 1 When the straight line is selected, the control unit 1 next executes a process of extending the straight line to the entire second area A2.
  • a process of extending the straight line to the entire second area A2 In the diagram on the right side of FIG. 3, an example in which two straight lines are extended to the second region A2 is shown. In this way, background image data 12 reflecting the geometric characteristics of the original image data 11 is generated.
  • the control unit 1 acquires the color information extracted from the original image data 11, and based on this information, fills the area divided by the straight line. Execute. That is, the control unit 1 executes processing for reflecting the color of the original image data 11 on the background image data 12.
  • FIG 3 shows an example in which two narrow areas sandwiched between two straight lines are filled with the color of the clarinet (brown).
  • one of the remaining two areas is filled with the color of the clothes worn by the woman (red), and the other area is the background color (blue) of the original image data 11.
  • An example in the case of being filled with is shown.
  • the color used in the most area in the original image data 11 may be used in the widest area in the second area A2.
  • the color extracted from the original image data 11 may be used for the outline of the straight line as well as the area sandwiched between the straight lines (the same applies to circles and arcs).
  • design image data 13 including the original image data 11 and the background image data 12 is generated.
  • the design image data 13 shown in the right side of FIG. 3 is used as a reproduction image displayed on the screen of the display unit 3 when reproducing music, for example.
  • FIG. 6 is a diagram for explaining this.
  • control unit 1 when a circle is extracted as a geometric feature from the original image data 11, the control unit 1 maintains the size of the circle in the second region A ⁇ b> 2 while maintaining the size of the circle. Are arranged at predetermined intervals.
  • control unit 1 when a circle and a straight line are extracted as geometric features from the original image data 11, first, the control unit 1 extends the straight line in the second region A2. And the control part 1 arrange
  • the background image data 12 reflecting the geometric characteristics of the original image data 11 is generated, and the original image data (corresponding image data) 11 is generated.
  • design image data 13 including background image data 12 can be generated. Since the geometric characteristics of the original image data 11 are reflected in the background image data 12 in the second area A2, the design image data 13 is an image having a sense of unity and high designability as a whole.
  • the information processing apparatus 10 not only the geometric characteristics of the original image data 11 but also the color in the original image data 11 is reflected in the background image data 12.
  • the design can be further improved.
  • text data is arranged in the area of the background image data 12 (second area A2).
  • the control unit 1 determines the position of the text data in the background image data 12 based on the position of the geometric feature in the background image data 12. May be determined.
  • FIG. 7 is a diagram for explaining this.
  • FIG. 7 an example in which two straight lines are extended to the second region A2 is shown.
  • text data is arranged along one of the two straight lines (according to the inclination of the straight line) is shown.
  • the position of the text data is determined according to the position of the straight line is shown, but the position of the text data may be determined according to the position of a circle or arc.
  • the geometric feature extracted from the original image data 11 is reflected only in the background image data 12, and this geometric feature is not reflected in the original image data (corresponding image data) 11.
  • the geometric feature may be reflected in the original image data (corresponding image data) 11. Thereby, the design of the design image data 13 can be further improved.
  • FIG. 8 is a diagram showing an example of the case where the geometric feature is also reflected in the original image data 11.
  • FIG. 8 an example in which two straight lines are extracted from the original image data 11 and the two straight lines are overwritten on the original image data 11 is illustrated.
  • FIG. 8 an example in which the color detected from the original image data 11 is used for two lines to be overwritten is shown.
  • control unit 1 acquires processing prohibition / permission information as related information (metadata) related to the original image data 11, and based on the processing prohibition / permission information, the geometric feature is obtained. Whether to reflect the original first image data may be determined. In this case, the control unit 1 performs the overwriting (processing) as described above only when the processing is permitted.
  • control unit 1 determines whether or not text data to be reflected in the background image data 12 is included in the original image data 11, and whether or not text data is included in the original image data 11.
  • the size of the text data in the background image data 12 may be changed according to the above.
  • control unit 1 when text information (text character information) is acquired when the original image data 11 is analyzed, the control unit 1 and the text data to be reflected in the background image data 12 (from related information) To be acquired). If they match, the control unit 1 relatively reduces the size of the text data to be reflected in the background image data 12. Alternatively, in this case, the control unit 1 does not place the text data in the background image data 12.
  • the control unit 1 relatively increases the size of the text data to be reflected in the background image data 12.
  • the region of the background image data 12 (second region A2) is a region around the region (first region A1) where the original image data 11 is arranged has been described.
  • the second area A2 is not limited to the area around the first area A1.
  • the first area A1 and the second area A2 may be areas adjacent in the vertical direction or the horizontal direction.
  • the generated design image data 13 is displayed on the display unit 3 (liquid crystal display or EL display) of the information processing apparatus 10 .
  • You may project on real surfaces, such as a floor, a wall, and a ceiling.
  • an actual object for example, placed on a table
  • An input image from a camera may be used.
  • the projection surface may not be a flat surface, and may be a curved surface, for example.
  • a technique for automatically generating a consistent peripheral image by extracting color components and graphic components based on image analysis is used in the real world using an input image from a camera and an output image from a projector. Expand to.
  • the configuration and operation of the information processing system according to the present embodiment will be described.
  • FIG. 10 is a diagram illustrating a configuration of the information processing apparatus system according to the present embodiment.
  • the system may mean a configuration for executing a predetermined process, and the system as a whole can be regarded as a single device, or a system is configured as a plurality of devices. You can also.
  • the information processing system according to the present embodiment illustrated in FIG. 10 only needs to be configured to execute predetermined processing (for example, processing realized by the functional configuration illustrated in FIG. 11) as the entire information processing system. Which of these configurations is considered as one device may be arbitrary.
  • the information processing apparatus system 100 of this embodiment includes an input unit 110 and an output unit 130.
  • the information processing system 100 is a system that projects information on the top surface of the table 140 and causes a user who uses the information processing system 100 to operate the information projected on the table 140.
  • the input unit 110 is a device for inputting the operation contents of the user who uses the information processing system 100 and the shape and pattern of the object placed on the table 140.
  • the input unit 110 in the example shown in FIG. 10, the input unit 110 is provided above the table 140 in a state of being suspended from, for example, the ceiling. That is, the input unit 110 is provided separately from the table 140 on which information is displayed.
  • a camera that captures the table 140 with a lens a stereo camera that can capture information about the depth direction by capturing the table 140 with two lenses, and a user who uses the information processing system 100
  • a microphone or the like for collecting environmental sound of the environment where the information processing system 100 is placed can be used.
  • the information processing system 100 can detect an object placed on the table 140 by analyzing an image captured by the camera. it can.
  • a stereo camera for example, a visible light camera or an infrared camera can be used as the stereo camera.
  • the input unit 110 can acquire depth information.
  • the information processing system 100 can detect the three-dimensional shape of the object O placed on the table 140, for example. That is, in this case, the input unit 110 also functions as a depth sensor.
  • the object O such as a mobile phone, a CD (with a jacket case), a book, and a printed photograph.
  • a microphone array for collecting sound in a specific direction can be used as the microphone.
  • the information processing system 110 may adjust the sound collection direction of the microphone array in an arbitrary direction.
  • the output unit 130 is a user operation using the information processing system 100 input by the input unit 110, a content of information output by the output unit 130, and a shape or pattern of an object placed on the table 140.
  • This is a device that displays information on the table 140 or outputs sound in accordance with such information.
  • a projector or a speaker is used as the output unit 130.
  • the output unit 130 is provided above the table 140 in a state of being suspended from the ceiling, for example.
  • the output unit 130 is configured by a projector
  • the output unit 130 projects information on the top surface of the table 140.
  • the output unit 130 is configured by a speaker
  • the output unit 130 outputs audio based on the audio signal.
  • the number of speakers may be one or plural.
  • the information processing system 100 may limit the speaker that outputs sound or adjust the direction in which sound is output.
  • the output unit 130 may include a lighting device.
  • the information processing system 100 may control the lighting device to be turned on or off based on the content of information input by the input unit 110.
  • the user using the information processing system 100 can operate the information displayed on the table 140 by the output unit 130 by placing a finger or the like on the table 140. Also, the user can execute various operations related to the recognized object by placing the object on the table 140 and causing the input unit 110 to recognize the object.
  • an illumination device for illuminating the table 140 may be connected to the information processing system 100.
  • the information processing system 100 may control the lighting state of the lighting device according to the state of the display screen.
  • FIG. 11 is a diagram illustrating a functional configuration example of the information processing system according to the present embodiment.
  • the information processing system 100 includes an input unit 110, a control unit 120, and an output unit 130.
  • the input unit 110 is an operation content of the information processing system 100 by a user who uses the information processing system 100, and an object shape or pattern placed on a surface (for example, the table 140 in FIG. 10) on which the output unit 130 outputs information Enter.
  • the operation contents for the information processing system 100 of the user who uses the information processing system 100 include the operation contents for the GUI (Graphical (User Interface) that the information processing system 100 outputs on the information display surface.
  • Information such as the operation content, the shape of the object, and the pattern for the information processing system 100 input by the input unit 110 is sent to the control unit 120.
  • the input unit 110 may be configured with, for example, a camera configured with one lens, a stereo camera configured with two lenses, a microphone, and the like.
  • the control unit 120 controls each unit of the information processing system 100. For example, the control unit 120 generates information output from the output unit 130 using the information input by the input unit 110. As shown in the figure, the control unit 120 includes a detection unit 121 and an output control unit 122.
  • the detection unit 121 is provided on the operation content of the information processing system 100 by the user of the information processing system 100, the content of the information output by the output unit 130, and the surface on which the output unit 130 outputs information (for example, the table 140). The shape or pattern of the placed object O is detected.
  • the content detected by the detection unit 121 is sent to the output control unit 122.
  • the output control unit 122 generates information to be output from the output unit 130 based on the content detected by the detection unit 121. Information generated by the output control unit 122 is sent to the output unit 130.
  • the output control unit 122 performs the calibration so that the coordinates of the first area A1 on the information display surface and the coordinates of the object O detected on the display surface coincide with each other.
  • the design image data 13 can be generated so that the background image data 12 is projected around the first area A1 in the design image data 13.
  • the control unit 120 may be configured by a CPU or the like, for example.
  • the control unit 120 is configured by a device such as a CPU, such a device can be configured as an electronic circuit.
  • control unit 120 has a communication function for performing wireless communication with other devices and a function for controlling the operation of other devices connected to the information processing system 100, for example, lighting equipment. You may do it.
  • the output unit 130 is a user operation content of the information processing system 100 input by the input unit 110, information content output by the output unit 130, and a surface on which the output unit 130 outputs information (for example, the table 140). Information is output in accordance with information such as the shape and pattern of the object O placed in (). The output unit 130 outputs information based on the information generated by the output control unit 122.
  • the information output by the output unit 130 includes information displayed on the information display surface, sound output from a speaker, and the like.
  • the information processing system 100 illustrated in FIG. 11 may be configured as a single device, or a part or all of the information processing system 100 may be configured as separate devices.
  • the control unit 120 may be provided in a device such as a server connected to the input unit 110 and the output unit 130 via a network or the like.
  • the control unit 120 When the control unit 120 is provided in a device such as a server, information from the input unit 110 is transmitted to the device such as the server via a network or the like, and the control unit 120 processes information from the input unit 110 to The information to be output by the output unit 130 is sent to the output unit 130 via a network or the like.
  • Example of design image data projection 12 and 13 are diagrams showing examples of the design image data 13 projected on the table 140 and the like by the information processing system 100 in the present embodiment.
  • the first area A1 in the projected design image data 13 is generated so as to match the area of the object O, and the original image data 11 is projected in the first area A1. Instead, it may be a blank area.
  • the background image data 12 may be generated from the original image data 11 and only the background image data 12 may be projected as the design image data 13.
  • Image data 12 is generated and projected around the object O on the table 140.
  • horizontal and diagonal lines are extracted from the jacket image, and based on these features, background image data 12 having lines that extend from the lines is projected around the object O. Yes.
  • the background image data 12 reflecting the geometric features extracted from the print photograph is generated and projected around the object O.
  • a circle is extracted from a print photograph, and background image data 12 having two circles that are arranged on both sides of the circle on the print photograph based on the feature is around the object O on the table 140. Projected.
  • the design image data 13 is projected onto the table 140, but the plane onto which the design image data 13 is projected is a floor, a wall (a plane perpendicular to the floor), a ceiling, or the like. It does not matter.
  • FIG. 14 is a flowchart showing an operation flow of the information processing system.
  • control unit 120 of the information processing system 100 first detects the object O from the input image of the camera (step 141). Specifically, the control unit 120 compares the background image such as the table 140 that has been captured and stored in advance with the input image of the input unit 110 (camera) to execute background difference processing, and performs object O processing. Is detected as a contour.
  • control unit 120 acquires an image of the object O from the input image where the object O is detected (step 142).
  • control unit 120 analyzes the acquired image of the object O and extracts geometric features and color information (step 143). This extraction process is the same as the process in the above-described embodiment.
  • the control unit 120 generates design image data 13 based on the extracted geometric feature and color information (step 144).
  • the design image data 13 is obtained by arranging the background image data 12 around the detected object O area (first area A1) as a blank (black), for example.
  • the background image data 12 is, for example, a figure or a straight line extended from the geometric feature on the image of the object O, the continuity between the pattern on the object O and the background image data 12 is ensured.
  • the first area A1 is generated so as to match the shape and area of the area where the object O exists, and the background image data 12 is generated by using the edge (second area A2) of the first area A1. And its surroundings.
  • control unit 120 uses the output unit 130 to align the generated design image data 13 so that the region of the object O existing in the table 140 or the like overlaps the blank region, and then projects the design image data 13 around the object O. (Step 145).
  • the geometric features (figures and lines) detected from the object O and used to generate the background image data 12 correspond to the object O in the design image data 13 so that the object O is highlighted.
  • An image may be generated in the region and projected so as to overlap the geometric feature on the object O.
  • FIG. 15 is a diagram showing an example of such highlighting.
  • the figure on the left side of the figure shows an example of the design image data 13 in which the area corresponding to the object O is blank and only the surrounding background image data 12 is present.
  • the object O is a book
  • the alphabet is printed in two rows on the cover in an oblique direction.
  • the control unit 120 detects an oblique direction of the alphabet, and generates design image data 13 including background image data 12 including a diagonal line corresponding to the alphabet, and a blank region corresponding to the region of the object O.
  • the design image data 13 is projected from the object O so that the straight line is continuously displayed.
  • the diagram on the right side of the figure shows an example of the design image data 13 having an image even in the region corresponding to the object O.
  • image data having a straight line that overlaps the diagonal line of the background image data 12 is generated, and the image data and the background image data 12 are combined.
  • the design image data 13 is projected.
  • the straight line in the image data projected onto the area of the object O may be changed as appropriate according to the color of the object O.
  • the straight line in the image data projected onto the area of the object O may be changed as appropriate according to the color of the object O.
  • the color of the desk 140 is white
  • the diagonal straight line in the background image data 12 is black
  • the color of the object O (book cover) is black
  • An oblique straight line in the image of the region may be white.
  • the control unit 120 is the same as the image of the object O acquired from the input unit 110 and has a high quality image. Is searched from a database in the information processing system 100 or on an external network, the image is arranged in the area of the object O, and then synthesized with the background image data 12 to generate design image data 13 on the object O. Superposition projection may be performed.
  • control unit 120 includes the design image data 13 together with figures and lines reflecting the geometric features extracted from the object O. By projecting the shadow (a figure or line that looks like), it is also possible to provide an expression for the user that the figure appears to be at the same height as the object O.
  • control unit 120 when the object O is detected, the control unit 120 also detects the height / thickness of the object O using the stereo camera (depth sensor) or the like as the input unit 110, and the shadow offset is determined according to the height / thickness. Adjust the amount.
  • FIG. 16 is a diagram showing an example of the design image data 13 including such a shadow figure.
  • FIG. 6A shows an example of design image data 13 including a shadow projected onto an object O having a relatively small thickness (height)
  • FIG. 5B shows an object O having a relatively large thickness (height).
  • An example of the design image data 13 including a shadow projected on the top is shown.
  • the design image data 13 having an oblique straight line reflecting the geometric characteristics (alphabet described obliquely) of the surface of the object O are common in both figures.
  • the distance between the straight line and the shadow line S projected below is larger in the design image data in FIG. B than in the design image data 13 in FIG. Since the distance between the straight line and the shadow line S in the design image data 13 in both figures reflects the height / thickness of the object O, the user can grasp the height / thickness of the object O by this distance. Can do.
  • the control unit 120 may perform detection processing using an image photographed from a direction perpendicular to the projection plane. .
  • the control unit 120 may use a vertical plane such as a wall as a projection plane instead of a horizontal plane such as the table 140 or the floor.
  • control unit 120 may perform background removal of the projection plane using a depth sensor or the like as preprocessing as necessary. That is, when it is detected that a color or pattern that hinders the visual recognition of the design image data 13 is present on a projection surface such as a wall surface, the control unit 120 cancels the color or pattern. May be projected prior to the projection of the design image data 13.
  • control unit 120 may execute the projection processing of the design image data 13 by actively using the texture information of the surface where the object O is detected. That is, for example, when a joint of a plate material or a tile is detected as the texture from a captured image of a floor or wall as a projection surface, the control unit 120 has a geometric feature (for example, a straight line or a lattice) of the joint.
  • the design image data 13 may be generated and projected so that the design image data 13 can be visually recognized as a unified design.
  • control unit 120 acquires the user's viewpoint position using a camera or the like different from the input unit 110, and the object O and the line or figure in the projected design image data 13 are determined from the user's viewpoint position. You may correct
  • FIG. 17 is a diagram showing an example of projection of the design image data 13 when the object O is a complex three-dimensional object.
  • the control unit 120 uses the projection surface as a wall 150, and the input unit 110 moves the object O to the vertical direction of the wall 150.
  • the object O is detected and the object O is detected.
  • control unit 120 detects a horizontal line as a geometric feature from the surface of the airplane model as the object O, the line seems to be extended to the outside of the airplane model based on the line.
  • Design image data 13 having a straight line is generated and projected.
  • control unit 120 executes the cancel process as a pre-process. Further, the control unit 120 detects the user's viewpoint position separately, and projects the design image data from the user's viewpoint position so that the line on the design image data 13 looks seamlessly with the line on the airplane model. The position of the line on 13 may be corrected.
  • control unit 120 may newly use an area formed by the intersections of the lines detected from the plurality of objects O to generate the design image data 13.
  • FIG. 18 is a diagram showing a projection example of the design image data 13 when a plurality of objects O are detected.
  • the control unit 120 intersects a plurality of straight lines extracted from the captured images of the respective CD jacket cases and surrounds them with the straight lines.
  • the design image data 13 may be generated and projected by expressing a plurality of regions in different colors. That is, in this case, the region (first region A1) corresponding to each object O1, O2, O3 is generated as a blank (black) region, for example, and the surrounding region (second region A2) is It is generated as background image data 12 composed of a plurality of straight lines and a plurality of regions surrounded by them.
  • the colors of the areas close to the objects O1, O2, and O3 may be set to colors similar to the colors detected from the objects.
  • control unit 120 may give priority to the detected plurality of objects O, and may generate the design image data 13 according to the priority.
  • the control unit 120 gives priority to the plurality of objects O according to the area and the distance from the center of the imaging range of the input unit 110, and according to the priority, for example, the area is large, or
  • the geometric feature extracted from the object O located at the center may be preferentially used for generating the design image data 13.
  • the color of the design image data 13 is set to a color similar to the color detected from the object O.
  • the control unit 120 may change the color of the design image data 13 according to the color of the surface (table 140, wall 150, floor, ceiling, etc.) where the object O is detected. For example, when white is detected from the object O and the color of the surface on which the object O is placed is also white, it is difficult to visually recognize the white design image data 13, and therefore the design image data 13 is white. Other colors may be set. If the color detected from the object O is black or dark, the projector cannot project black, so the design image data 13 is stored regardless of the color of the surface where the object O is detected. A bright color may be set. For the same purpose, when both dark (black) color and bright color are detected from the object O, the bright color may be preferentially used for the design image data 13.
  • the design image data 13 may use a gradation color based on the color detected from the object O.
  • the design image data 13 using the gradation effect that fades out toward the end of the projected area becomes a more natural image for the user.
  • the projection plane may be divided as an operation area (window) for each of the plurality of users.
  • the design image data 13 projected on the window may fade out as it approaches the boundary.
  • the design image data 13 is projected in the vicinity of the area of the object O and seamlessly projected from the end thereof, but the design image data 13 is not projected in the vicinity of the object O. For example, it may be projected to a position at a predetermined distance from the object O.
  • the control unit 120 may cause the projection processing of the design image data 13 to follow the movement of the object O.
  • the control unit 120 may execute the tracking process in real time, or may periodically execute the tracking process at a predetermined frame rate.
  • the control unit 120 does not project the design image data 13 during the movement, and when it is detected that the object O has moved and stopped again, The design image data 13 may be projected again to the position.
  • the control unit 120 may use not only the geometric feature of the detected object O but also information related to surrounding users when generating the design image data 13. For example, when a plurality of line segments are detected from the object O, the control unit 120 detects the position of the user existing around the projection surface such as the table 140 with a sensor such as another camera, and the user exists.
  • the design image data 13 may be generated using a line segment facing in the direction.
  • text data for example, a music title
  • the text data is stored in the design image data 13 by the user. You may arrange
  • the text data of the music title functions as a GUI for music playback, the user inputs an operation (such as a tap with a finger) on the music title projected near the user, and the control unit 120 Can be detected and music can be played.
  • the design image data 13 functions as a GUI and can be used for user interaction is not limited to the present embodiment, and is the same in the above-described embodiment. That is, the design image data 13 displayed on the display unit 3 of the information processing apparatus 10 in the above-described embodiment may function as a GUI.
  • the control unit 120 may restrict the generation processing and the projection processing of the design image data 13 when a predetermined condition is satisfied. For example, as described above, since it is difficult for the projector to perform black-based projection, the control unit 120 analyzes the color component (histogram) of the color detected from the object O, and analyzes the color component (histogram). When the brightness or saturation is less than a predetermined value (for example, a monochrome document), the generation process and the projection process are not executed. When the brightness or saturation is equal to or higher than the predetermined value, the generation process and the projection process are executed. May be.
  • a predetermined value for example, a monochrome document
  • control unit 120 analyzes the depth (three-dimensional shape) of the detected object O, and similarly generates the above even when the depth is a complicated three-dimensional shape (for example, when the dispersion of depth values is equal to or greater than a predetermined value).
  • the processing and the projection processing need not be executed.
  • the projection example of the design image data 13 in the case where the object O is a CD case, a book, a photograph, or the like has been shown, but the design image data 13 can be similarly generated for any other object O.
  • a dish provided to a customer at a restaurant (covered on a plate and placed on a table) is detected as an object O, and a design image around the dish on the table based on a geometric feature of the dish.
  • Data 13 may be projected as an effect.
  • This technology can also take the following composition.
  • an acquisition unit that acquires the geometric feature information extracted by analyzing the first image data; Second image data is generated based on the geometric feature information, and a first region in which corresponding image data corresponding to the first image data is arranged, and the second image data are arranged.
  • An information processing apparatus comprising: a generation unit that generates third image data including the second region.
  • the acquisition unit acquires color information extracted by analyzing the first image data; The information processing apparatus, wherein the generation unit generates second image data based on the color information.
  • the acquisition unit acquires a plurality of pieces of geometric feature information obtained from the first image data, The generation unit determines a priority for each of the plurality of geometric feature information, and generates the second image data based on the geometric feature information selected based on the priorities. apparatus.
  • the acquisition unit acquires related information related to the first image data, The information processing apparatus, wherein the generation unit reflects the related information as text data in the second image data.
  • the information processing apparatus according to any one of (1) to (4) above, The information processing apparatus, wherein the second area is an area around the first area.
  • the generation unit determines a position of the text data in the second image data based on a position of a geometric feature in the second image data.
  • the information processing apparatus according to any one of claims (1) to (6), The acquisition unit acquires information on a centroid position of the first image data obtained by analyzing the first image data, The generation unit determines positions of the first region and the second region based on the barycentric position.
  • the acquisition unit acquires information on a centroid position of the first image data obtained by analyzing the first image data, The information processing apparatus determines the position of the first area and the second area, and the position of the text data in the second area based on the position of the center of gravity.
  • the information processing apparatus according to any one of (1) to (8) above, The acquisition unit acquires feature information different from the geometric feature information extracted by analyzing the first image data; The generation unit determines the number of geometric feature information to be reflected in the second image data based on the feature information. (10) The information processing apparatus according to any one of (1) to (9), The acquisition unit acquires related information related to the first image data, The generation unit determines the number of geometric feature information to be reflected in the second image data based on the related information. (11) The information processing apparatus according to any one of (1) to (10), An information processing apparatus further comprising an extraction unit that analyzes the first image data and extracts geometric feature information.
  • the information processing apparatus analyzes the first image data to extract feature information different from the geometric feature information, and based on the feature information, the number or the number of the geometric feature information to be extracted Information processing device that determines the range of (13)
  • the information processing apparatus according to (11) or (12)
  • the acquisition unit acquires related information related to the first image data, and determines a number or a range of the number of the geometric feature information to be acquired based on the related information.
  • the information processing apparatus according to (14), The acquisition unit acquires processing prohibition / permission information as related information related to the first image data, The generating unit determines whether to reflect the geometric feature information in the corresponding image data based on the processing prohibition / permission information. (16) The information processing apparatus according to (4) above, The generation unit analyzes the first image data to determine whether the text data to be reflected in the second image is included in the first image data, and the first image data An information processing apparatus that changes a size of the text data in the second image data according to whether or not the text data is included in the image data.
  • an analysis device that analyzes first image data and extracts geometric feature information from the first image data; Acquiring the geometric feature information, generating second image data based on the geometric feature information, and a first region in which corresponding image data corresponding to the first image data is arranged;
  • An information processing system comprising: a second area in which the second image data is arranged; and a generation device that generates third image data including the second area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】元の画像データの幾何学的特徴が反映された、元の画像データを含む画像データを生成することができる技術を提供すること。 【解決手段】本技術に係る情報処理装置は、取得部と、生成部とを具備する。前記取得部は、第１の画像データを解析して抽出された幾何学的特徴情報を取得する。前記生成部は、前記幾何学的特徴情報に基づいて第２の画像データを生成し、前記第１の画像データに対応する対応画像データが配置される第１の領域と、前記第２の画像データが配置される第２の領域と含む第３の画像データを生成する。

Description

情報処理装置、情報処理システム、情報処理方法及びプログラム
　本技術は、元の画像データから得られる幾何学的特徴情報に基づいて画像データを生成する情報処理装置などの技術に関する。
　従来から、元の画像データを取り込んで、この元の画像データを含む画像データを生成して出力する技術が知られている。例えば、下記特許文献１には、デジタルスチルカメラによって撮像された画像データを、予め用意された装飾画像データ（アルバムページのイメージデータ等）の所定の領域に配置することによって、出力用の画像データを生成する技術が開示されている。
特開２００９－２６８１３１号公報
　このような分野において、元の画像データの幾何学的特徴が反映された、元の画像データを含む画像データを生成することができる技術が求められている。
　以上のような事情に鑑み、本技術の目的は、元の画像データの幾何学的特徴が反映された、元の画像データを含む画像データを生成することができる技術を提供することにある。
　本技術に係る情報処理装置は、取得部と、生成部とを具備する。
　前記取得部は、第１の画像データを解析して抽出された幾何学的特徴情報を取得する。
　前記生成部は、前記幾何学的特徴情報に基づいて第２の画像データを生成し、前記第１の画像データに対応する対応画像データが配置される第１の領域と、前記第２の画像データが配置される第２の領域と含む第３の画像データを生成する。
　「対応画像データ」は、第１の画像データそれ自体の画像データであってもよいし、第１の画像データとは解像度が異なる画像データ等、第１の画像データに多少の変更が加えられた画像データであってもよい。
　この情報処理装置では、第１の画像データの幾何学的特徴が反映された第２画像データが生成され、第１の画像データに対応する対応画像データと、第２の画像データとを含む第３の画像データが生成される。これにより、元の画像データ（第１の画像データ）の幾何学的特徴が反映された、元の画像データ（対応画像データ）を含む第３の画像データを生成することができる。また、この第３の画像データは、第２の領域における第２の画像データにおいて、第１の画像データの幾何学的特徴が反映されているので、全体として統一感のあるデザイン性の高い画像となる。
　上記情報処理装置において、前記取得部は、前記第１の画像データを解析して抽出された色情報を取得し、前記生成部は、前記色情報に基づいて第２の画像データを生成してもよい。
　これにより、第３の画像データにおけるデザイン性をさらに向上させることができる。
　上記情報処理装置において、前記取得部は、前記第１の画像データから得られる複数の幾何学的特徴情報を取得し、前記生成部は、前記複数の幾何学的特徴情報についてそれぞれ優先度を決定し、前記優先度に基づいて選択される幾何学的特徴情報に基づいて、前記第２の画像データを生成してもよい。
　上記情報処理装置において、前記取得部は、前記第１の画像データに関連する関連情報を取得し、前記生成部は、前記関連情報をテキストデータとして前記第２の画像データに反映させてもよい。
　これにより、第３の画像データにおけるデザイン性をさらに向上させることができ、また、有用な情報をユーザに提供することができる。
　上記情報処理装置において、前記第２の領域は、前記第１の領域の周囲の領域であってもよい。
　これにより、第３の画像データにおけるデザイン性をさらに向上させることができる。
　上記情報処理装置において、前記生成部は、前記第２の画像データ内における幾何学的特徴の位置に基づいて、前記第２の画像データ内における前記テキストデータの位置を決定してもよい。
　これにより、第３の画像データにおけるデザイン性をさらに向上させることができる。
　上記情報処理装置において、前記取得部は、前記第１の画像データを解析して得られる前記第１の画像データの重心位置の情報を取得し、前記生成部は、前記重心位置に基づいて、前記第１の領域及び前記第２の領域の位置を決定してもよい。
　これにより、第３の画像データにおけるデザイン性をさらに向上させることができる。
　上記情報処理装置において、前記取得部は、前記第１の画像データを解析して得られる前記第１の画像データの重心位置の情報を取得し、前記生成部は、前記重心位置に基づいて、前記第１の領域及び前記第２の領域の位置、並びに、前記第２の領域内における前記テキストデータの位置を決定してもよい。
　これにより、第３の画像データにおけるデザイン性をさらに向上させることができる。
　上記情報処理装置において、前記取得部は、前記第１の画像データを解析して抽出された、前記幾何学的特徴情報とは異なる特徴情報を取得し、前記生成部は、前記特徴情報に基づいて、前記第２の画像データに反映させるべき幾何学的特徴情報の数を決定してもよい。
　これにより、適切な数の幾何学的特徴を第２の画像データに反映させることができる。
　上記情報処理装置において、前記取得部は、前記第１の画像データに関連する関連情報を取得し、前記生成部は、前記関連情報に基づいて、前記第２の画像データに反映させるべき幾何学的特徴情報の数を決定してもよい。
　これにより、適切な数の幾何学的特徴を第２の画像データに反映させることができる。
　上記情報処理装置は、前記第１の画像データを解析して幾何学的特徴情報を抽出する抽出部をさらに具備してもよい。
　上記情報処理装置において、前記抽出部は、前記第１の画像データを解析して前記幾何学的特徴情報とは異なる特徴情報を抽出し、前記特徴情報に基づいて、抽出すべき前記幾何学的特徴情報の数又は数の範囲を決定してもよい。
　これにより、第１の画像データから適切な数の幾何学的特徴を抽出することができる。
　上記情報処理装置において、前記取得部は、前記第１の画像データに関連する関連情報を取得し、前記関連情報に基づいて、取得すべき前記幾何学的特徴情報の数又は数の範囲を決定しもよい。
　これにより、第１の画像データから適切な数の幾何学的特徴を抽出することができる。
　上記情報処理装置において、前記生成部は、前記幾何学的特徴情報を、前記対応画像データに反映させてもよい。
　これにより、第３の画像データにおけるデザイン性をさらに向上させることができる。
　上記情報処理装置において、前記取得部は、前記第１の画像データに関連する関連情報として加工禁止／許可情報を取得し、前記生成部は、前記加工禁止／許可情報に基づいて、前記幾何学的特徴情報を前記対応画像データに反映させるかどうかを判断してもよい。
　これにより、第１の画像データに幾何学的特徴を反映させるかどうかを適切に判断することができる。
　上記情報処理装置において、前記生成部は、前記第１の画像データを解析して前記第１の画像データ内に、前記第２の画像に反映させるべき前記テキストデータが含まれているかどうかを判断し、前記第１の画像データ内に、前記テキストデータが含まれているかどうかに応じて、前記第２の画像データにおける前記テキストデータの大きさを変更してもよい。
　これにより、テキストデータの大きさを適切に変更することができる。
　本技術に係る情報処理システムは、解析装置と、生成装置とを具備する。
　前記解析装置は、第１の画像データを解析して前記第１の画像データから幾何学的特徴情報を抽出する。
　前記生成装置は、前記幾何学的特徴情報を取得し、前記幾何学的特徴情報に基づいて第２の画像データを生成し、前記第１の画像データに対応する対応画像データが配置される第１の領域と、前記第２の画像データが配置される第２の領域と含む第３の画像データを生成する。
　本技術に係る情報処理方法は、第１の画像データを解析して抽出された幾何学的特徴情報を取得するステップと、
　前記幾何学的特徴情報に基づいて第２の画像データを生成するステップと、
　前記第１の画像データに対応する対応画像データが配置される第１の領域と、前記第２の画像データが配置される第２の領域と含む第３の画像データを生成するステップとを含む。
　本技術に係るプログラムは、コンピュータに、
　第１の画像データを解析して抽出された幾何学的特徴情報を取得するステップと、
　前記幾何学的特徴情報に基づいて第２の画像データを生成するステップと、
　前記第１の画像データに対応する対応画像データが配置される第１の領域と、前記第２の画像データが配置される第２の領域と含む第３の画像データを生成するステップとを実行させる。
　以上のように、本技術によれば、元の画像データの幾何学的特徴が反映された、元の画像データを含む画像データを生成することができる技術を提供することができる。
本技術に係る情報処理装置の電気的な構成を示すブロック図である。 元の画像データからデザイン画像データが生成されるときの処理を示すフローチャートである。 元の画像データからデザイン画像データが生成されるときの様子を示す図である。 幾何学的特徴を抽出するときの処理を示すフローチャートである。 元の画像データが所定の枠内に配置されるときの様子を示す図である。 元の画像データから幾何学的特徴として、円、円弧、円と直線の組み合わせが抽出され、その幾何学的特徴が背景画像データに反映される場合について説明するための図である。 背景画像データ内における幾何学的特徴の位置に基づいて、背景画像データ内におけるテキストデータの位置が決定される様子を示す図である。 幾何学的特徴が元の画像データにも反映された場合の一例を示す図である。 背景画像データにおけるテキストデータのサイズが小さくされた場合及び大きくされた場合の一例を示す図である。 本技術の他の実施形態に係る情報処理システムの構成を示した図である。 本技術の他の実施形態に係る情報処理システムの機能構成例を示した図である。 本技術の他の実施形態に係る情報処理システムで投影されるデザイン画像データの例を示した図である。 本技術の他の実施形態に係る情報処理システムで投影されるデザイン画像データの例を示した図である。 本技術の他の実施形態に係る情報処理システムによるデザイン画像データの投影処理の流れを示したフローチャートである。 本技術の他の実施形態に係る情報処理システムで投影されるデザイン画像データの例を示した図である。 本技術の他の実施形態に係る情報処理システムで投影されるデザイン画像データの例を示した図である。 本技術の他の実施形態に係る情報処理システムで投影されるデザイン画像データの例を示した図である。 本技術の他の実施形態に係る情報処理システムで投影されるデザイン画像データの例を示した図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
［情報処理装置の全体構成及び各部の構成］
　図１は、本技術に係る情報処理装置１０の電気的な構成を示すブロック図である。
　図１に示すように、情報処理装置１０は、制御部（抽出部、取得部、生成部）１と、記憶部２と、表示部３と、入力部４と、通信部５とを含む。この情報処理装置１０としては、例えば、ＰＣ（Personal Computer）、ゲーム機、テレビジョン装置、携帯電話機（スマートフォンを含む）、携帯ゲーム機、携帯音楽プレイヤー等が挙げられるが、これらに限られない。
　記憶部２は、制御部１の処理に必要な各種のプログラムが記憶される不揮発性のメモリ（例えば、ＲＯＭ（Read Only memory））と、制御部１の作業領域として用いられる揮発性のメモリ（例えば、ＲＡＭ（Random Access Memory））とを含む。上記各種のプログラムは、光ディスク、半導体メモリ等の可搬性の記録媒体から読み取られてもよい。
　表示部３は、例えば、液晶ディスプレイ、あるいは、ＥＬディスプレイ（ＥＬ：Electro Luminescence）等により構成され、制御部１の制御に基づき、各種の画像を画面上に表示させる。表示部３は、情報処理装置１０と一体的に形成されていてもよいし、情報処理装置１０とは別体で形成されていてもよい（特に、情報処理装置１０がＰＣ、ゲーム機である場合）。
　入力部４は、ユーザからの指示を入力して、ユーザの指示に応じた信号を制御部１へ出力する。入力部４は、例えば、キーボード、マウスなどを含み、また、表示部３上に設けられたタッチセンサなどを含む。なお、情報処理装置１０がゲーム機や携帯ゲーム機である場合、入力部４は、ゲーム用コントローラであってもよい。また、情報処理装置１０がテレビジョン装置である場合、入力部４は、テレビ用リモートコントローラであってもよい。
　制御部１は、ＣＰＵ（Central Processing Unit）等により構成される。制御部１は、記憶部２に記憶された各種のプログラムに基づき種々の演算を実行し、情報処理装置１０の各部を統括的に制御する。
　具体的には、制御部１は、元の画像データ１１（第１の画像データ、図３参照）を解析して、元の画像データ１１から幾何学的特徴を抽出する処理を実行する。また、制御部１は、抽出された幾何学的特徴を取得し、幾何学的特徴が反映された背景画像データ１２（第２の画像データ、図３参照）を生成する。そして、制御部１は、元の画像データ１１（対応画像データ：元の画像データそれ自体か、あるいは、解像度、サイズの変更、トリミング処理、色調整処理などの多少の変更が加えられた画像データ）と、背景画像データ１２とを含むデザイン画像データ１３（第３の画像データ、図３参照）を生成する処理を実行する。
　元の画像データ１１としては、例えば、楽曲のジャケットの画像データや、テレビ番組の一場面の画像データ、デジタルスチルカメラ（図示せず）によって撮像された画像データなどが挙げられる。なお、本実施形態においては、主に、元の画像データ１１が楽曲のジャケットの画像データである場合について説明する。
　通信部５は、ネットワーク上のサーバ装置、デジタルスチルカメラなどの他の装置と通信可能に構成されている。例えば、通信部５は、制御部１の指示に応じて、ネットワーク上のサーバ装置と通信を行い、サーバ装置から楽曲のジャケットの画像データや、テレビ番組の一場面の画像データを取得したり、これらの画像データと関連付けられた関連情報（メタデータ）を取得したりする。なお、元の画像データ１１がテレビ番組の一場面である場合、テレビ番組を記録するレコーダに記憶された画像データ及び関連情報が用いられてもよい。
　また、通信部５は、制御部１の指示に応じて、デジタルスチルカメラと通信を行い、デジタルスチルカメラによって撮像された画像データを取得したり、この画像データと関連付けられた関連情報（メタデータ）を取得したりする。なお、デジタルスチルカメラによって撮像された画像データがネットワーク上のサーバ装置に記憶されている場合には、通信部５は、ネットワーク上のサーバ装置から画像データ及び関連情報を取得してもよい。
　ここで、関連情報とは、元の画像データ１１が楽曲のジャケットの画像データである場合、楽曲名、アーティスト情報（アーティスト名、国籍等）、ジャンル情報（ＪＡＺＺ、クラシック、ロック、メタル等）、テンポ情報（早い、遅い）、再生時間などである。
　また、元の画像データ１１がテレビ番組の一場面の画像データである場合、関連情報は、テレビ番組名、出演者名、放送日時などである。また、元の画像データ１１がデジタルスチルカメラによって撮像された画像データである場合、関連情報は、撮影日時、撮影地、シャッタスピードなどである。
　［動作説明］
　次に、情報処理装置１０の処理について説明する。図２は、元の画像データ１１からデザイン画像データ１３が生成されるときの処理を示すフローチャートである。図３は、元の画像データ１１からデザイン画像データ１３が生成されるときの様子を示す図である。図３では、楽曲のジャケットの画像データからデザイン画像データ１３が生成されるときの様子が示されている。
　なお、図２の説明においては、情報処理装置１０は、サーバ装置、デジタルスチルカメラなどから通信部５を介して元の画像データ１１及び関連情報を既に取得しており、この元の画像データ１１及び関連情報が既に記憶部２に記憶されているものとして説明する。
　まず、制御部１は、所定のタイミングで図２に示す処理を開始する。処理の開始タイミングとしては、各種のタイミングを採用することができるが、例えば、通信部５を介して元の画像データ１１が取得されたタイミング、入力部４によってユーザからの指示が入力されたタイミングなどが挙げられる。
　図２に示すように、処理が開始されると、まず、制御部１は、元の画像データ１１を解析して、元の画像データ１１から幾何学的特徴、色情報、顔情報、及びテキスト情報を抽出する（ステップ１０１）。ここで、幾何学的特徴とは、直線、円、円弧、多角形（直線の組み合わせ）などを意味する。なお、幾何学的特徴を抽出する手法として、例えば、ハフ変換が用いられる。
　図３の左側の図には、元の画像データ１１の一例が示されている。この図には、女性が楽器（クラリネット）を弾いている画像及び楽曲名を含むジャケットの画像データが一例として示されている。
　図４は、幾何学的特徴を抽出するときの処理を示すフローチャートである。なお、図４では、幾何学的特徴として直線を抽出する場合の処理が示されている。
　図４に示すように、まず、制御部１は、直線の抽出に用いられる閾値（ｔ）を初期値（Ｔ_ＳＴＡＲＴ）に設定する（ステップ２０１）。閾値（ｔ）がこの値に設定されている状態で、制御部１は、ハフ変換を使用して元の画像データ１１から直線を抽出する（ステップ２０２）。ハフ変換においては、前処理として元の画像データ１１から特徴点が検出され、この特徴点に基づいて直線が抽出される。なお、上記前処理として、特徴点検出の代わりに、輪郭検出によるエッジの先鋭化の処理が実行されてもよい。
　図３を参照して、図３の中央における左側の図には、検出された特徴点が黒丸で示されている。この図では、楽器（クラリネット）に対応する部分と、楽器を弾く手に対応する部分において、特徴点が検出された場合の一例が示されている。なお、この図では、説明の便宜のため、検出された特徴点のうち、一部の特徴点のみを表示している。
　また、図３の中央における右側の図には、ハフ変換において抽出された直線が示されている。この図では、楽器（クラリネット）の位置に応じた位置に、楽器（クラリネット）の傾斜に対応する角度で２本の直線が抽出された場合の一例が示されている。
　再び図４を参照して、直線を抽出すると、次に、制御部１は、直線の抽出における現在の試行回数（ｋ）が、試行回数の最大値（Ｋ_ＭＡＸ）に達したかどうかを判定する（ステップ２０３）。現在の試行回数（ｋ）が試行回数の最大値（Ｋ_ＭＡＸ）に達している場合（ステップ２０３のＹＥＳ）、制御部１は、ステップ２１０へ進む。
　一方、現在の試行回数（ｋ）が試行回数の最大値（Ｋ_ＭＡＸ）に達してない場合（ステップ２０３のＮＯ）、制御部１は、ステップ２０４へ進む。ステップ２０４では、制御部１は、抽出された直線の数（ｎ）が、抽出すべき直線の数の最小値（Ｎ_ＭＩＮ：例えば、２本）よりも大きく、かつ、抽出すべき直線の数の最大値（Ｎ_ＭＡＸ：例えば、１０本）よりも小さいかを判定する。すなわち、制御部１は、抽出された直線の数（ｎ）が、予め設定されている数の範囲内であるかどうかを判定する。
　なお、抽出すべき直線の数の範囲（つまり、Ｎ_ＭＩＮ及びＮ_ＭＡＸの値）は、入力部４を介してユーザにより入力された値に基づいて決定されてもよいし、元の画像データ１１から抽出された、幾何学的特徴とは異なる特徴に基づいて決定されてもよい。ここで、幾何学的特徴とは異なる特徴とは、元の画像データ１１における空間周波数、色分布などを意味する。
　抽出すべき直線の数の範囲（つまり、Ｎ_ＭＩＮ及びＮ_ＭＡＸの値）が、空間周波数、色分布などにより決定される場合、制御部１は、ステップ２０４が実行される前の時点において、元の画像データ１１を解析して、元の画像データ１１から空間周波数、色分布を検出しておく。
　そして、制御部１は、空間周波数が高くなるほど、Ｎ_ＭＩＮ及びＮ_ＭＡＸの値が高くなるように、Ｎ_ＭＩＮ及びＮ_ＭＡＸの値を設定する。また、制御部１は、色分布が複雑になるほど、Ｎ_ＭＩＮ及びＮ_ＭＡＸの値が高くなるように、Ｎ_ＭＩＮ及びＮ_ＭＡＸの値を設定する。なお、空間周波数及び色分布は、両方用いられてもよいし、いずれか一方が用いられてもよい。
　あるいは、抽出すべき直線の数の範囲（つまり、Ｎ_ＭＩＮ及びＮ_ＭＡＸの値）は、元の画像データ１１に関連する関連情報（メタデータ）のうち、所定の関連情報に基づいて決定されてもよい。この場合、例えば、制御部１は、ジャンル情報（ＪＡＺＺ、クラシック、ロック、メタル等）、テンポ情報（早い、遅い）に基づいて、抽出すべき直線の数の範囲を決定する。
　ここで、楽曲のジャケットの画像データは、ジャンルがＪＡＺＺやクラシックである場合に比べて、ジャンルがロックやメタルである場合の方が、そのデザインが複雑であるといった傾向がある。同様に、楽曲のジャケットの画像データは、テンポが遅い場合に比べて、テンポが速い方が、そのデザインが複雑であるといった傾向がある。従って、この関係が利用されて、抽出すべき直線の数の範囲が決定される。
　この場合、制御部１は、ジャンルがロックやメタルである場合、ジャンルがＪＡＺＺやクラシックである場合よりも、Ｎ_ＭＩＮ及びＮ_ＭＡＸの値が高くなるように、Ｎ_ＭＩＮ及びＮ_ＭＡＸの値を設定する。また、制御部１は、テンポが速くなるほど、Ｎ_ＭＩＮ及びＮ_ＭＡＸの値が高くなるように、Ｎ_ＭＩＮ及びＮ_ＭＡＸの値を設定する。なお、ジャンル情報とテンポ情報は、両方用いられてもよいし、いずれか一方が用いられてもよい。
　なお、抽出すべき直線の数の範囲は、幾何学的特徴とは異なる特徴（空間周波数、色分布）及び所定の関連情報（ジャンル情報、テンポ情報）の両方を用いて決定されてもよい。
　このような処理により、元の画像データ１１から適切な数の幾何学的特徴を抽出することができる。
　また、ここでの説明では、抽出すべき直線の数の範囲が、幾何学的特徴とは異なる特徴（空間周波数、色分布）及び所定の関連情報（ジャンル情報、テンポ情報）のうち少なくとも一方に基づいて決定される場合について説明した。一方、抽出すべき直線の数の範囲ではなく、抽出すべき直線の数が、幾何学的特徴とは異なる特徴（空間周波数、色分布）及び所定の関連情報（ジャンル情報、テンポ情報）のうち少なくとも一方に基づいて決定されてもよい。
　ステップ２０４において、抽出された直線の数（ｎ）が予め設定されている数の範囲内である場合（ステップ２０４のＹＥＳ）、制御部１は、次のステップ２１０へ進む。一方、抽出された直線の数（ｎ）が予め設定されている数の範囲内ではない場合（ステップ２０４のＮＯ）、制御部１は、抽出された直線の数（ｎ）が、抽出すべき直線の数の最小値（Ｎ_ＭＩＮ）よりも小さいかどうかを判定する（ステップ２０５）。
　抽出された直線の数（ｎ）が、抽出すべき直線の数の最小値（Ｎ_ＭＩＮ）よりも小さい場合（ステップ２０５のＹＥＳ）、制御部１は、現在の閾値（ｔ）を所定量（Δｔ）下降させる（ステップ２０６）。一方、ステップ２０５における判定が否定的である場合（ステップ２０５のＮＯ）、つまり、抽出された直線の数（ｎ）が、抽出すべき直線の数の最大値（Ｎ_ＭＡＸ）よりも大きい場合、制御部１は、現在の閾値（ｔ）を所定量（Δｔ）上昇させる（ステップ２０７）。
　閾値（ｔ）が所定量（Δｔ）下降又は上昇されると、次に、制御部１は、閾値（ｔ）が、閾値の最小値（Ｔ_ＭＩＮ）よりも大きく、かつ、閾値の最大値（Ｔ_ＭＡＸ）よりも小さいかを判定する（ステップ２０８）。すなわち、制御部１は、閾値（ｔ）が、予め設定されている閾値の範囲内であるかどうかを判定する。
　閾値（ｔ）が、予め設定されている閾値の範囲内ではない場合（ステップ２０８のＮＯ）、制御部１は、ステップ２１０へ進む。一方、閾値（ｔ）が、予め設定されている閾値の範囲内である場合（ステップ２０８のＹＥＳ）、制御部１は、閾値の変化量（Δｔ）を設定する（ステップ２０９）。
　なお、閾値の変化量（Δｔ）は、以下のようして設定される。まず、制御部１は、前回の試行において、直線の数（ｎ）がＮ_ＭＩＮよりも小さく、かつ、今回の試行において、直線の数（ｎ）がＮ_ＭＩＮよりも小さかった場合、今回の閾値の変化量（Δｔ）を前回の閾値の変化量と同じ値（あるいは、前回よりも大きな値）に設定する。
　同様に、制御部１は、前回の試行において、直線の数（ｎ）がＮ_ＭＡＸよりも大きく、かつ、今回の試行において、直線の数（ｎ）がＮ_ＭＡＸよりも大きかった場合、今回の閾値の変化量（Δｔ）を前回の閾値の変化量と同じ値（あるいは、前回よりも大きな値）に設定する。
　なお、最初の閾値の変化量（Δｔ）は、ある程度大きな値に設定されている。
　また、制御部１は、前回の試行において、直線の数（ｎ）がＮ_ＭＩＮよりも小さく、かつ、今回の試行において、直線の数（ｎ）がＮ_ＭＡＸよりも大きかった場合、今回の閾値の変化量（Δｔ）を前回の閾値の変化量よりも小さな値に設定する。
　同様に、制御部１は、前回の試行において、直線の数（ｎ）がＮ_ＭＡＸよりも大きく、かつ、今回の試行において、直線の数（ｎ）がＮ_ＭＩＮよりも小さかった場合、今回の閾値の変化量（Δｔ）を前回の閾値の変化量よりも小さな値に設定する。
　このような処理により、直線の数（ｎ）を、抽出すべき直線の数の範囲内に素早く収束させることができる。
　上述のように、現在の試行回数（ｋ）が試行回数の最大値（Ｋ_ＭＡＸ）に達している場合（ステップ２０３のＹＥＳ）、抽出された直線の数（ｎ）が予め設定されている数の範囲内である場合（ステップ２０４のＹＥＳ）、閾値（ｔ）が、予め設定されている閾値の範囲内ではない場合（ステップ２０８のＮＯ）、制御部１は、ステップ２１０へ進む。
　ステップ２１０では、制御部１は、抽出された直線を取得し、この直線に対して優先度を決定する処理を実行する。この優先度を決定するとき、以下の指標が用いられる。
（１）画像の中心からその直線までの距離
　　画像の中心からの距離が近くなるほど優先度が高くなる。
（２）直線の傾き
　　垂直及び水平な直線よりも、傾いている直線の方が優先度が高くなる。
（３）他の直線との類似度
　　類似度は、直線の傾きなどによって判断される。類似する複数の直線が存在する場合（例えば、複数の垂直線が存在する場合）には、１つの直線の優先度を高くし、それ以外の直線は優先度を低くする。
（４）顔や、文字などの特徴的な領域との交差
　顔や、文字などの特徴的な領域と交差する直線は優先度を低くする。
　優先度を決定する処理においては、制御部１は、（１）～（４）のすべてを用いて優先度を決定してもよいし、（１）～（４）のうち、一部を用いて優先度を決定してもよい。
　図４では、元の画像データ１１から直線を抽出する場合について説明したが、円、円弧、多角形（直線の組み合わせ）においても同様の処理によってこれらを抽出することが可能である。
　再び図２を参照して、ステップ１０１では、元の画像データ１１を解析することによって、幾何学的特徴だけでなく、色情報も抽出する。色情報は、元の画像データ１１において使用されているすべての色が抽出されてもよいし、一部の色が抽出されてもよい。一部の色が抽出される場合、色の面積が大きいほどその色の優先度が高くなるようにその優先度が設定される。また、黒、白、グレーなどの無彩色については、有彩色と比べて優先度が低くなるように優先度が設定される。
　図３の中央の図では、元の画像データ１１における背景の色（例えば、青）と、女性が着ている洋服の色（例えば、赤）と、クラリネットの色（例えば、茶色）との３つの色が抽出された場合の一例が示されている。
　再び図２を参照して、ステップ１０１では、制御部１は、元の画像データ１１から、幾何学的特徴、色情報の他に、顔情報や、テキスト情報なども抽出する。なお、顔情報とは、顔の領域情報や、顔の中心位置の情報などであり、テキスト情報とは、テキストの文字情報（図３に示す例では"楽曲名"）や、テキストの領域情報、テキストの中心位置の情報などである。
　元の画像データ１１の解析が終了すると、次に、制御部１は、所定の枠内において、元の画像データ（対応画像データ）１１を配置すべき位置を判定する（ステップ１０２）。図５は、元の画像データ１１が所定の枠内に配置されるときの様子を示す図である。図５の上側には、枠内において、元の画像データ１１の他に、テキストデータが配置されるときの様子が示されている。一方、図５の下側の図には、枠内において、元の画像データ１１のみが配置されるときの様子が示されている。
　図５に示す例では、枠が矩形である場合が示されているが、枠の形状（第２の領域の形状）は矩形に限られない。例えば、枠の形状は、円形、楕円形、三角形、５角形以上の多角形などであってもよい。
　なお、本実施形態の説明では、枠内において、元の画像データ１１が配置される領域を第１の領域Ａ１と呼び、それ以外の領域である、背景画像データ１２が配置される領域を第２の領域Ａ２と呼ぶ。
　ステップ１０２では、まず、制御部１は、元の画像データ１１における重心位置を判断する。重心位置の判断においては、顔の領域情報、顔の中心位置の情報、テキストの領域情報、テキストの中心位置の情報、及び特徴点の位置情報（図３、中央の左側の図における黒丸参照）のうち少なくとも１つ以上が用いられる。
　図５に示す例では、元の画像データ１１における重心位置が白丸で示されている。重心位置を判断すると、制御部１は、重心位置の情報を取得してその情報に基づいて、枠内において元の画像データ１１を配置すべき位置を判定する（すなわち、第１の領域Ａ１及び第２の領域Ａ２の位置を決定する）。
　図５の上側に示すように、枠内において、元の画像データ１１と、テキストデータとを配置する場合、制御部１は、元の画像データ１１内において重心位置が偏っている側（枠内の左側）に元の画像データ１１を配置する。そして、制御部１は、枠内において元の画像データ１１が配置された側とは反対側にテキストデータを配置する（つまり、第２の領域Ａ２内における所定の領域にテキストデータを配置する）。
　また、図５の下側に示すように、枠内において、元の画像データ１１のみを配置する場合、制御部１は、元の画像データ１１内において重心位置が偏っている側とは反対側（枠内の右側）に元の画像データ１１を配置する。
　これにより、視覚的なバランスがとれ、最終的に生成されるデザイン画像データ１３のデザイン性が向上する。
　なお、テキストデータとして枠内に配置されるデータは、元の画像データ１１に関連する関連情報（メタデータ）のうち、所定の関連情報である。例えば、枠内に配置されるテキストデータは、元の画像データ１１が楽曲のジャケットの画像データである場合、楽曲名、アーティスト名、ジャンル名などである。
　また、画像データがテレビ番組の一場面の画像データである場合、枠内に配置されるテキストデータは、番組名、出演者名、放送日時などである。また、画像データがデジタルスチルカメラによって撮像された画像データである場合、枠内に配置されるテキストデータは、撮影日時、撮影地などである。
　なお、図３に示す例では、テキストデータとして、楽曲名が用いられる場合が示されている。
　再び図２を参照して、元の画像データ１１（及びテキストデータ）を配置すべき位置を決定すると、次に、制御部１は、元の画像データ１１における幾何学的特徴が反映された背景画像データ１２を生成して、元の画像データ（対応画像データ）１１と、背景画像データ１２とを含むデザイン画像データ１３を生成する（ステップ１０３）。
　ステップ１０３では、まず、制御部１は、元の画像データ１１から抽出された複数の直線から、背景画像データ１２に反映させるべき所定数の直線を選び出す。このとき、制御部１は、優先度の高い直線を優先的に選び出す処理を実行する。
　背景画像データ１２に反映させるべき直線の数（選び出される直線の数）は、入力部４を介してユーザにより入力された値に基づいて決定されてもよいし、元の画像データ１１から抽出された、幾何学的特徴とは異なる特徴（空間周波数、色分布）に基づいて決定されてもよい。
　背景画像データ１２に反映させるべき直線の数が、空間周波数、色分布などにより決定される場合、制御部１は、空間周波数が高くなるほど、背景画像データ１２に反映させるべき直線の数が多くなるように、直線の数を設定する。また、制御部１は、色分布が複雑になるほど、背景画像データ１２に反映させるべき直線の数が多くなるように、直線の数を設定する。なお、空間周波数及び色分布は、両方用いられてもよいし、いずれか一方が用いられてもよい。
　あるいは、背景画像データ１２に反映させるべき直線の数は、元画像データに関連する関連情報（メタデータ）のうち、所定の関連情報に基づいて決定されてもよい。この場合、例えば、制御部１は、ジャンル情報（ＪＡＺＺ、クラシック、ロック、メタル等）、テンポ情報（早い、遅い）に基づいて、背景画像データ１２に反映させるべき直線の数を決定する。
　この場合、制御部１は、ジャンルがロックやメタルである場合、ジャンルがＪＡＺＺやクラシックである場合よりも、反映させるべき直線の数が多くなるように、直線の数を設定する。また、制御部１は、テンポが速くなるほど、反映させるべき直線の数が多くなるように、直線の数を設定する。なお、ジャンル情報とテンポ情報は、両方用いられてもよいし、いずれか一方が用いられてもよい。
　なお、背景画像データ１２に反映させるべき直線の数は、幾何学的特徴とは異なる特徴（空間周波数、色分布）及び所定の関連情報（ジャンル情報、テンポ情報）の両方を用いて決定されてもよい。
　このような処理により、適切な数の幾何学的特徴を背景画像データ１２に反映させることができる。
　直線を選び出すと、次に、制御部１は、その直線を第２の領域Ａ２の全体に延長させる処理を実行する。図３の右側の図では、２本の直線が第２の領域Ａ２に延長された場合の一例が示されている。このようにして、元の画像データ１１の幾何学的特徴が反映された背景画像データ１２が生成される。
　直線を背景画像データ１２に反映させると、次に、制御部１は、元の画像データ１１から抽出された色情報を取得し、この情報に基づいて、直線によって区分された領域を塗りつぶす処理を実行する。すなわち、制御部１は、元の画像データ１１の色を背景画像データ１２に反映させる処理を実行する。
　図３の右側の図に示す例では、２本の直線によって挟まれた２つの狭い領域が、クラリネットの色（茶色）で塗りつぶされた場合の一例が示されている。また、この例では、残った２つの領域のうち、一方の領域が、女性が着ている服の色（赤）で塗りつぶされ、他方の領域が元の画像データ１１の背景の色（青）で塗りつぶされた場合の一例が示されている。
　なお、どの領域に対してどの色を用いるかについては、ランダムに決定されてもよいし、元の画像データ１１における色を考慮して決定されてもよい。例えば、元の画像データ１１で最も多くの領域で使用されている色を第２の領域Ａ２におけるもっとも広い領域に使用してもよい。なお、直線に挟まれた領域だけでなく、直線の輪郭に対して、元の画像データ１１から抽出された色を使用してもよい（円、円弧においても同様）。
　以上のような処理によって、元の画像データ１１及び背景画像データ１２を含むデザイン画像データ１３が生成される。なお、図３の右側の図に示すデザイン画像データ１３は、例えば、音楽の再生時において表示部３の画面上に表示される再生画像として用いられる。
　ここで、元の画像データ１１から幾何学的特徴として、円、円弧、円と直線の組み合わせが抽出され、その幾何学的特徴が背景画像データ１２に反映される場合について説明する。図６は、これを説明するための図である。
　図６の上側を参照して、元の画像データ１１から幾何学的特徴として、円が抽出された場合、第２の領域Ａ２において、制御部１は、円の大きさを維持したまま、円を所定の間隔で配置する。
　図６の中央を参照して、元の画像データ１１から幾何学的特徴として円弧が抽出された場合、第２の領域Ａ２において円弧を延長させて円弧の残りの部分を補い、全体として円となるようにする。
　図６の下側を参照して、元の画像データ１１から幾何学的特徴として円と直線が抽出された場合、まず、制御部１は、第２の領域Ａ２において直線を延長させる。そして、制御部１は、第２の領域Ａ２において、直線の傾きに応じた角度で所定の間隔毎に円を配置する。
　［作用等］
　以上説明したように、本実施形態に係る情報処理装置１０では、元の画像データ１１の幾何学的特徴が反映された背景画像データ１２を生成して、元の画像データ（対応画像データ）１１及び背景画像データ１２を含むデザイン画像データ１３を生成することができる。デザイン画像データ１３は、第２の領域Ａ２における背景画像データ１２において、元の画像データ１１の幾何学的特徴が反映されているので、全体として統一感のあるデザイン性の高い画像となる。
　また、本実施形態に係る情報処理装置１０では、元の画像データ１１の幾何学的特徴だけでなく、元の画像データ１１における色も背景画像データ１２に反映されるため、デザイン画像データ１３のデザイン性をさらに向上させることができる。
　また、本実施形態に係る情報処理装置１０では、背景画像データ１２の領域（第２の領域Ａ２）において、テキストデータが配置される。これにより、デザイン性を向上させることができるだけでなく、有用な情報をユーザに提供することもできる。
　［各種変形例］
　ここで、テキストデータが背景画像データ１２の領域内に配置される場合、制御部１は、背景画像データ１２内における幾何学的特徴の位置に基づいて、背景画像データ１２内におけるテキストデータの位置を決定してもよい。図７は、これを説明するための図である。
　図７に示す例では、２本の直線が第２の領域Ａ２に延長された場合の一例が示されている。そして、この例では、２本の直線のうち、一方の直線の上方においてこの直線に沿って（直線の傾きに合わせて）テキストデータが配置される場合の一例が示されている。この例では、直線の位置に合わせてテキストデータの位置が決定される場合が示されているが、円や、円弧の位置に合わせてテキストデータの位置が決定されてもよい。
　上述の例では、元の画像データ１１から抽出された幾何学的特徴は、背景画像データ１２にのみ反映され、この幾何学的特徴は元の画像データ（対応画像データ）１１には反映されない場合について説明した。一方、幾何学的特徴が元の画像データ（対応画像データ）１１においても反映されてもよい。これにより、デザイン画像データ１３のデザイン性をさらに向上させることができる。
　図８は、幾何学的特徴が元の画像データ１１にも反映された場合の一例を示す図である。図８に示す例では、元の画像データ１１から２本の直線が抽出され、この２本の直線が元の画像データ１１に上書きされた場合の一例が示されている。なお、図８に示す例では、上書きされる２本の直線について、元の画像データ１１から検出された色が使用された場合の一例が示されている。
　ここで、例えば、楽曲のジャケットの画像データや、テレビ番組の一場面の画像データに対して上述のような上書き（加工）を行ってしまうと、著作権における同一性保持権などの観点から問題となる場合も想定される。
　この問題を解消するため、制御部１は、元の画像データ１１に関連する関連情報（メタデータ）として加工禁止／許可情報を取得し、加工禁止／許可情報に基づいて、幾何学的特徴を元の第１の画像データに反映させるかどうかを判断してもよい。この場合、制御部１は、加工が許可されている場合に限り、上述のような上書き（加工）を行う。
　また、制御部１は、元の画像データ１１内に、背景画像データ１２において反映させるべきテキストデータが含まれているかどうかを判断し、元の画像データ１１内にテキストデータが含まれているかどうかに応じて、背景画像データ１２におけるテキストデータの大きさを変更してもよい。
　例えば、制御部１は、元の画像データ１１を解析したときにテキスト情報（テキストの文字情報）が取得された場合、このテキスト情報と、背景画像データ１２に反映させるべきテキストデータ（関連情報から取得される）とを比較する。これらが一致する場合、制御部１は、背景画像データ１２に反映させるべきテキストデータのサイズを相対的に小さくする。あるいは、この場合、制御部１は、テキストデータを背景画像データ１２に配置しない。
　図９の上側の図においては、背景画像データ１２におけるテキストデータのサイズが小さくされた場合の一例が示されている。
　また、元の画像データ１１から取得されたテキスト情報と、背景画像データ１２に反映させるべきテキストデータ（関連情報から取得される）とが一致しない場合、あるいは、元の画像データ１１がテキスト情報を含まず、テキスト情報を取得することができなかった場合、制御部１は、背景画像データ１２に反映させるべきテキストデータのサイズを相対的に大きくする。
　図９の下側の図においては、背景画像データ１２におけるテキストデータのサイズが大きくされた場合の一例が示されている。
　以上の説明では、背景画像データ１２に反映させるべきテキストデータが関連情報から取得される場合について説明したが、このテキストデータは、元の画像データ１１から抽出されてもよい。
　以上の説明では、背景画像データ１２の領域（第２の領域Ａ２）が、元の画像データ１１が配置される領域（第１の領域Ａ１）の周囲の領域である場合について説明した。一方、第２の領域Ａ２は、第１の領域Ａ１の周囲の領域に限られない。例えば、第１の領域Ａ１及び第２の領域Ａ２は、縦方向や横方向に隣接する領域であっても構わない。
　以上の説明では、元の画像データ１１を解析して元の画像データ１１から幾何学的特徴を抽出する処理と、背景画像データ１２を生成して、元の画像データ（対応画像データ）１１及び背景画像データ１２を含むデザイン画像データ１３を生成する処理とが同じ装置によって実行される場合について説明した。一方、これらの処理が別々の装置によって実行されてもよい。すなわち、元の画像データ１１を解析して幾何学的特徴を抽出（あるいは、色、重心位置の情報などを抽出）する解析装置と、この情報を取得してデザイン画像データ１３を生成する生成装置とを含む情報処理システムによって本技術が実現されてもよい。
　［他の実施形態］
　次に、本技術に係る他の実施形態について説明する。
　上述の実施形態では、生成されたデザイン画像データ１３が情報処理装置１０の表示部３（液晶ディスプレイやＥＬディスプレイ）に表示される例が示されたが、デザイン画像データ１３は、プロジェクタによってテーブル、床、壁、天井等の実在の面に投影されてもよい。この場合、幾何学的特徴の抽出対象となる元の画像データ１１としては、予め記憶部２に記憶された画像データの代わりに、実在する（例えばテーブル上に載置された）オブジェクトを撮像するカメラからの入力画像が用いられてもよい。また投影面は平面でなくてもよく、例えば曲面等であっても構わない。
　すなわち、本実施形態では、画像解析に基づき色成分、図形成分を抽出することで一貫性のある周辺画像を自動生成する技術を、カメラからの入力画像およびプロジェクタからの出力画像を用いて実世界に展開する。以下、本実施形態に係る情報処理システムの構成及び動作について説明する。
（情報処理システムのハードウェア構成）
　図１０は、本実施形態に係る情報処理装置システムの構成を示した図である。ここでシステムとは、所定の処理を実行するための構成のことを意味していてよく、システム全体として１つの装置とみなすこともできるし、複数の装置によってシステムが構成されているとみなすこともできる。図１０に示す本実施形態に係る情報処理システムも、情報処理システム全体として所定の処理（例えば図１１に示す機能構成によって実現される処理）を実行可能に構成されていればよく、情報処理システム内のどの構成を１つの装置とみなすかは任意であってよい。
　同図に示すように、本実施形態の情報処理装置システム１００は、入力部１１０と、出力部１３０とを含む。当該情報処理システム１００は、テーブル１４０の天面に情報を投影し、テーブル１４０に投影された情報に対して情報処理システム１００を使用するユーザに操作をさせるシステムである。
　入力部１１０は、情報処理システム１００を使用するユーザの操作内容や、テーブル１４０に置かれているオブジェクトの形状や模様などを入力する装置である。同図の例では、図１０に示した例では、入力部１１０は、テーブル１４０の上方に、例えば天井から吊り下げられた状態で設けられる。すなわち、入力部１１０は、情報が表示される対象となるテーブル１４０とは隔離して設けられる。入力部１１０としては、例えばレンズでテーブル１４０を撮像するカメラはや、２つのレンズでテーブル１４０を撮像して奥行き方向の情報を記録することが可能なステレオカメラ、情報処理システム１００を使用するユーザが発する音声や情報処理システム１００が置かれている環境の環境音を収音するためのマイク等が用いられ得る。
　入力部１１０として、１つのレンズでテーブル１４０を撮像するカメラが用いられる場合、情報処理システム１００は、そのカメラが撮像した画像を解析することで、テーブル１４０に置かれた物体を検出することができる。また入力部１１０としてステレオカメラが用いられる場合、そのステレオカメラには、例えば可視光カメラや赤外線カメラ等が用いられ得る。入力部１１０としてステレオカメラが用いられることで、入力部１１０は、深度情報を取得することが可能となる。入力部１１０が深度情報を取得することで、情報処理システム１００は、例えばテーブル１４０の上に置かれたオブジェクトＯの三次元形状を検出することが可能となる。すなわち、この場合入力部１１０は深度センサとしても機能する。
　ここでオブジェクトＯとは、様々なものが想定されるが、例えば、携帯電話、ＣＤ（ジャケットケース入りの）、本、プリント写真等である。
　また入力部１１０としてマイクが用いられる場合、そのマイクとしては特定の方向の音声を収音するためのマイクアレイが用いられ得る。入力部１１０としてマイクアレイが用いられる場合、情報処理システム１１０は、マイクアレイの収音方向を任意の方向に調整してもよい。
　出力部１３０は、入力部１１０によって入力された、情報処理システム１００を使用するユーザの操作内容や、出力部１３０が出力している情報の内容、テーブル１４０に置かれている物体の形状や模様等の情報に応じて、テーブル１４０に情報を表示したり、音声を出力したりする装置である。出力部１３０としては、例えばプロジェクタやスピーカ等が用いられる。図１０に示した例では、出力部１３０は、テーブル１４０の上方に、例えば天井から吊り下げられた状態で設けられる。出力部１３０がプロジェクタで構成される場合、出力部１３０は、テーブル１４０の天面に情報を投影する。出力部１３０がスピーカで構成される場合、出力部１３０は、音声信号に基づいて音声を出力する。出力部１３０がスピーカで構成される場合、スピーカの数は１つであってもよく、複数であってもよい。出力部１３０がスピーカで構成される場合、情報処理システム１００は、音声を出力するスピーカを限定したり、音声を出力する方向を調整したりしてもよい。
　また出力部１３０には、照明機器が含まれていてもよい。出力部１３０に照明機器が含まれる場合、情報処理システム１００は、入力部１１０によって入力された情報の内容に基づいて、照明機器の点灯、消灯等の状態を制御してもよい。
　情報処理システム１００を使用するユーザは、出力部１３０がテーブル１４０に表示する情報に対して、指などをテーブル１４０に置いて操作することができる。またユーザは、テーブル１４０にオブジェクトを置いて入力部１１０に認識させることで、その認識させた物体に関する種々の操作を実行することができる。
　図１０には図示しないが、情報処理システム１００には他の装置が接続されていてもよい。例えば、情報処理システム１００には、テーブル１４０を照らすための照明機器が接続されていてもよい。情報処理システム１００は、表示画面の状態に応じて当該照明機器の点灯状態を制御してもよい。
（情報処理システムの機能構成）
　図１１は、本実施形態に係る情報処理システムの機能構成例を示した図である。
　同図に示すように、情報処理システム１００は、入力部１１０と、制御部１２０と、出力部１３０を含む。
　入力部１１０は、情報処理システム１００を使用するユーザの情報処理システム１００に対する操作内容や、出力部１３０が情報を出力する面（例えば図１０のテーブル１４０）に置かれているオブジェクトの形状や模様などを入力する。情報処理システム１００を使用するユーザの情報処理システム１００に対する操作内容には、情報処理システム１００が情報の表示面に出力するＧＵＩ（Graphical User Interface）に対する操作内容を含む。入力部１１０が入力した、情報処理システム１００に対する操作内容、物体の形状、模様等の情報は、制御部１２０に送られる。
　入力部１１０は、例えば１つのレンズで構成されるカメラ、２つのレンズで構成されるステレオカメラ、マイク等で構成され得る。
　制御部１２０は、情報処理システム１００の各部を制御する。例えば制御部１２０は、入力部１１０が入力した情報を用いて、出力部１３０から出力する情報を生成する。同図に示すように、制御部１２０は、検出部１２１と、出力制御部１２２を含む。検出部１２１は、情報処理システム１００のユーザの、情報処理システム１００に対する操作内容や、出力部１３０が出力している情報の内容、及び出力部１３０が情報を出力する面（例えばテーブル１４０）に置かれているオブジェクトＯの形状や模様等を検出する。検出部１２１が検出した内容は出力制御部１２２に送られる。出力制御部１２２は、検出部１２１が検出した内容に基づいて、出力部１３０から出力する情報を生成する。出力制御部１２２が生成した情報は出力部１３０に送られる。
　例えば、情報の表示面における第１の領域Ａ１の座標と、当該表示面上で検出されたオブジェクトＯの座標とが一致するように予め校正されることで、出力制御部１２２は、オブジェクトＯがデザイン画像データ１３において第１の領域Ａ１に位置し、その周囲に背景画像データ１２が投影されるように、デザイン画像データ１３を生成することができる。
　制御部１２０は、例えばＣＰＵ等で構成されてもよい。制御部１２０がＣＰＵ等の装置で構成される場合、かかる装置は電子回路として構成され得る。
　また図示しないが、制御部１２０は、他の装置との間で無線通信を行うための通信機能や、情報処理システム１００に接続される他の装置、例えば照明機器の動作を制御する機能を有していてもよい。
　出力部１３０は、入力部１１０によって入力された、情報処理システム１００のユーザの操作内容や、出力部１３０が出力している情報の内容、また出力部１３０が情報を出力する面（例えばテーブル１４０）に置かれているオブジェクトＯの形状や模様等の情報に応じて情報を出力する。出力部１３０は、出力制御部１２２が生成する情報に基づいて情報を出力する。出力部１３０が出力する情報には、情報の表示面に表示される情報や、スピーカ等から出力される音声等が含まれる。
　図１１に示した情報処理システム１００は、単独の装置として構成されてもよく、一部または全部が別々の装置で構成されてもよい。例えば、図１１に示した情報処理システム１００のうち、制御部１２０が、入力部１１０及び出力部１３０とネットワーク等で接続されたサーバ等の装置に備えられていてもよい。制御部１２０がサーバ等の装置に備えられる場合は、入力部１１０からの情報がネットワーク等を通じて当該サーバ等の装置に送信され、制御部１２０が入力部１１０からの情報を処理し、当該サーバ等の装置から、出力部１３０が出力するための情報がネットワーク等を通じて出力部１３０に送られる。
（デザイン画像データの投影例）
　図１２及び図１３は、本実施形態において情報処理システム１００によってテーブル１４０等に投影されるデザイン画像データ１３の例を示した図である。
　本実施形態では、投影されるデザイン画像データ１３のうち第１の領域Ａ１は、上記オブジェクトＯの面積に合致するように生成され、当該第１の領域Ａ１には、元の画像データ１１は投影されずにブランク領域とされてもよい。換言すると、本実施形態では、元の画像データ１１から背景画像データ１２が生成され、デザイン画像データ１３として背景画像データ１２のみが投影されてもよい。
　図１２に示すように、オブジェクトＯが例えばＣＤのジャケット付ケースである場合、上述の実施形態と同様に、当該ケースのＣＤジャケットの画像から幾何学的特徴等が抽出され、それを反映した背景画像データ１２が生成され、テーブル１４０上の当該オブジェクトＯの周囲に投影される。同図の例では、ジャケット画像から横方向及び斜め方向の線が抽出され、それらの特徴を基に、当該各線を延長したような線を有する背景画像データ１２がオブジェクトＯの周囲に投影されている。
　図１３に示すように、オブジェクトＯが例えばプリント写真である場合も、当該プリント写真から抽出された幾何学的特徴を反映した背景画像データ１２が生成され、当該オブジェクトＯの周囲に投影される。同図の例では、プリント写真から円が抽出され、その特徴を基に当該プリント写真上の円の両隣に並ぶような２つの円を有する背景画像データ１２がテーブル１４０上のオブジェクトＯの周囲に投影されている。
　図１２及び図１３では、デザイン画像データ１３がテーブル１４０に投影される例が示されたが、デザイン画像データ１３が投影される面は、床、壁（床に垂直な面）、天井等であっても構わない。
（情報処理システムの動作概要）
　次に、本実施形態の情報処理システムの動作について説明する。
　図１４は、当該情報処理システムの動作の流れを示したフローチャートである。
　同図に示すように、情報処理システム１００の制御部１２０はまず、カメラの入力画像からオブジェクトＯを検出する（ステップ１４１）。具体的には、制御部１２０は、予め撮影して記憶しておいたテーブル１４０等の背景画像と、入力部１１０（カメラ）の入力画像とを比較して背景差分処理を実行し、オブジェクトＯの領域を輪郭として検出する。
　続いて制御部１２０は、上記オブジェクトＯを検出した入力画像から、オブジェクトＯの画像を取得する（ステップ１４２）。
　続いて制御部１２０は、上記取得したオブジェクトＯの画像を解析して、幾何学的特徴及び色情報を抽出する（ステップ１４３）。この抽出処理は上述の実施形態における処理と同様である。
　続いて制御部１２０は、上記抽出した幾何学的特徴及び色情報を基に、デザイン画像データ１３を生成する（ステップ１４４）。このデザイン画像データ１３は、例えば上記検出されたオブジェクトＯの領域（第１の領域Ａ１）をブランク（黒色）としてその周囲に背景画像データ１２を配置したものである。背景画像データ１２が、例えばオブジェクトＯの画像上の幾何学的特徴から延長されたような図形や直線等である場合、オブジェクトＯ上の模様等と背景画像データ１２との連続性が担保されるように、上記第１の領域Ａ１は、オブジェクトＯが存在する領域の形状及び面積に合致するように生成され、背景画像データ１２は、当該第１の領域Ａ１の縁部（第２の領域Ａ２との境界）からその周囲に生成される。
　そして制御部１２０は、出力部１３０により、上記生成したデザイン画像データ１３を、テーブル１４０等に存在するオブジェクトＯの領域が上記ブランク領域と重なるように位置合わせした上で、オブジェクトＯの周囲に投影する（ステップ１４５）。
（投影制御の具体例１：オブジェクト上での強調表示）
　上述の例では、デザイン画像データ１３として、検出されたオブジェクトＯに対応する領域（第１の領域Ａ１）がブランク（黒色）とされたデータが出力される例が説明された。しかし、デザイン画像データ１３のうちオブジェクトＯに対応する領域にも何らかの画像データが投影されてもよい。
　例えば、オブジェクトＯから検出され背景画像データ１２の生成に用いられた幾何学的特徴（図形や線）が、オブジェクトＯ上で強調表示されるように、デザイン画像データ１３のうちオブジェクトＯに対応する領域に画像が生成され、オブジェクトＯ上の幾何学的特徴に重なるように投影されてもよい。
　図１５は、そのような強調表示の例を示した図である。
　同図左側の図は、オブジェクトＯに対応する領域がブランクとされ、その周囲の背景画像データ１２のみを有するデザイン画像データ１３の例を示している。この図の例では、オブジェクトＯは本であり、その表紙には、アルファベットが２段で斜め方向に印刷されている。制御部１２０は、当該アルファベットの斜め方向を検出して、それに対応する斜め方向の直線を含む背景画像データ１２と、オブジェクトＯの領域に対応するブランク領域とを含むデザイン画像データ１３を生成して、オブジェクトＯから上記直線が連続的に表示されるようにデザイン画像データ１３を投影する。
　一方、同図右側の図は、オブジェクトＯに対応する領域においても画像を有するデザイン画像データ１３の例を示している。同図に示すように、オブジェクトＯに対応する領域においては、上記背景画像データ１２が有する斜め方向の直線と重なる直線を有する画像データが生成され、当該画像データと背景画像データ１２とが合成されたデザイン画像データ１３が投影される。
　ここで、オブジェクトＯの領域に投影される画像データ中の直線は、オブジェクトＯの色に応じて適宜変更されてもよい。例えば机１４０の色が白色系である場合、背景画像データ１２における斜めの直線は黒色系とされる一方で、オブジェクトＯ（本の表紙）の色が黒色系である場合、オブジェクトＯに対応する領域の画像における斜めの直線は白色系とされてもよい。
　このように、オブジェクトＯに対応する領域においても、当該オブジェクトＯから検出された幾何学的特徴を強調するような画像が生成されオブジェクトＯに重畳投影されることで、オブジェクトＯからどのような幾何学的特徴が認識されているのかがユーザにとって明確となる。
　また、検出されたオブジェクトＯの画像が、例えばＣＤジャケット画像のようなコピー可能な画像である場合、制御部１２０は、入力部１１０から取得したオブジェクトＯの画像と同一であって高画質の画像を、情報処理システム１００内または外部ネットワーク上のデータベースから検索して、当該画像をオブジェクトＯの領域に配置した上で背景画像データ１２と合成してデザイン画像データ１３を生成してオブジェクトＯ上に重畳投影してもよい。
（投影制御の具体例２：オブジェクトの高さ／厚さに応じた表現）
　上述の例において、オブジェクトＯがある程度の高さ／厚みを有する場合には、制御部１２０は、デザイン画像データ１３において、オブジェクトＯから抽出された幾何学的特徴を反映した図形や線と併せて、その影（のように見える図形や線）を投影することで、ユーザにとって当該図形がオブジェクトＯと同じ高さにあるかのように見える表現を提供することも可能である。
　この場合制御部１２０は、オブジェクトＯの検出時に、入力部１１０としての上記ステレオカメラ（深度センサ）等によってオブジェクトＯの高さ／厚みも検出し、当該高さ／厚みに応じて、影のオフセット量を調整する。
　図１６は、そのような影図形を含むデザイン画像データ１３の例を示した図である。
　同図Ａは、比較的厚み（高さ）が小さいオブジェクトＯ上に投影される、影を含むデザイン画像データ１３の例を示し、同図Ｂは、比較的厚み（高さ）が大きいオブジェクトＯ上に投影される、影を含むデザイン画像データ１３の例を示す。
　これらの図に示すように、両図においてオブジェクトＯの表面が有する幾何学的特徴（名斜めに記載されたアルファベット）を反映した斜めの直線を有するデザイン画像データ１３が投影される点は共通する。しかし、同図Ａのデザイン画像データ１３に比べて、同図Ｂのデザイン画像データにおいては、直線と、その下方に投影される影線Ｓとの距離が大きくなっていることが分かる。この両図におけるデザイン画像データ１３中の直線と影線Ｓとの距離が、オブジェクトＯの高さ／厚みを反映しているため、この距離によってユーザはオブジェクトＯの高さ／厚みを把握することができる。
（投影制御の具体例３：複雑な立体物への投影例）
　上述の例において、検出されたオブジェクトＯが比較的複雑な形状の立体物である場合、制御部１２０は、投影面に対して垂直方向から撮影した画像を利用して検出処理を行ってもよい。この場合制御部１２０は、テーブル１４０や床等の水平面ではなく壁等の垂直面を投影面としてもよい。
　またこの場合制御部１２０は、必要に応じて、前処理として深度センサ等を用いて投影面の背景除去等を行ってもよい。すなわち、壁面等の投影面に、デザイン画像データ１３の視認を阻害するような色や模様が存在することが検出された場合には、制御部１２０は、当該色や模様をキャンセルするような画像を、デザイン画像データ１３の投影に先立って投影してもよい。
　また逆に制御部１２０は、オブジェクトＯが検出された面のテクスチャの情報を積極的に利用してデザイン画像データ１３の投影処理を実行してもよい。すなわち、例えば投影面としての床や壁の撮像画像から、上記テクスチャとして、板材やタイルの継ぎ目が検出された場合には、制御部１２０は、当該継ぎ目の幾何学的特徴（例えば直線や格子）がデザイン画像データ１３と共に統一感を持ったデザインとして視認されるようにデザイン画像データ１３を生成して投影してもよい。
　また制御部１２０は、上記入力部１１０とは別のカメラ等によってユーザの視点位置を取得し、オブジェクトＯと、投影されたデザイン画像データ１３中の線や図形とが、当該ユーザの視点位置からシームレスに見えるように投影時に補正を行ってもよい。
　図１７は、オブジェクトＯが複雑な立体物である場合のデザイン画像データ１３の投影例を示した図である。
　同図に示すように、オブジェクトＯが、例えば天井から吊り下げられた飛行機の模型である場合、制御部１２０は、投影面を壁１５０とし、入力部１１０によりオブジェクトＯを当該壁１５０の垂直方向から撮影してオブジェクトＯの検出処理を行う。
　そして制御部１２０は、例えばオブジェクトＯとしての当該飛行機模型の表面から、幾何学的特徴として横方向の線を検出すると、その線に基づいて、当該線が当該飛行機模型の外側に延長されたような直線を有するデザイン画像データ１３を生成して投影する。
　この場合制御部１２０は、壁１５０に上記横方向の線の視認を阻害するような模様等が検出された場合には、前処理としてそのキャンセル処理を実行する。また制御部１２０は、別途ユーザの視点位置を検出して、当該ユーザの視点位置から、上記デザイン画像データ１３上の線が、飛行機模型上の線とシームレスに見えるように、投影するデザイン画像データ１３上の線の位置を補正してもよい。
（投影制御の具体例４：オブジェクトが複数ある場合の投影例）
　上述の例では、検出されるオブジェクトＯが１つである場合の投影例が示された。しかし、検出されるオブジェクトＯは複数であってもよく、当該複数のオブジェクトＯに応じたデザイン画像データ１３が生成され投影されてもよい。
　例えば制御部１２０は、複数のオブジェクトＯから検出された線同士の交点によって形成される領域をデザイン画像データ１３の生成に新たに使用してもよい。
　図１８は、オブジェクトＯが複数検出された場合のデザイン画像データ１３の投影例を示した図である。
　同図に示すように、例えばオブジェクトＯとして３つのＣＤジャケットケースが検出された場合、制御部１２０は、各ＣＤジャケットケースの撮像画像から抽出された複数の直線を交わらせて、それら直線で囲まれる複数の領域を異なる色で表現してデザイン画像データ１３を生成して投影してもよい。すなわち、この場合には、各オブジェクトＯ１、Ｏ２、Ｏ３に対応する領域（第１の領域Ａ１）は例えばブランク（黒色）領域として生成され、その周囲の領域（第２の領域Ａ２）が、上記複数の直線及びそれらで囲まれる複数の領域から構成される背景画像データ１２として生成される。またそれら複数の直線で囲まれた領域のうち、各オブジェクトＯ１、Ｏ２、Ｏ３に近い領域の色は、当該各オブジェクトから検出された色に類似する色にそれぞれ設定されてもよい。
　またこの場合制御部１２０は、検出された複数のオブジェクトＯについて優先度を付与し、優先度に応じてデザイン画像データ１３を生成してもよい。例えば制御部１２０は、複数のオブジェクトＯに、その面積や、入力部１１０の撮像範囲の中心からの距離に応じて優先度を付与し、それらの優先度に応じて、例えば面積の大きい、またはより中心に位置するオブジェクトＯから抽出された幾何学的特徴を優先的にデザイン画像データ１３の生成に利用してもよい。
（その他の投影制御例）
　上述の例において、典型的には、デザイン画像データ１３の色はオブジェクトＯから検出された色に類似する色に設定される。しかし、制御部１２０は、オブジェクトＯが検出された面（テーブル１４０、壁１５０、床、天井等）の色に応じて、デザイン画像データ１３の色を変更してもよい。例えば、オブジェクトＯから白色が検出され、当該オブジェクトＯが置かれた面の色も白色であった場合には、白色のデザイン画像データ１３は視認が困難となることから、デザイン画像データ１３が白色以外の色に設定されてもよい。また、オブジェクトＯから検出された色が黒色または暗い色であった場合には、プロジェクタによって黒色を投影することはできないため、オブジェクトＯが検出された面の色に関わらず、デザイン画像データ１３は明るい色に設定されてもよい。また同様の趣旨から、オブジェクトＯから暗い（黒色系の）色と明るい色の両方が検出された場合には、明るい色が優先的にデザイン画像データ１３に用いられてもよい。
　上述の例において、デザイン画像データ１３には、オブジェクトＯから検出された色を基準としたグラデーション色が用いられてもよい。特にプロジェクタによる投影画像においては、投影領域の端部ほどフェードアウトするようなグラデーション効果を用いたデザイン画像データ１３がユーザにとってより自然な画像となる。例えば上記情報処理システム１００において、テーブル１４０等の投影面が複数のユーザによってＧＵＩとして用いられる場合には、投影面が当該複数のユーザ毎の操作領域（ウィンドウ）として区切られてもよく、当該各ウィンドウに投影されるデザイン画像データ１３は、境界付近に近づくにしたがってフェードアウトしてもよい。
　上述の例では、デザイン画像データ１３がオブジェクトＯの領域に近接してその端部からシームレスに投影される例が示されたが、デザイン画像データ１３は当該オブジェクトＯに近接して投影されなくてもよく、例えばオブジェクトＯから所定距離を置いた位置に投影されてもよい。
　上述の例において、入力部１１０の撮像画像から、オブジェクトＯの移動が検出された場合には、制御部１２０は、デザイン画像データ１３の投影処理を当該オブジェクトＯの移動に追従させてもよい。この場合制御部１２０は、リアルタイムで追従処理を実行してもよいし、所定のフレームレートで定期的に追従処理を実行してもよい。また制御部１２０は、オブジェクトＯの移動が検出された場合には、当該移動中はデザイン画像データ１３を投影せず、オブジェクトＯが移動して再度静止したことが検出された場合に、移動後の位置に改めてデザイン画像データ１３を投影してもよい。
　上述の例において、制御部１２０は、デザイン画像データ１３の生成にあたって、検出したオブジェクトＯの幾何学的特徴のみならず、周囲のユーザに関する情報を用いてもよい。例えば制御部１２０は、オブジェクトＯから複数の線分が検出された場合に、テーブル１４０等の投影面の周囲に存在するユーザの位置を別のカメラ等のセンサで検出し、当該ユーザが存在する方向に向いている線分を用いてデザイン画像データ１３を生成してもよい。また、上述の実施形態の図７や図９に示したようにデザイン画像データ１３内にテキストデータ（例えば楽曲タイトル）が配置される場合、当該テキストデータを、デザイン画像データ１３中の上記ユーザの位置に近い位置に配置してもよい。当該楽曲タイトルのテキストデータが楽曲再生のためのＧＵＩとして機能する場合、ユーザが自身の近くに投影された楽曲タイトルに対して操作（指によるタップ等）を入力することで、それを制御部１２０が検出して楽曲を再生することが可能となる。
　ここで、デザイン画像データ１３がＧＵＩとして機能してユーザとのインタラクションに用いられ得るのは、本実施形態に限られず上述の実施形態においても同様である。すなわち、上述の実施形態における情報処理装置１０の表示部３に表示されるデザイン画像データ１３がＧＵＩとして機能してもよい。
　上述の例において、制御部１２０は、所定の条件が満たされた場合には、デザイン画像データ１３の生成処理及び投影処理の実行を規制してもよい。例えば、上述の通り、プロジェクタでは黒色系の投影が困難であることから、制御部１２０は、オブジェクトＯから検出された色の色成分（ヒストグラム）を分析して、それが黒色系の色成分（明度または彩度が所定値未満）の場合（例えばモノクロ文書等）には上記生成処理及び投影処理を実行せず、明度または彩度が所定値以上の場合に上記生成処理及び投影処理を実行してもよい。また、制御部１２０は、検出されたオブジェクトＯの深度（立体形状）を分析して、複雑な立体形状である場合（例えば深度値の分散が所定値以上の場合）にも、同様に上記生成処理及び投影処理を実行しなくてもよい。
　上述の例では、オブジェクトＯがＣＤケース、本、写真等である場合のデザイン画像データ１３の投影例が示されたが、その他のあらゆるオブジェクトＯについても同様にデザイン画像データ１３が生成され得る。例えば飲食店において客に提供される（皿に盛られてテーブルに置かれる）料理がオブジェクトＯとして検出され、その料理が有する幾何学的特徴に基づいて、テーブル上の当該料理の周囲にデザイン画像データ１３が演出として投影されてもよい。
　本技術は以下の構成をとることもできる。
（１）第１の画像データを解析して抽出された幾何学的特徴情報を取得する取得部と、
　前記幾何学的特徴情報に基づいて第２の画像データを生成し、前記第１の画像データに対応する対応画像データが配置される第１の領域と、前記第２の画像データが配置される第２の領域と含む第３の画像データを生成する生成部と
　を具備する情報処理装置。
（２）　上記（１）に記載の情報処理装置であって、
　前記取得部は、前記第１の画像データを解析して抽出された色情報を取得し、
　前記生成部は、前記色情報に基づいて第２の画像データを生成する
　情報処理装置。
（３）　上記（１）又は（２）に記載の情報処理装置であって、
　前記取得部は、前記第１の画像データから得られる複数の幾何学的特徴情報を取得し、
　前記生成部は、前記複数の幾何学的特徴情報についてそれぞれ優先度を決定し、前記先度に基づいて選択される幾何学的特徴情報に基づいて、前記第２の画像データを生成する
　情報処理装置。
（４）　上記（１）～（３）のうちいずれか１つに記載の情報処理装置であって、
　前記取得部は、前記第１の画像データに関連する関連情報を取得し、
　前記生成部は、前記関連情報をテキストデータとして前記第２の画像データに反映させる
　情報処理装置。
（５）　上記（１）～（４）のうちいずれか１つに記載の情報処理装置であって、
　前記第２の領域は、前記第１の領域の周囲の領域である
　情報処理装置。
（６）　上記（４）に記載の情報処理装置であって、
　前記生成部は、前記第２の画像データ内における幾何学的特徴の位置に基づいて、前記第２の画像データ内における前記テキストデータの位置を決定する
　情報処理装置。
（７）　請求項（１）～（６）のうちいずれか１つに記載の情報処理装置であって、
　前記取得部は、前記第１の画像データを解析して得られる前記第１の画像データの重心位置の情報を取得し、
　前記生成部は、前記重心位置に基づいて、前記第１の領域及び前記第２の領域の位置を決定する
　情報処理装置。
（８）　上記（４）に記載の情報処理装置であって、
　前記取得部は、前記第１の画像データを解析して得られる前記第１の画像データの重心位置の情報を取得し、
　前記生成部は、前記重心位置に基づいて、前記第１の領域及び前記第２の領域の位置、並びに、前記第２の領域内における前記テキストデータの位置を決定する
　情報処理装置。
（９）　上記（１）～（８）のうちいずれか１つに記載の情報処理装置であって、
　前記取得部は、前記第１の画像データを解析して抽出された、前記幾何学的特徴情報とは異なる特徴情報を取得し、
　前記生成部は、前記特徴情報に基づいて、前記第２の画像データに反映させるべき幾何学的特徴情報の数を決定する
　情報処理装置。
（１０）　上記（１）～（９）のうちいずれか１つに記載の情報処理装置であって、
　前記取得部は、前記第１の画像データに関連する関連情報を取得し、
　前記生成部は、前記関連情報に基づいて、前記第２の画像データに反映させるべき幾何学的特徴情報の数を決定する
　情報処理装置。
（１１）　上記（１）～（１０）のうちいずれか１つに記載の情報処理装置であって、
　前記第１の画像データを解析して幾何学的特徴情報を抽出する抽出部をさらに具備する
　情報処理装置。
（１２）　上記（１１）に記載の情報処理装置であって、
　前記抽出部は、前記第１の画像データを解析して前記幾何学的特徴情報とは異なる特徴情報を抽出し、前記特徴情報に基づいて、抽出すべき前記幾何学的特徴情報の数又は数の範囲を決定する
　情報処理装置。
（１３）　上記（１１）又は（１２）に記載の情報処理装置であって、
　前記取得部は、前記第１の画像データに関連する関連情報を取得し、前記関連情報に基づいて、取得すべき前記幾何学的特徴情報の数又は数の範囲を決定する
　情報処理装置。
（１４）　上記（１）～（１３）のうちいずれか１つに記載の情報処理装置であって、
　前記生成部は、前記幾何学的特徴情報を、前記対応画像データに反映させる
　情報処理装置。
（１５）　上記（１４）に記載の情報処理装置であって、
　前記取得部は、前記第１の画像データに関連する関連情報として加工禁止／許可情報を取得し、
　前記生成部は、前記加工禁止／許可情報に基づいて、前記幾何学的特徴情報を前記対応画像データに反映させるかどうかを判断する
　情報処理装置。
（１６）　上記（４）に記載の情報処理装置であって、
　前記生成部は、前記第１の画像データを解析して前記第１の画像データ内に、前記第２の画像に反映させるべき前記テキストデータが含まれているかどうかを判断し、前記第１の画像データ内に、前記テキストデータが含まれているかどうかに応じて、前記第２の画像データにおける前記テキストデータの大きさを変更する
　情報処理装置。
（１７）第１の画像データを解析して前記第１の画像データから幾何学的特徴情報を抽出する解析装置と、
　前記幾何学的特徴情報を取得し、前記幾何学的特徴情報に基づいて第２の画像データを生成し、前記第１の画像データに対応する対応画像データが配置される第１の領域と、前記第２の画像データが配置される第２の領域と含む第３の画像データを生成する生成装置と
　を具備する情報処理システム。
（１８）第１の画像データを解析して抽出された幾何学的特徴情報を取得し、
　前記幾何学的特徴情報に基づいて第２の画像データを生成し、
　前記第１の画像データに対応する対応画像データが配置される第１の領域と、前記第２の画像データが配置される第２の領域と含む第３の画像データを生成する
　情報処理方法。
（１９）コンピュータに、
　第１の画像データを解析して抽出された幾何学的特徴情報を取得し、
　前記幾何学的特徴情報に基づいて第２の画像データを生成し、
　前記第１の画像データに対応する対応画像データが配置される第１の領域と、前記第２の画像データが配置される第２の領域と含む第３の画像データを生成する
　を実行させるプログラム。
１，１２０…制御部
１０…情報処理装置
１１…元の画像データ
１２…背景画像データ
１３…デザイン画像データ
１１０…入力部
１３０…出力部

Claims (19)

  1. 　第１の画像データを解析して抽出された幾何学的特徴情報を取得する取得部と、
    　前記幾何学的特徴情報に基づいて第２の画像データを生成し、前記第１の画像データに対応する対応画像データが配置される第１の領域と、前記第２の画像データが配置される第２の領域と含む第３の画像データを生成する生成部と
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記取得部は、前記第１の画像データを解析して抽出された色情報を取得し、
    　前記生成部は、前記色情報に基づいて第２の画像データを生成する
    　情報処理装置。
  3. 　請求項１に記載の情報処理装置であって、
    　前記取得部は、前記第１の画像データから得られる複数の幾何学的特徴情報を取得し、
    　前記生成部は、前記複数の幾何学的特徴情報についてそれぞれ優先度を決定し、前記優先度に基づいて選択される幾何学的特徴情報に基づいて、前記第２の画像データを生成する
    　情報処理装置。
  4. 　請求項１に記載の情報処理装置であって、
    　前記取得部は、前記第１の画像データに関連する関連情報を取得し、
    　前記生成部は、前記関連情報をテキストデータとして前記第２の画像データに反映させる
    　情報処理装置。
  5. 　請求項１に記載の情報処理装置であって、
    　前記第２の領域は、前記第１の領域の周囲の領域である
    　情報処理装置。
  6. 　請求項４に記載の情報処理装置であって、
    　前記生成部は、前記第２の画像データ内における幾何学的特徴の位置に基づいて、前記第２の画像データ内における前記テキストデータの位置を決定する
    　情報処理装置。
  7. 　請求項１に記載の情報処理装置であって、
    　前記取得部は、前記第１の画像データを解析して得られる前記第１の画像データの重心位置の情報を取得し、
    　前記生成部は、前記重心位置に基づいて、前記第１の領域及び前記第２の領域の位置を決定する
    　情報処理装置。
  8. 　請求項４に記載の情報処理装置であって、
    　前記取得部は、前記第１の画像データを解析して得られる前記第１の画像データの重心位置の情報を取得し、
    　前記生成部は、前記重心位置に基づいて、前記第１の領域及び前記第２の領域の位置、並びに、前記第２の領域内における前記テキストデータの位置を決定する
    　情報処理装置。
  9. 　請求項１に記載の情報処理装置であって、
    　前記取得部は、前記第１の画像データを解析して抽出された、前記幾何学的特徴情報とは異なる特徴情報を取得し、
    　前記生成部は、前記特徴情報に基づいて、前記第２の画像データに反映させるべき幾何学的特徴情報の数を決定する
    　情報処理装置。
  10. 　請求項１に記載の情報処理装置であって、
    　前記取得部は、前記第１の画像データに関連する関連情報を取得し、
    　前記生成部は、前記関連情報に基づいて、前記第２の画像データに反映させるべき幾何学的特徴情報の数を決定する
    　情報処理装置。
  11. 　請求項１に記載の情報処理装置であって、
    　前記第１の画像データを解析して幾何学的特徴情報を抽出する抽出部をさらに具備する
    　情報処理装置。
  12. 　請求項１１に記載の情報処理装置であって、
    　前記抽出部は、前記第１の画像データを解析して前記幾何学的特徴情報とは異なる特徴情報を抽出し、前記特徴情報に基づいて、抽出すべき前記幾何学的特徴情報の数又は数の範囲を決定する
    　情報処理装置。
  13. 　請求項１１に記載の情報処理装置であって、
    　前記取得部は、前記第１の画像データに関連する関連情報を取得し、前記関連情報に基づいて、取得すべき前記幾何学的特徴情報の数又は数の範囲を決定する
    　情報処理装置。
  14. 　請求項１に記載の情報処理装置であって、
    　前記生成部は、前記幾何学的特徴情報を、前記対応画像データに反映させる
    　情報処理装置。
  15. 　請求項１４に記載の情報処理装置であって、
    　前記取得部は、前記第１の画像データに関連する関連情報として加工禁止／許可情報を取得し、
    　前記生成部は、前記加工禁止／許可情報に基づいて、前記幾何学的特徴情報を前記対応画像データに反映させるかどうかを判断する
    　情報処理装置。
  16. 　請求項４に記載の情報処理装置であって、
    　前記生成部は、前記第１の画像データを解析して前記第１の画像データ内に、前記第２の画像に反映させるべき前記テキストデータが含まれているかどうかを判断し、前記第１の画像データ内に、前記テキストデータが含まれているかどうかに応じて、前記第２の画像データにおける前記テキストデータの大きさを変更する
    　情報処理装置。
  17. 　第１の画像データを解析して前記第１の画像データから幾何学的特徴情報を抽出する解析装置と、
    　前記幾何学的特徴情報を取得し、前記幾何学的特徴情報に基づいて第２の画像データを生成し、前記第１の画像データに対応する対応画像データが配置される第１の領域と、前記第２の画像データが配置される第２の領域と含む第３の画像データを生成する生成装置と
    　を具備する情報処理システム。
  18. 　第１の画像データを解析して抽出された幾何学的特徴情報を取得し、
    　前記幾何学的特徴情報に基づいて第２の画像データを生成し、
    　前記第１の画像データに対応する対応画像データが配置される第１の領域と、前記第２の画像データが配置される第２の領域と含む第３の画像データを生成する
    　情報処理方法。
  19. 　コンピュータに、
    　第１の画像データを解析して抽出された幾何学的特徴情報を取得するステップと、
    　前記幾何学的特徴情報に基づいて第２の画像データを生成するステップと、
    　前記第１の画像データに対応する対応画像データが配置される第１の領域と、前記第２の画像データが配置される第２の領域と含む第３の画像データを生成するステップと
    　を実行させるプログラム。
PCT/JP2015/004356 2014-08-28 2015-08-28 情報処理装置、情報処理システム、情報処理方法及びプログラム WO2016031254A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/329,805 US10134164B2 (en) 2014-08-28 2015-08-28 Information processing apparatus, information processing system, information processing method, and program
JP2016544968A JP6677160B2 (ja) 2014-08-28 2015-08-28 情報処理装置、情報処理システム、情報処理方法及びプログラム
EP15836761.5A EP3188130A4 (en) 2014-08-28 2015-08-28 Information processing device, information processing system, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-174456 2014-08-28
JP2014174456 2014-08-28

Publications (1)

Publication Number Publication Date
WO2016031254A1 true WO2016031254A1 (ja) 2016-03-03

Family

ID=55399166

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/004356 WO2016031254A1 (ja) 2014-08-28 2015-08-28 情報処理装置、情報処理システム、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US10134164B2 (ja)
EP (1) EP3188130A4 (ja)
JP (1) JP6677160B2 (ja)
WO (1) WO2016031254A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020166372A1 (ja) * 2019-02-15 2020-08-20 ソニー株式会社 データ処理装置、表示制御方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP7366563B2 (ja) * 2019-03-26 2023-10-23 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
CN110136193B (zh) * 2019-05-08 2021-06-11 广东嘉腾机器人自动化有限公司 基于深度图像的矩体箱体三维尺寸测量方法及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006318449A (ja) * 2005-04-13 2006-11-24 Fujifilm Holdings Corp アルバム作成装置、アルバム作成方法、及びプログラム
WO2014097706A1 (ja) * 2012-12-21 2014-06-26 ソニー株式会社 表示制御装置および記録媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100477718C (zh) 2003-09-10 2009-04-08 精工爱普生株式会社 输出图像数据生成装置和输出图像数据生成方法
AU2008202672B2 (en) * 2008-06-17 2011-04-28 Canon Kabushiki Kaisha Automatic layout based on visual context
JP5253069B2 (ja) * 2008-09-29 2013-07-31 キヤノン株式会社 画像処理方法及び画像処理装置
KR101539043B1 (ko) * 2008-10-31 2015-07-24 삼성전자주식회사 인물 구도 제안 영상 촬영 장치 및 방법
WO2014043253A1 (en) * 2012-09-11 2014-03-20 Neogenomics Laboratories Automated fish reader using learning machines

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006318449A (ja) * 2005-04-13 2006-11-24 Fujifilm Holdings Corp アルバム作成装置、アルバム作成方法、及びプログラム
WO2014097706A1 (ja) * 2012-12-21 2014-06-26 ソニー株式会社 表示制御装置および記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3188130A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020166372A1 (ja) * 2019-02-15 2020-08-20 ソニー株式会社 データ処理装置、表示制御方法

Also Published As

Publication number Publication date
JP6677160B2 (ja) 2020-04-08
JPWO2016031254A1 (ja) 2017-06-15
US20170256081A1 (en) 2017-09-07
US10134164B2 (en) 2018-11-20
EP3188130A4 (en) 2018-04-11
EP3188130A1 (en) 2017-07-05

Similar Documents

Publication Publication Date Title
US10963140B2 (en) Augmented reality experience creation via tapping virtual surfaces in augmented reality
US11361542B2 (en) Augmented reality apparatus and method
JP6627861B2 (ja) 画像処理システムおよび画像処理方法、並びにプログラム
US20190139312A1 (en) An apparatus and associated methods
CN106341522A (zh) 移动终端及其控制方法
CN104423806B (zh) 信息处理装置，信息处理方法和程序
CN114049459A (zh) 移动装置、信息处理方法以及非暂态计算机可读介质
JP6677160B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN104427282B (zh) 信息处理装置，信息处理方法和程序
US9305400B2 (en) Method and system for augmented reality
US9451245B1 (en) Three dimensional digitizing and projector system
US20240048796A1 (en) Integrating overlaid digital content into displayed data via graphics processing circuitry
US11836847B2 (en) Systems and methods for creating and displaying interactive 3D representations of real objects
KR101773891B1 (ko) 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법
US11922904B2 (en) Information processing apparatus and information processing method to control display of a content image
JP6680294B2 (ja) 情報処理装置、情報処理方法、プログラム及び画像表示システム
WO2022022260A1 (zh) 图像风格迁移方法及其装置
KR102360919B1 (ko) 음성 더빙 기반의 진행자 영상 편집 시스템
KR101843024B1 (ko) 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법
KR101907297B1 (ko) 종이 도안을 활용한 게임 제작 시스템
JP2015211338A (ja) 画像処理装置、それを備える撮像装置、画像処理方法及び画像処理プログラム
US20230377363A1 (en) Machine learning based multipage scanning
US20230377300A1 (en) Systems, methods, and user interfaces for generating a three-dimensional virtual representation of an object
US20230326095A1 (en) Overlaying displayed digital content with regional transparency and regional lossless compression transmitted over a communication network via processing circuitry
CN117931356A (zh) 显示方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15836761

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15329805

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2016544968

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015836761

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015836761

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE