WO2009096524A1 - 画像向き判定方法と装置及びプログラム - Google Patents

画像向き判定方法と装置及びプログラム Download PDF

Info

Publication number
WO2009096524A1
WO2009096524A1 PCT/JP2009/051583 JP2009051583W WO2009096524A1 WO 2009096524 A1 WO2009096524 A1 WO 2009096524A1 JP 2009051583 W JP2009051583 W JP 2009051583W WO 2009096524 A1 WO2009096524 A1 WO 2009096524A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
orientation
type
probability
appearance probability
Prior art date
Application number
PCT/JP2009/051583
Other languages
English (en)
French (fr)
Inventor
Yusuke Takahashi
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Publication of WO2009096524A1 publication Critical patent/WO2009096524A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier

Definitions

  • the present invention is based on the priority claim of Japanese Patent Application No. 2008-021254 (filed on Jan. 31, 2008), the entire contents of which are incorporated herein by reference. Shall.
  • the present invention relates to a method, an apparatus, and a program for detecting the orientation of an image, and more particularly, to a method, an apparatus, and a program suitable for determining the orientation of an image shot by a shooting device or the like.
  • Patent Document 1 the description in Patent Document 1 is referred to as a related technology of a system for determining this type of image orientation.
  • the rotation direction of the camera when the user holds the camera is registered in the database as rotation information in association with the user ID, and the determination unit determines the top and bottom of the image recorded on the memory card.
  • the top / bottom determination is difficult, the rotation information corresponding to the user is acquired with reference to the database, and the top / bottom determination is performed taking this into consideration, and the rotation information is stored for each model of the photographing apparatus, and the processing target A configuration is disclosed in which the top and bottom of the image is determined with reference to the rotation direction represented by the rotation information corresponding to the model of the photographing apparatus that has acquired the image.
  • JP 2006-238362 A J. et al. Luo and M.M. Boutel, “Automatic Image Orientation Detection via Confidence-Based Integration of Low-Level and Semantic Cues,” IEEE Trans. PAMI, vol. 27, no. 5, pp. 715-726, 2005
  • Patent Document 1 The entire disclosures of Patent Document 1 and Non-Patent Document 1 described above are incorporated herein by reference. The following is an analysis of the related art according to the present invention.
  • the related technology described above performs top-and-bottom determination based on the orientation of the orientation of the camera for each user, and is sufficient when multiple users photograph with the same camera, or when the same user photographs with multiple cameras. Accurate judgment accuracy is not guaranteed.
  • the camera can be used depending on the position of the button of the device for shooting with the same user. This is because the orientation of holding may be different.
  • an object of the present invention is to provide an image orientation determination method, an image orientation determination apparatus, and a program that can correctly determine the orientation of an input image that is undefined by a user.
  • the invention disclosed in the present application is generally configured as follows in order to solve the above problems.
  • an image feature amount acquisition step for acquiring a feature amount of an image
  • An imaging device type acquisition step of acquiring the type of the imaging device of the image
  • a probability calculating step of calculating the probability of the image orientation with respect to the image orientation to be determined based on the feature amount of the image
  • the image in the type of the imaging device is based on the type of the imaging device
  • An extraction step for extracting the appearance probability of the direction
  • An image orientation determination step for determining the orientation of the image based on the probability of the image orientation with respect to the image orientation to be determined and the appearance probability of the image orientation
  • An image orientation determination method is provided.
  • the storage unit stores and holds the appearance probability of the image orientation in at least one of a digital camera, a mobile phone with a photographing function, and a scanner as the type of the photographing device in association with the type of the photographing device. .
  • the storage unit treats a plurality of models as one model as a type of photographing device to be recorded in the storage unit, and sets the type as one type.
  • the representative appearance probability of the appearance probability in the image direction may be stored in association with each other.
  • the average appearance probability of each of the plurality of models may be used as the representative appearance probability.
  • the plurality of models may be extracted using clustering using the appearance probability of the image orientation in each model as a feature amount.
  • the image orientation determination step obtains a value obtained by multiplying the image orientation to be determined by the probability of the image orientation and the appearance probability of the image orientation, and determines the image orientation direction having the highest value. You may make it determine with it being image orientation.
  • image feature amount acquisition means for acquiring a feature amount of an image
  • Photographing device type acquisition means for acquiring the type of the photographing device of the image
  • a probability calculating means for calculating the probability of the image orientation with respect to the image orientation to be determined based on the feature amount of the image
  • Storage means for storing and holding a set of the type of imaging device and the appearance probability of the direction of an image captured by the type of imaging device; Referring to the storage means, based on the type of the photographing device, extracting means for extracting the appearance probability of the image orientation in the type of the photographing device;
  • Image orientation determining means for determining the orientation of the image based on the probability of the image orientation with respect to the image orientation to be determined and the appearance probability of the image orientation; Is provided.
  • the storage means stores and holds the appearance probability of the image orientation in at least one of a digital camera, a mobile phone with a photographing function, and a scanner as the type of the photographing device to be recorded in association with the type of the photographing device.
  • the storage means treats a plurality of models as a single model as a type of photographing device to be recorded in the storage unit, and sets the image as a single type.
  • the representative appearance probability of the direction appearance probability may be associated and stored.
  • the average appearance probability of each of the plurality of models may be used as the representative appearance probability.
  • the plurality of models may be extracted using clustering using the appearance probability of the image orientation in each model as a feature amount.
  • the image orientation determination means obtains a value obtained by multiplying the image orientation to be determined by the probability of the image orientation and the appearance probability of the image orientation, and determines the image orientation direction having the highest value. You may make it determine with it being image orientation.
  • an image feature amount acquisition process for acquiring a feature amount of an image
  • An imaging device type acquisition process for acquiring the type of the imaging device of the image
  • a probability calculation process for calculating the probability of the image orientation relative to the image orientation to be determined based on the feature amount of the image
  • the appearance of the image orientation in the type of the photographing device based on the type of the photographing device by referring to the storage unit for a set of the type of the photographing device and the appearance probability of the direction of the image photographed by the photographing device of the type
  • An extraction process to extract probabilities
  • An image orientation determination process for determining the orientation of the image based on the probability of the image orientation with respect to the image orientation to be determined and the appearance probability of the image orientation
  • a program for causing a computer to execute is provided.
  • the direction can be correctly determined.
  • a photographing device type representing the model and type of the photographing device (for example, a portable camera with a lens, a compact digital camera, a single-lens reflex camera, a scanner, etc.) is extracted, and for each photographing device type, The direction is determined using the set prior probability of the direction of the photograph to be taken. More specifically, in the present invention, the prior probability (appearance probability) indicating how many images are captured in which image direction with respect to a certain type of imaging device, and the type information of the imaging device for each predetermined direction.
  • the image capturing device that stores the image in the image orientation determination target with reference to the storage unit based on the type information of the image capturing device that captured the image with respect to the image orientation determination target image. Appearance probability in each direction of the image is acquired. In addition, the probability of the image in each direction is calculated based on the feature amount extracted from at least a part of the image orientation determination target image. Then, the image orientation determination target based on the certainty of the image orientation determination target image in each direction and the appearance probability of the image in each orientation in a photographing device that captured the image orientation determination target image The orientation of the image is determined.
  • the one orientation is determined as the orientation of the image orientation determination target image.
  • a camera model may be acquired from Exif information of a photograph and a prior probability corresponding to the camera model registered in the database in advance may be selected.
  • the direction of the input image is determined by using information on the device that captured the image and using the prior probability (appearance probability) of the orientation of the image on the device. . That is, with respect to an image captured by the imaging device, the image orientation probability obtained from the image feature amount and the appearance probability information of the orientation of the image captured by the imaging device are used to determine the image orientation. Determine the orientation.
  • the appearance probability information of the direction of the image captured by the imaging device is stored in association with the device information of the imaging device that captured the image.
  • FIG. 1 is a diagram illustrating an example of a configuration of an image orientation determination apparatus according to an embodiment of the present invention.
  • the image orientation determination apparatus includes an image feature amount acquisition unit 1 that acquires part or all of the feature amount of an input image, and a probability calculation unit that calculates a probability for each image orientation.
  • an image orientation that stores and holds the image capture device type acquisition unit 3 that acquires the type of the image capture device that captured the input image, the image capture device type, and the appearance probability of the image capture direction in the image capture device type
  • Image orientation for acquiring the appearance probability of the image orientation corresponding to the imaging device type from the appearance probability storage unit 6 and the imaging device type acquired by the imaging device type acquisition unit 3 with reference to the image orientation appearance probability storage unit 6
  • It has an appearance probability extracting unit 4 and an image orientation determining unit 5 that determines the orientation of the input image.
  • the image feature amount acquisition unit 1 acquires a feature amount related to the layout of the image and a semantic feature amount related to the image direction from part or all of the input image for which the orientation is determined.
  • the image feature amount is a feature obtained from the arrangement of the color and gray value of the image pixel.
  • the input image may be acquired by an image acquisition unit (not shown), or an image acquired by a video input device such as a CCD digital camera or a video camera is input to the image feature amount acquisition unit 1. You may make it do.
  • the extraction of the feature quantity related to the layout is realized by, for example, dividing the image into one or a plurality of blocks and calculating the image feature quantity in each block.
  • the color characteristics dominant color, color layout
  • pattern characteristics edge histogram
  • shape characteristics region-based shape descriptor
  • a face orientation feature or a blue sky zenith direction feature may be used to extract a semantic feature amount related to the image direction (see Non-Patent Document 1).
  • Face orientation can be achieved by detecting faces in various directions and outputting the direction with the highest detection score, and the blue sky is realized by outputting the direction with the highest gradient and the direction with the highest luminance value. it can. Or it can be set as the feature-value vector defined using these combination.
  • the imaging device type acquisition unit 3 acquires information about the device that acquired the input image.
  • the information of the device that acquired the image refers to a model such as a camera, a scanner, or a mobile phone that is information that defines the position of the lens and shutter button of the imaging medium and the shape of the housing.
  • the model is stored as an Exif (Exchangeable image file format for digital still camera) in a recorded image in a general digital camera.
  • Exif is an image format standardized by JEITA (Electronic Information Technology Industries Association) and is currently used in many digital cameras.
  • JEITA Electronic Information Technology Industries Association
  • the manufacturer of the photographing device and the model name or model number of the photographing device are described in ASCII format.
  • the photograph taken with the camera-equipped mobile phone has the name of the mobile phone carrier (for example, DOCOMO, KDDI, etc.) on the manufacturer tag, and the model tag has the model number of the mobile phone (N *** 1i, etc.). It is written.
  • the name of the digital camera trader for example, CANON, RICHO, SONY, etc.
  • the series name of the digital camera Rosuent Caprio (corporation), for example, is recorded on the model tag.
  • TM SONY product Cybershot
  • model number “*” represents an arbitrary character. These manufacturer names and model numbers are stored in the storage device in advance.
  • the file name of the image is DSC **. jpg, IMG ***. jpg, CIMG **. jpg, P **. In the case of jpg, it is a digital camera, and the mobile phone model name ***. jpg, date_time. In the case of jpg, it can be considered that the image was taken with a camera-equipped mobile phone.
  • * is an arbitrary number. Generally, since Exif information is not added to an image file scanned by a scanner, if the Exif information is not detected, the photographing model may be set to a scanner.
  • a device category such as a digital camera (compact single-lens reflex camera), a video camera, a scanner, and a camera-equipped mobile phone may be used as device information instead of the detailed level of the model.
  • the image orientation appearance probability storage unit 6 for each photographing device type stores and holds a set of appearance probabilities representing how many images were taken in which image orientation among a plurality of images photographed with a specific model.
  • the orientation of images taken with a digital camera or the like or scanned images does not always face upward.
  • the orientation of the image changes depending on the orientation of the camera at the time of photographing or the orientation at the time of scanning.
  • N noth
  • E east
  • W west
  • S sin ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • the image orientation appearance probability data is, for example, the number of images in each direction from a plurality of images (learning images) in which the image orientations N, E, W, and S are known in advance for each type of photographing device. Can be obtained by counting.
  • the direction of the appearance probability image is N, E, W, or S.
  • FIG. 3 shows an example of a part of information stored in the image orientation appearance probability storage unit 6 for each photographing device type.
  • the photographic device type and the appearance probabilities of the image orientations N, E, W, and S are stored in association (association) with each other. For example, if the device type of the image acquired by the imaging device type acquisition unit 3 is Camera # 1, the image orientation appearance probability in the device type is N: 80%, E: 10%, W: 10%, S: 0% are output.
  • These data are stored in a recording medium such as a CD-ROM, DVD-R, hard disk, memory, etc. in a lump or divided into a plurality.
  • the stored data can be read from a single or a plurality of media by a reading device such as a CD-ROM drive and obtained via the Internet or the like.
  • the probability calculation unit 2 for each orientation calculates the probability of each direction (N, E, W, S) for the image orientation of the input image based on the image feature amount extracted from the image.
  • the probability of each orientation is calculated in advance for each image orientation (N, E, W, S) for each feature amount such as Color Moment or Edge Direction Histogram.
  • the degree of coincidence with data learned by an identification engine such as SVM (Support Vector Machine) using a large number of learning images may be used. That is, the probability of the orientation (N, E, W, S) of each image using previously learned data for each image feature (Color Moment, Edge Direction Histogram, Blue Sky, Face) extracted from the image. May be calculated.
  • the visual feature amount similarity with the image registered for each image orientation may be output as the probability of each orientation. That is, the similarity between the visual feature amount (edge / color distribution information, etc.) extracted from the image and the image feature amount of the pre-registered image data is calculated, and the maximum similarity is calculated for each orientation of the registered image. Is calculated.
  • the device category such as a digital camera (compact single lens reflex camera), a video camera, a scanner, and a camera-equipped mobile phone is used instead of the detailed model level. It may be used as In this case, a set of categories corresponding to the model number of the model may be recorded.
  • clustering is performed using the prior probability value of each model, not the category of actual devices such as digital cameras and scanners, and the representative prior probability of multiple clusters and the set of models belonging to the cluster are recorded. Good.
  • a clustering technique such as k-means with four probability values for N, E, W, and S in the prior probability data as a four-dimensional variable, a set of prior probabilities can be classified into a specific number of clusters.
  • the representative value for example, average value
  • the image orientation appearance probability extraction unit 4 refers to the dictionary data stored in the image orientation appearance probability storage unit 6 for each shooting device type, and extracts the appearance probability for the device obtained by the shooting device type acquisition unit 3. .
  • the image orientation determination unit 5 uses the appearance probabilities extracted by the image orientation appearance probability extraction unit 4 based on the probability of the orientation of each image output by the means for calculating the probability for each image orientation. The probability that the image is facing each direction is calculated, and the direction that indicates the highest probability is output as the image orientation of the input image.
  • a score for each direction is calculated from the probability calculated by the probability calculation unit for each direction and the appearance probability calculated by the image direction appearance probability acquisition unit 4 of the photographing device type, as follows: Judgment.
  • Score (i), a (i), and p (i) are the score, probability, and appearance probability of direction i, respectively.
  • the final orientation of the input image is the orientation of the image with the highest score. That is, the determination is made according to equation (2).
  • the major factor in the orientation of the image in various directions of N, E, W, and S is to change the orientation of the photographing device.
  • the shape of the subject and the composition of the photograph are conceivable. Therefore, in the conventional method, the subject and the composition pattern are analyzed using the image feature.
  • the actual orientation is changed depending on whether the hand holding the photographic device is the right or left hand, the shape and weight of the photographic device, and the position of the button. It is thought that the conditions such as
  • 4 (a) to 4 (c) show the camera orientation when N, E, and W image orientations occur in a compact digital camera.
  • buttons are often attached to the center of the device and are often operated with the left and right hands. For this reason, when the camera is horizontal and when it is rotated 90 degrees left and right, it is often used to shoot upside down because the housing is smaller and lighter than a digital camera. It is not considered.
  • 5 (a) to 5 (d) show the orientation of the mobile phone when N, E, W, and S image orientations occur in the camera-equipped mobile phone.
  • the orientation in which the user places the photo is directly reflected in the orientation of the image.
  • the direction in which the photograph is placed is not particularly limited, and it is considered that the scanning is performed in each direction.
  • the user can decide whether to place the photo vertically or horizontally, and the photo may be placed upside down to place the photo face down. For this reason, it is assumed that the probability of shooting in various directions of N, E, W, and S is higher than that of a digital camera or camera-equipped mobile phone. Also, depending on the model, it may be limited to either portrait orientation or landscape orientation depending on the shape of the space where the photo is placed.
  • 6 (a) to 6 (d) show the orientation of the photograph when N, E, W, and S image orientations occur in the scanner.
  • the orientation of the photographed image can be estimated by considering the appearance probability of the orientation of the photographed image on the photographing device. High accuracy determination can be realized.
  • the shooting device type acquisition unit 3 acquires the shooting device type, and the appearance probability of the image orientation in the shooting device type is considered. To determine the orientation of the image.
  • FIG. 7 is a flowchart for explaining the operation of the embodiment of the present invention.
  • the image feature quantity acquisition unit 1 extracts a layout-related feature quantity and a semantic feature quantity related to the image direction from an input image photographed by a photographing device such as a digital camera or a CCD camera (step A1).
  • the imaging device type acquisition unit 3 acquires image attribute information (for example, the type of digital camera, the type of mobile phone with camera, the type of scanner, etc.) related to the device where the image was captured (step A2).
  • image attribute information for example, the type of digital camera, the type of mobile phone with camera, the type of scanner, etc.
  • the probability calculation unit 2 for each orientation outputs the probability for each image orientation (N, E, W, S) using the visual feature amount of the image acquired by the image feature amount acquisition unit 1 ( Step A3).
  • the image orientation appearance probability extraction unit 4 for each imaging device type the image orientation appearance probability registered in advance for the corresponding device type using the imaging device type of the image acquired by the imaging device type acquisition unit 3. Is output (step A4).
  • the image orientation appearance probability storage unit 6 for each imaging device type stores a set of the imaging orientation and the image orientation appearance probability for the device type.
  • the probability of the input image relative to each orientation calculated by the probability calculation unit 2 for each orientation and the image orientation appearance probability acquisition unit 4 of the photographing device type are acquired.
  • the final orientation of the input image is determined using the appearance probability (step A5).
  • the present embodiment it is possible to determine the orientation of the input image with high accuracy.
  • the reason is that, depending on the type of imaging device, the orientation of the device when shooting is biased because the shape, weight, and button position of the device are different. Since the direction of the input image is determined by selectively using the direction tendency (appearance probability), the direction can be accurately determined.
  • Patent Document 1 and Non-Patent Document 1 above are incorporated herein by reference.
  • the embodiments and examples can be changed and adjusted based on the basic technical concept.
  • Various combinations and selections of various disclosed elements are possible within the scope of the claims of the present invention. That is, the present invention of course includes various variations and modifications that could be made by those skilled in the art according to the entire disclosure including the claims and the technical idea.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

　画像の向きの判定を行う装置、方法、プログラムを提供する。画像の特徴量を取得する画像特徴量取得部１と、前記画像の撮影機器の種別を取得する撮影機器種別取得部３と、前記画像の特徴量に基づき、判定すべき画像向きに対する画像向きの確からしさを算出する、向きごとの確からしさ算出部２と、撮影機器の種別と該種別の撮影機器にて撮影される画像の向きの出現確率との組を記憶保持する記憶部（撮影機器種別ごとの画像向き出現確率記憶部）６と、撮影機器種別取得部３で取得され撮影機器の種別に基づき、記憶部６を参照して、該撮影機器の種別における画像向きの出現確率を抽出する画像向き出現確率抽出部４と、前記判定すべき画像向きに対する画像向きの確からしさと、前記画像向きの出現確率とに基づき、画像の向きを判定する画像向き判定手段５と、を有する。

Description

画像向き判定方法と装置及びプログラム
［関連出願の記載］
　本発明は、日本国特許出願：特願２００８－０２１２５４号（２００８年　１月３１日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
　本発明は、画像の向きを検出する方法、装置およびプログラムに関し、特に撮影機器等で撮影された画像の向きの判定に好適な方法、装置、及びプログラムに関する。
　この種の画像向きを判定するシステムの関連技術として、例えば特許文献１等の記載が参照される。特許文献１には、ユーザＩＤと対応づけて、ユーザがカメラを構える際のカメラの回転方向を回転情報としてデータベースに登録しておき、判定部はメモリカードに記録された画像の天地を判定し、天地判定が困難な場合には、データベースを参照してユーザに応じた回転情報を取得しこれを加味して天地判定を行い、撮影装置の機種単位で前記回転情報を保存し、処理対象の画像を取得した前記撮影装置の機種に対応する回転情報により表される回転方向を参照して、前記画像の天地を判定する構成が開示されている。
特開２００６－２３８３６２号公報 Ｊ．　Ｌｕｏ　ａｎｄ　Ｍ．　Ｂｏｕｔｅｌｌ，　"Ａｕｔｏｍａｔｉｃ　Ｉｍａｇｅ　Ｏｒｉｅｎｔａｔｉｏｎ　Ｄｅｔｅｃｔｉｏｎ　ｖｉａ　Ｃｏｎｆｉｄｅｎｃｅ－Ｂａｓｅｄ　Ｉｎｔｅｇｒａｔｉｏｎ　ｏｆ　Ｌｏｗ－Ｌｅｖｅｌ　ａｎｄ　Ｓｅｍａｎｔｉｃ　Ｃｕｅｓ，"　ＩＥＥＥ　Ｔｒａｎｓ．　ＰＡＭＩ，　ｖｏｌ．　２７，　ｎｏ．　５，　ｐｐ．　７１５－７２６，　２００５
　以上の特許文献１及び非特許文献１の全開示内容は、本書に引用をもって繰り込み記載されているものとする。
　以下に本発明による関連技術の分析を与える。
　上述した関連技術は、ユーザごとのカメラを構える向きの癖に基づき天地判定を行っており、同一カメラで複数のユーザが撮影する場合、あるいは同一ユーザが複数のカメラで撮影する場合には、十分な判定精度が保証されない。
　この理由は、複数のユーザが同一カメラで撮影するような場合、同一カメラを利用するユーザを特定することが困難であるためであり、また、同一ユーザでも撮影する機器のボタンの位置等によりカメラを構える向きが異なる場合がある、ためである。
　したがって本発明の目的は、ユーザが不定な入力画像であっても正しくその向きを判定することができる画像向き判定方法、画像向き判定装置及びプログラムを提供することを目的とする。
　本願で開示される発明は、上記課題を解決するため、概略以下の構成とされる。
　本発明の１つの側面によれば、画像の特徴量を取得する画像特徴量取得ステップと、
　前記画像の撮影機器の種別を取得する撮影機器種別取得ステップと、
　前記画像の特徴量に基づき、判定すべき画像向きに対する画像向きの確からしさを算出する確からしさ算出ステップと、
　撮影機器の種別と該種別の撮影機器にて撮影される画像の向きの出現確率との組を記憶保持する記憶部を参照して、前記撮影機器の種別に基づき、該撮影機器の種別における画像向きの出現確率を抽出する抽出ステップと、
　前記判定すべき画像向きに対する画像向きの確からしさと、前記画像向きの出現確率とに基づき、画像の向きを判定する画像向き判定ステップと、
　を有する画像向き判定方法が提供される。
　本発明において、前記記憶部には、前記撮影機器の種別として、デジタルカメラ、撮影機能付き携帯電話、スキャナの少なくとも１つにおける画像向きの出現確率を前記撮影機器の種別に関連付けて記憶保持される。
　本発明において、前記記憶部には、前記記憶部に記録する撮影機器の種別として、複数の機種を１つの機種として扱い、１つの種別とし、前記１つの種別に対して、複数の機種のそれぞれの画像向きの出現確率の代表出現確率を関連付けて記憶保持するようにしてもよい。
　本発明において、前記代表出現確率として、前記複数の機種のそれぞれの画像向きの出現確率の平均を用いるようにしてもよい。
　本発明において、前記複数の機種を、各機種における画像向きの出現確率を特徴量としたクラスタリングを用いて抽出するようにしてもよい。
　本発明において、前記画像向き判定ステップは、判定すべき画像向きに対し、前記画像向きの確からしさと、前記画像向きの出現確率とを乗じた値を求め、最も高い値を有する画像向き方向を画像向きであると判定するようにしてもよい。
　本発明の別の側面によれば、画像の特徴量を取得する画像特徴量取得手段と、
　前記画像の撮影機器の種別を取得する撮影機器種別取得手段と、
　前記画像の特徴量に基づき、判定すべき画像向きに対する画像向きの確からしさを算出する確からしさ算出手段と、
　撮影機器の種別と該種別の撮影機器にて撮影される画像の向きの出現確率との組を記憶保持する記憶手段と、
　前記記憶手段を参照して、前記撮影機器の種別に基づき、該撮影機器の種別における画像向きの出現確率を抽出する抽出手段と、
　前記判定すべき画像向きに対する画像向きの確からしさと、前記画像向きの出現確率とに基づき、画像の向きを判定する画像向き判定手段と、
　を有する画像向き判定装置が提供される。
　本発明において、前記記憶手段は、記録する撮影機器の種別として、デジタルカメラ、撮影機能付き携帯電話、スキャナの少なくとも１つにおける画像向きの出現確率を前記撮影機器の種別に関連付けて記憶保持する。
　本発明において、前記記憶手段は、前記記憶部に記録する撮影機器の種別として、複数の機種を１つの機種として扱い１つの種別とし、前記１つの種別に対して、複数の機種のそれぞれの画像向きの出現確率の代表出現確率を関連付けて記憶保持するようにしてもよい。
　本発明において、前記代表出現確率として、前記複数の機種のそれぞれの画像向きの出現確率の平均を用いるようにしてもよい。
　本発明において、前記複数の機種を、各機種における画像向きの出現確率を特徴量としたクラスタリングを用いて抽出するようにしてもよい。
　本発明において、前記画像向き判定手段は、判定すべき画像向きに対し、前記画像向きの確からしさと、前記画像向きの出現確率とを乗じた値を求め、最も高い値を有する画像向き方向を画像向きであると判定するようにしてもよい。
　本発明の別の側面によれば、画像の特徴量を取得する画像特徴量取得処理と、
　前記画像の撮影機器の種別を取得する撮影機器種別取得処理と、
　前記画像の特徴量に基づき、判定すべき画像向きに対する画像向きの確からしさを算出する確からしさ算出処理と、
　撮影機器の種別と該種別の撮影機器にて撮影される画像の向きの出現確率との組を記憶部を参照して、前記撮影機器の種別に基づき、該撮影機器の種別における画像向きの出現確率を抽出する抽出処理と、
　前記判定すべき画像向きに対する画像向きの確からしさと、前記画像向きの出現確率とに基づき、画像の向きを判定する画像向き判定処理と、
　をコンピュータに実行させるプログラムが提供される。
　本発明によれば、ユーザが不定な入力画像であっても正しくその向きを判定することができる。
本発明の一実施例の構成を示す図である。 画像の向き（Ｎ、Ｅ、Ｗ、Ｓ）を説明する図である。 本発明の一実施例における撮影機器種別ごとの画像向き出現確率記憶部に記録されるデータの一例を説明する図である。 デジタルカメラでの撮影向きを説明する図である。 カメラつき携帯電話での撮影向きを説明する図である。 スキャナでの撮影向きを説明する図である。 本発明の一実施例の動作を説明するためのフローチャートである。
符号の説明
１　画像特徴量取得部
２　向きごとの確からしさ算出部
３　撮影機器種別取得部
４　画像向き出現確率抽出部
５　画像向き判定部
６　撮影機器種別ごとの画像向き出現確率記憶部
　本発明の実施形態について以下に説明する。本発明においては、撮影装置の機種や種類（例えばレンズ付き携帯カメラ、コンパクトデジタルカメラ、１眼レフカメラ、スキャナ等）を表す、撮影機器種別を抽出し、それぞれの撮影機器種別に対して、予め設定した撮影される写真の向きの事前確率を用いて向きを判定する。より詳細には、本発明においては、ある種別の撮影機器に関してどの画像向きでどのくらい画像が撮影されるかを表す事前確率（出現確率）を、予め定められた各向きについて、撮影機器の種別情報に関連付けて記憶部に記憶保持しておき、画像向き判定対象の画像に関して前記画像を撮影した撮影機器の種別情報から、前記記憶部を参照して前記画像向き判定対象の画像を撮影した撮影機器における画像の各向きでの出現確率を取得する。また、前記画像向き判定対象の画像の少なくとも一部から抽出した特徴量に基づき前記画像の前記各向きでの確からしさを算出する。そして、前記画像向き判定対象の画像の前記各向きでの確からしさと、前記画像向き判定対象の画像を撮影した撮影機器における画像の各向きでの出現確率と、に基づき、前記画像向き判定対象の画像の向きがいずれの向きであるかを決定する。本発明において、前記予め定められた向きのそれぞれについて、前記画像の向きの確からしさと前記画像向きの出現確率との積を求め、前記それぞれの向きの積のうち一の向きの積が残りの向きの積に対して大小関係に関して所定の関係を満たすものがある場合（例えば積が最大）、前記一つの向きを前記画像向き判定対象の画像の向きと決定する。
　本発明に何ら制限を課するものではないが、例えば、写真のＥｘｉｆ情報などからカメラモデルを取得し、予めデータベースに登録されているカメラモデルに対応した事前確率を選択するようにしてもよい。
　本発明によれば、同一カメラで複数のユーザが撮影する場合や同一ユーザが複数のカメラで撮影する場合であっても、正しくその向きを判定することが出来る。以下実施例に即して説明する。
　本実施例では、画像の視覚的な特徴に加えて、画像を撮影した機器の情報を用い、該機器における画像の向きの事前確率（出現確率）を用いることにより、入力画像の方向を判定する。すなわち、撮影機器で撮影された画像に対して、前記画像の特徴量から求めた画像の向きの確からしさと、前記撮影機器で撮影される画像の向きの出現確率情報と、から、前記画像の向きを判定する。前記撮影機器で撮影される画像の向きの出現確率情報は、前記画像を撮影した前記撮影機器の機器情報に関連して保持される。
　図１は、本発明の一実施例の画像向き判定装置の構成の一例を示す図である。図１を参照すると、本実施例の画像向き判定装置は、入力画像の一部又は全部の特徴量を取得する画像特徴量取得部１と、画像向きごとの確からしさを算出する確からしさ算出部２と、入力画像を撮影した撮影機器の種別を取得する撮影機器種別取得部３と、撮影機器種別と、該撮影機器種別における画像の撮影向きの出現確率とを対応させて記憶保持する画像向き出現確率記憶部６と、撮影機器種別取得部３で取得された撮影機器種別から、画像向き出現確率記憶部６を参照して、撮影機器種別に対応する画像向きの出現確率を取得する画像向き出現確率抽出部４と、入力画像の向きを判定する画像向き判定部５とを有する。
　画像特徴量取得部１は、向き判定を行なう入力画像の一部又は全部から、当該画像のレイアウトに関する特徴量や画像方向に関わる意味的な特徴量を取得する。画像特徴量とは、画像画素の色や濃淡値の配置から得られる特徴であり、例えば、画像のレイアウトに関する情報として、画像中のエッジ・色の分布等を用いることができ、また、画像方向に関わる意味的な特徴として、画像中の顔の向きや、青空の天頂方向の情報を用いることもできる。ここで、入力画像としては、不図示の画像取得部で取得してもよいし、あるいは、ＣＣＤディジタルカメラ、又はビデオカメラ等の映像入力機器で取得した画像を、画像特徴量取得部１に入力するようにしてもよい。
　画像特徴量取得部１において、レイアウトに関する特徴量の抽出は、例えば、画像を１つまたは複数のブロックに分割し、各ブロック内における画像特徴量を算出することで実現する。例えば、ＭＰＥＧ－７／Ｖｉｓｕａｌで定義されているビジュアル記述子の色の特徴（ドミナント・カラー、カラー・レイアウト）、模様の特徴（エッジ・ヒストグラム）、形状の特徴（リージョン・ベースド形状記述子）を用いるとよい。また、画像方向に関わる意味的な特徴量の抽出には、例えば、顔向き特徴や、青空の天頂方向特徴などを用いてもよい（非特許文献１参照）。顔向きは、さまざまな方向に対する顔検出を行い、検出スコアが最も高い方向を出力することで実現でき、青空は青色領域の勾配が最も高い向きで、輝度値の高い方向を出力することで実現できる。またはこれらの組み合わせを用いて定義される特徴量ベクトルとすることができる。
　撮影機器種別取得部３では、入力画像を取得した機器に関する情報を取得する。画像を取得した機器の情報とは、撮像媒体のレンズやシャッターボタンの位置、筐体の形状が規定される情報であるカメラ、スキャナ、携帯電話などの機種を指す。機種は、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ　ｉｍａｇｅ　ｆｉｌｅ　ｆｏｒｍａｔ　ｆｏｒ　ｄｉｇｉｔａｌ　ｓｔｉｌｌ　ｃａｍｅｒａｓ）として、一般のデジタルカメラでは、記録される画像に保存されている。Ｅｘｉｆは、ＪＥＩＴＡ（電子情報技術産業協会）で標準化された画像フォーマットであり、現在多くのデジタルカメラで採用されている。なお、Ｅｘｉｆ規格の詳細については、２００２年４月制定の電子情報技術産業協会規格「ディジタル　スチルカメラ用画像ファイルフォーマット規格Ｅｘｉｆ　２．２」の記載が参照される。
　Ｅｘｉｆ情報のメーカータグ（Ｍａｋｅ）とモデルタグ（Ｍｏｄｅｌ）には、撮影機器の製造業者と撮影機器のモデル名またはモデル番号がＡＳＣＩＩ形式で記載されている。カメラ付き携帯電話で撮影された写真には、メーカータグに携帯電話業者名（例えばＤＯＣＯＭＯやＫＤＤＩ等）が記されており、モデルタグには、携帯電話の型番（Ｎ＊＊＊１ｉなど）が記されている。また、デジタルカメラで撮影された写真には、メーカータグにデジタルカメラ業者名（例えばＣＡＮＯＮやＲＩＣＨＯ、ＳＯＮＹ等）が記録されており、モデルタグにはデジタルカメラのシリーズ名（株式会社リコー製品Ｃａｐｌｉｏ（ＴＭ）、ＳＯＮＹ製品Ｃｙｂｅｒｓｈｏｔ（ＴＭ）など）や型番が記されている。なお、“＊”は任意の文字を表す。これらのメーカー名、型番はあらかじめ記憶装置に保存しておく。また、Ｅｘｉｆ情報以外にも、画像のファイル名がＤＳＣ＊＊．ｊｐｇ、ＩＭＧ＊＊＊．ｊｐｇ、ＣＩＭＧ＊＊．ｊｐｇ、Ｐ＊＊．ｊｐｇの場合にはデジタルカメラで、携帯モデル名＊＊＊．ｊｐｇ、日付＿時間．ｊｐｇの場合にはカメラ付き携帯電話で撮影されたとみなすことなどができる。ここでの＊は任意の数字である。一般にスキャナーでスキャンされた画像ファイルにはＥｘｉｆ情報が付与されないため、Ｅｘｉｆ情報が検出されない場合には、撮影機種をスキャナーにするとよい。
　本実施例においては、機種という細かいレベルではなく、デジタルカメラ（コンパクト・一眼レフ）、ビデオカメラ、スキャナ、カメラ付き携帯電話といった機器のカテゴリを機器の情報として用いてもよい。
　撮影機器種別ごとの画像向き出現確率記憶部６は、特定の機種で撮影された複数枚の画像のうち、どの画像向きでどれくらい画像が撮影されたのかを表す出現確率の組を記憶保持する。
　ディジタルカメラ等で撮影した画像やスキャンした画像の向きは必ずしも上を向いているとは限らない。例えば図２（ａ）乃至（ｄ）に示すように、同一のものを撮影した画像でも、撮影時のカメラの向き又はスキャン時の向きに等により画像の向きが変化する。
　このような画像の向きを方位になぞらえ、それぞれＮ（北）、Ｅ（東）、Ｗ（西）、Ｓ（南）と呼ぶ。
　画像向きの出現確率のデータ（辞書データ）は、例えば、撮影機器種別ごとに予め画像の向きＮ、Ｅ、Ｗ、Ｓが既知である複数の画像（学習画像）から、各向きごとの画像数をカウントすることで得ることができる。出現確率の画像の向きは、Ｎ、Ｅ、Ｗ、Ｓのいずれかとなる。
　図３は、撮影機器種別ごとの画像向き出現確率記憶部６に記憶される情報の一部の例を示す。撮影機器種別と、画像の向きＮ、Ｅ、Ｗ、Ｓの出現確率とが対応（関連）付けて記憶される。例えば、撮影機器種別取得部３で取得した画像の機器種別がＣａｍｅｒａ＃１であれば、その機器種別における画像向き出現確率は、
　Ｎ：８０％、Ｅ：１０％、Ｗ：１０％、Ｓ：０％であると出力する。
　これらのデータは、ＣＤ－ＲＯＭ、ＤＶＤ－Ｒ、ハードディスク、メモリなどの記録媒体に一括または複数に分割して記憶される。記憶されているデータは、ＣＤ－ＲＯＭドライブなどの読み込み装置により単数または複数の媒体から読み込まれインターネット等を介して取得することができる。
　向きごとの確からしさ算出部２は、画像から抽出された画像特徴量を基に、入力画像の画像向きを、各向き（Ｎ，Ｅ，Ｗ，Ｓ）の確からしさを算出する。各向きの確からしさの算出方法としては、非特許文献１に記載されているように、Ｃｏｌｏｒ　ＭｏｍｅｎｔやＥｄｇｅ　Ｄｉｒｅｃｔｉｏｎ　Ｈｉｓｔｏｇｒａｍなどの特徴量ごとに、予め画像向き（Ｎ，Ｅ，Ｗ，Ｓ）ごとに多数の学習画像を用いてＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）等の識別エンジンで学習したデータとの一致度を用いてもよい。すなわち、画像から抽出された画像特徴量（Ｃｏｌｏｒ　Ｍｏｍｅｎｔ，　Ｅｄｇｅ　Ｄｉｒｅｃｔｉｏｎ　Ｈｉｓｔｏｇｒａｍ，　Ｂｌｕｅ　Ｓｋｙ，　Ｆａｃｅ）ごとに、予め学習されたデータを用いて各画像の向き（Ｎ，Ｅ，Ｗ，Ｓ）の確からしさを算出するようにしてもよい。
　あるいは、画像向き（Ｎ，Ｅ，Ｗ，Ｓ）ごとに登録された画像との視覚的特徴量の類似度を各向きの確からしさとして出力してもよい。すなわち、画像から抽出された視覚的特徴量（エッジ・色の分布情報など）と、予め登録された画像データの画像特徴量との類似度を算出し、登録画像の向きごとに最大の類似度を算出する。
　本実施例において、登録する事前確率データ数を削減するために、機種という細かいレベルではなく、デジタルカメラ（コンパクト・一眼レフ）、ビデオカメラ、スキャナ、カメラ付き携帯電話といった機器のカテゴリを機器の種別として用いてもよい。この場合、機種のモデル番号と対応するカテゴリの組を記録しておけばよい。
　また、デジタルカメラ・スキャナなどの実際の機器のカテゴリではなく、各機種における事前確率の値を用いて、クラスタリングを行い、複数のクラスタの代表事前確率とクラスタに属する機種の組を記録してもよい。事前確率データにおけるＮ，Ｅ，Ｗ，Ｓに対する４つの確率の値を４次元変数として、ｋ－ｍｅａｎｓなどのクラスタリング手法を用いることにより、事前確率の集合を特定の数のクラスタに分類することができ、各クラスタの代表値（例えば平均値）を用いる。
　画像向き出現確率抽出部４は、撮影機器種別ごとの画像向き出現確率記憶部６に記憶されている辞書データを参照し、前記撮影機器種別取得部３で得られた機器に対する出現確率を抽出する。
　画像向き判定部５は、画像の向きごとの確からしさ算出の手段で出力された各画像の向きの確からしさを基に、画像向き出現確率抽出部４で抽出された出現確率を用いて、入力画像が各向きを向いている確率を算出し、最も高い確率を示す向きを、入力画像の画像向きであると出力する。
　判定方式として、向きごとの確からしさ算出部で算出された確からしさと、撮影機器種別の画像向き出現確率取得部４で算出された出現確率とから、各向きのスコアを算出し、以下のように判定する。
　画像の各向きｉ＝｛Ｎ，Ｅ，Ｗ，Ｓ｝に対してそれぞれスコアを式（１）を用いて算出する。
　Ｓｃｏｒｅ（ｉ）＝ａ（ｉ）＊ｐ（ｉ）　・・・（１）
　ただし、Ｓｃｏｒｅ（ｉ）、ａ（ｉ）、ｐ（ｉ）は、それぞれ向きｉのスコア、確からしさ、出現確率である。
　最終的な入力画像の向きは、スコアが最大となる画像の向きとする。つまり、式（２）により判定する。
　Ｏｒｉｅｎｔａｔｉｏｎ＝　ｍａｘ（Ｓｃｏｒｅ（ｉ））　・・・（２）
　ただし、ｍａｘ（Ｖ（ｉ））は関数Ｖの値が最大となるｉの値を返す関数とする。
　画像の向きがＮ，Ｅ，Ｗ，Ｓの様々な方向になる大きな要因は、撮影機器の向きを変えて撮影するためである。撮影機器の向きを変える理由としては、被写体の形状や、写真の構図が考えられるため、従来の方法では画像特徴を用いて被写体や構図パターンを分析している。
　一方、撮影者が撮影機器の向きを変えたいと考えた場合において、実際にどの向きに変更するのかは、撮影機器を持つ手が右手か左手かや、撮影機器の形状や重量、ボタンの位置などの条件が影響すると考えられる。
　一般にデジタルカメラで撮影する場合は、カメラを水平にして撮影することが最も多く、次いで左右９０度回転させた状態が多い。筐体が大きく・重いことや、本体上部にボタンがついていることが多いため、天地逆（上下さかさま）で撮影されることはほとんどない。ボタンが機器を正面から見た左側についていることが多いため、ほとんどのユーザは固定の手（右手）でシャッターボタンを押す。このため、横９０度回転させて撮影する場合は、各個人ごとに左右どちらかの特定の方向で撮影されることが多い。ただし、機器が重いほど、右手で下から機器を支える方が安定するため、右９０度回転での撮影が多い傾向があることも想定される。
　図４（ａ）乃至図４（ｃ）は、コンパクト型のデジタルカメラにおける、Ｎ、Ｅ、Ｗの画像向きが発生するときのカメラの向きを示している。
　一方、カメラ付き携帯電話で撮影する場合は、ボタンが機器の中央部についていることが多く、左右の手で操作されることが多い。このため、カメラを水平にした場合と、左右９０度回転させた状態が多く用いられ、上下さかさまで撮影されることは、デジタルカメラと比べてその筐体が小さく、軽量であることから、皆無ではないと考えられる。
　図５（ａ）乃至図５（ｄ）は、カメラ付き携帯電話における、Ｎ，Ｅ，Ｗ，Ｓの画像向きが発生するときの携帯電話の向きを示している。
　スキャナを用いて写真を電子ファイルとして取り込む場合、ユーザが写真を置く向きがそのまま画像の向きに反映される。スキャナにおいて、写真を置く向きは特に限定されないため、各方向でスキャンされると考えられる。スキャナでは、写真を縦向きに置くか、横向きに置くかはユーザが決定でき、さらに写真を裏向きに置くため、写真を上下逆に置くこともある。このため、デジタルカメラやカメラ付き携帯電話に比べてＮ，Ｅ，Ｗ，Ｓの様々な向きで撮影される確率が高くなることが想定される。また、機種によっては、写真を置くスペースの形状により、縦向きや横向きのどちらかに限定されることも考えられる。
　図６（ａ）乃至図６（ｄ）は、スキャナにおける、Ｎ，Ｅ，Ｗ，Ｓの画像向きが発生するときの写真の置く向きを示している。
　これらのことを考慮すると、撮影される写真の画像向きの出現する確率が、撮影機器により変動すると推定することができ、撮影機器における撮影画像の向きの出現確率を考慮することで画像の向きの高精度判定を実現することができる。
　本実施例においては、画像特徴量取得部１で画像特徴量を取得するのみならず、撮影機器種別取得部３にて撮影機器種別を取得し、当該撮影機器種別における画像向きの出現確率を考慮して画像の向きを判定する。
　図７は、本発明の一実施例の動作の説明するためのフローチャートである。
　画像特徴量取得部１において、デジタルカメラ、ＣＣＤカメラ等の撮影装置により撮影された入力画像から、レイアウトに関する特徴量や画像方向に関わる意味的な特徴量を抽出する（ステップＡ１）。
　撮影機器種別取得部３において、画像が撮影された機器に関する画像属性情報（例えば、デジタルカメラの種類、カメラ付き携帯電話の種類、スキャナの種類など）を取得する（ステップＡ２）。
　次に向きごとの確からしさ算出部２において、画像特徴量取得部１で取得した画像の視覚的特徴量を用いて、画像向き（Ｎ，Ｅ，Ｗ，Ｓ）ごとの確からしさを出力する（ステップＡ３）。
　次に、撮影機器種別ごとの画像向き出現確率抽出部４において、撮影機器種別取得部３で取得した画像の撮影機器種別を用いて、該当機器種別に対して予め登録されている画像向き出現確率を出力する（ステップＡ４）。
　撮影機器種別ごとの画像向き出現確率記憶部６は、図３を参照して説明したように、撮影機器種別とその機器種別に対する画像向き出現確率の組が記録されている。
　次に、画像向き判定部５において、前記向きごとの確からしさ算出部２で算出された、各向きに対する入力画像の向きの確からしさと、撮影機器種別の画像向き出現確率取得部４で取得された出現確率とを用いて、入力画像の最終的な向きを判定する（ステップＡ５）。
　本実施例によれば、入力画像の向き判定を高精度に行うことができる。その理由は、撮影機器の種別により、機器の形状や重さ、ボタン位置が異なることにより撮影する際の機器を構える向きの傾向が偏るため、撮影機器の種別を判定し、機器種別に応じた向きの傾向（出現確率）を選択的に利用して入力画像の向きを判定するため、精度よく向きの判定を行える。
　なお、上記の特許文献１、非特許文献１の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

Claims (24)

  1. 　撮影機器で撮影された画像に対して前記画像の特徴量から求めた画像の向きの確からしさと、前記撮影機器で撮影される画像の向きの出現確率情報と、から、前記画像の向きを判定する、ことを特徴とする画像向き判定方法。
  2. 　画像の特徴量を取得し、
    　前記画像の撮影機器の種別を取得し、
    　前記画像の特徴量に基づき、判定すべき画像向きに対する画像向きの確からしさを算出し、
    　撮影機器の種別と該種別の撮影機器にて撮影される画像の向きの出現確率との組を記憶保持する記憶部を参照して、前記撮影機器の種別に基づき、該撮影機器の種別における画像向きの出現確率を抽出し、
    　前記判定すべき画像向きに対する画像向きの確からしさと、前記画像向きの出現確率とに基づき、画像の向きを判定する、
    　ことを特徴とする画像向き判定方法。
  3. 　前記記憶部には、前記撮影機器の種別として、デジタルカメラ、撮影機能付き携帯電話、及び、スキャナの少なくとも１つにおける画像向きの出現確率が前記撮影機器の種別に関連付けて記憶保持される、ことを特徴とする請求項２記載の画像向き判定方法。
  4. 　前記記憶部には、前記撮影機器の種別として、複数の機種を１つの種別とし、前記１つの種別に対して、複数の機種のそれぞれの画像向きの出現確率の代表出現確率が関連付けて記憶保持される、ことを特徴とする請求項２又は請求項３に記載の画像向き判定方法。
  5. 　前記代表出現確率として、前記複数の機種のそれぞれの画像向きの出現確率の平均が用いられる、ことを特徴とする請求項４に記載の画像向き判定方法。
  6. 　前記複数の機種は、各機種における画像向きの出現確率を特徴量としたクラスタリングを用いて抽出される、ことを特徴とする請求項４に記載の画像向き判定方法。
  7. 　前記画像の向きを判定するにあたり、各画像向きに対して、前記画像向きの確からしさと前記画像向きの出現確率とを乗じた値をそれぞれ求め、最も高い値を有する画像向きを、前記判定すべき画像の向きと決定する、ことを特徴とする請求項１乃至６のいずれか１項に記載の画像向き判定方法。
  8. 　撮影機器で撮影された画像に対して前記画像の特徴量から求めた画像の向きの確からしさと、前記撮影機器で撮影される画像の向きの出現確率情報と、から、前記画像の向きを判定する手段を備えた、ことを特徴とする画像向き判定装置。
  9. 　画像の特徴量を取得する画像特徴量取得手段と、
    　前記画像の撮影機器の種別を取得する撮影機器種別取得手段と、
    　前記画像の特徴量に基づき、判定すべき画像向きに対する画像向きの確からしさを算出する確からしさ算出手段と、
    　撮影機器の種別と該種別の撮影機器にて撮影される画像の向きの出現確率との組を記憶保持する記憶手段と、
    　前記記憶手段を参照して、前記撮影機器の種別に基づき、該撮影機器の種別における画像向きの出現確率を抽出する抽出手段と、
    　前記判定すべき画像向きに対する画像向きの確からしさと、前記画像向きの出現確率とに基づき、画像の向きを判定する画像向き判定手段と、
    　を有する、ことを特徴とする画像向き判定装置。
  10. 　前記記憶手段には、前記撮影機器の種別として、デジタルカメラ、撮影機能付き携帯電話、及び、スキャナの少なくとも１つにおける画像向きの出現確率が前記撮影機器の種別に関連付けて記憶保持される、ことを特徴とする請求項９記載の画像向き判定装置。
  11. 　前記記憶手段には、前記撮影機器の種別として、複数の機種を１つの種別とし、前記１つの種別に対して、複数の機種のそれぞれの画像向きの出現確率の代表出現確率が関連付けて記憶保持される、ことを特徴とする請求項９又は請求項１０に記載の画像向き判定装置。
  12. 　前記代表出現確率として、前記複数の機種のそれぞれの画像向きの出現確率の平均が用いられる、ことを特徴とする請求項１１に記載の画像向き判定装置。
  13. 　前記複数の機種は、各機種における画像向きの出現確率を特徴量としたクラスタリングを用いて抽出される、ことを特徴とする請求項１１に記載の画像向き判定装置。
  14. 　前記画像向き判定手段は、各画像向きに対して、前記画像向きの確からしさと前記画像向きの出現確率とを乗じた値をそれぞれ求め、最も高い値を有する画像向きを、前記判定すべき画像の向きと決定する、ことを特徴とする請求項８乃至１３のいずれか１項に記載の画像向き判定装置。
  15. 　撮影機器で撮影された画像に対して前記画像の特徴量から求めた画像の向きの確からしさと、前記撮影機器で撮影される画像の向きの出現確率情報と、から、前記画像の向きを判定する処理をコンピュータに実行させるプログラム。
  16. 　画像の特徴量を取得する画像特徴量取得処理と、
    　前記画像の撮影機器の種別を取得する撮影機器種別取得処理と、
    　前記画像の特徴量に基づき、判定すべき画像向きに対する画像向きの確からしさを算出する確からしさ算出処理と、
    　撮影機器の種別と該種別の撮影機器にて撮影される画像の向きの出現確率との組を記憶部を参照して、前記撮影機器の種別に基づき、該撮影機器の種別における画像向きの出現確率を抽出する抽出処理と、
    　前記判定すべき画像向きに対する画像向きの確からしさと、前記画像向きの出現確率とに基づき、画像の向きを判定する画像向き判定処理と、
    　をコンピュータに実行させるプログラム。
  17. 　前記記憶部には、前記撮影機器の種別として、デジタルカメラ、撮影機能付き携帯電話、及び、スキャナの少なくとも１つにおける画像向きの出現確率を前記撮影機器の種別に関連付けて記憶保持される、ことを特徴とする請求項１６記載のプログラム。
  18. 　前記記憶部には、前記撮影機器の種別として、複数の機種を１つの種別とし、前記１つの種別に対して、複数の機種のそれぞれの画像向きの出現確率の代表出現確率を関連付けて記憶保持される、ことを特徴とする請求項１６又は請求項１７に記載のプログラム。
  19. 　前記代表出現確率として、前記複数の機種のそれぞれの画像向きの出現確率の平均が用いられる、ことを特徴とする請求項１８に記載のプログラム。
  20. 　前記複数の機種は、各機種における画像向きの出現確率を特徴量としたクラスタリングを用いて抽出される、ことを特徴とする請求項１８に記載のプログラム。
  21. 　前記画像向き判定処理は、各画像向きに対して、前記画像向きの確からしさと前記画像向きの出現確率とを乗じた値をそれぞれ求め、最も高い値を有する画像向きを、前記判定すべき画像の向きと決定する、ことを特徴とする請求項１５乃至２０のいずれか１項に記載のプログラム。
  22. 　ある種別の撮影機器に関してどの画像向きでどのくらい画像が撮影されるかを表す出現確率を、予め定められた各向きについて、撮影機器の種別情報に関連付けて記憶する記憶部と、
    　画像向き判定対象の画像に関して、前記画像を撮影した撮影機器の種別情報から、前記記憶部を参照して、前記画像向き判定対象の画像を撮影した撮影機器における画像の各向きでの出現確率を取得する手段と、
    　前記画像向き判定対象の画像の少なくとも一部から抽出した特徴量に基づき、前記画像の前記各向きでの確からしさを算出する手段と、
    　前記画像向き判定対象の画像の前記各向きでの確からしさと、前記画像向き判定対象の画像を撮影した撮影機器における画像の各向きでの出現確率と、に基づき、前記画像向き判定対象の画像の向きがいずれの向きであるかを決定する手段と、
    　を含む、ことを特徴とする画像向き判定システム。
  23. 　前記予め定められた向きとして、撮影機器の種別に応じて、天地の正逆、９０度回転、２７０度回転のうち少なくとも１つの向きの出現確率が前記記憶部に記憶される、ことを特徴とする請求項２２記載の画像向き判定システム。
  24. 　前記予め定められた向きのそれぞれについて、前記画像の向きの確からしさと前記画像向きの出現確率との積を求め、
    　前記それぞれの向きの積のうち一の向きの積が残り向きの積に対して大小関係に関して所定の関係を満たすものがある場合、前記一つの向きを前記画像向き判定対象の画像の向きと決定する、ことを特徴とする請求項２２又は２３記載の画像向き判定システム。
PCT/JP2009/051583 2008-01-31 2009-01-30 画像向き判定方法と装置及びプログラム WO2009096524A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008021254 2008-01-31
JP2008-021254 2008-08-20

Publications (1)

Publication Number Publication Date
WO2009096524A1 true WO2009096524A1 (ja) 2009-08-06

Family

ID=40912867

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/051583 WO2009096524A1 (ja) 2008-01-31 2009-01-30 画像向き判定方法と装置及びプログラム

Country Status (1)

Country Link
WO (1) WO2009096524A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250778A (ja) * 2004-03-03 2005-09-15 Seiko Epson Corp 画像の天地方向判定
JP2006238362A (ja) * 2005-02-28 2006-09-07 Fuji Photo Film Co Ltd 画像天地判定装置および方法並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250778A (ja) * 2004-03-03 2005-09-15 Seiko Epson Corp 画像の天地方向判定
JP2006238362A (ja) * 2005-02-28 2006-09-07 Fuji Photo Film Co Ltd 画像天地判定装置および方法並びにプログラム

Similar Documents

Publication Publication Date Title
JP4908505B2 (ja) 撮影者を利用した画像の分類
AU2017261537B2 (en) Automated selection of keeper images from a burst photo captured set
US7639877B2 (en) Apparatus and program for selecting photographic images
JP5261724B2 (ja) 階層的クラスタリングによる代表画像選定
JP4772839B2 (ja) 画像識別方法および撮像装置
JP5612310B2 (ja) 顔認識のためのユーザーインターフェース
US8332429B2 (en) Photography assistant and method for assisting a user in photographing landmarks and scenes
US20120300092A1 (en) Automatically optimizing capture of images of one or more subjects
JP2001309225A (ja) 顔を検出するためのカメラ及び方法
JP2005115672A (ja) 画像処理装置
Rawat et al. Context-aware photography learning for smart mobile devices
US8355056B2 (en) Image processing device, imaging device, and image processing program
Rawat et al. Context-based photography learning using crowdsourced images and social media
JP5381498B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
WO2009096524A1 (ja) 画像向き判定方法と装置及びプログラム
JP2017184021A (ja) コンテンツ提供装置及びコンテンツ提供プログラム
JP2007058630A (ja) 画像認識装置
JP2013175956A (ja) 撮像装置、撮像方法、画像処理装置、画像処理方法および画像処理システム
JP5224069B2 (ja) 画像向き判定方法、画像向き判定装置及びプログラム
US20210201072A1 (en) Photoset clustering
CN101170671A (zh) 图像记录装置
Chen et al. Intelligent document capturing and blending system based on robust feature matching with an active camera
JP2010034821A (ja) 画像出力装置および画像出力方法
JP2011193089A (ja) 撮像装置、撮像方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09706054

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09706054

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP