JP5683819B2 - Mobile terminal and image classification method - Google Patents
Mobile terminal and image classification method Download PDFInfo
- Publication number
- JP5683819B2 JP5683819B2 JP2010031224A JP2010031224A JP5683819B2 JP 5683819 B2 JP5683819 B2 JP 5683819B2 JP 2010031224 A JP2010031224 A JP 2010031224A JP 2010031224 A JP2010031224 A JP 2010031224A JP 5683819 B2 JP5683819 B2 JP 5683819B2
- Authority
- JP
- Japan
- Prior art keywords
- captured image
- group
- image
- captured
- buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は携帯端末及び画像分類方法に関し、特にカメラ機能により撮像した撮像画像に関する携帯端末及び画像分類方法に関する。 The present invention relates to a portable terminal and an image classification method, and more particularly to a portable terminal and an image classification method related to a captured image captured by a camera function.
近年、デジタルカメラ、カメラ付携帯電話等の普及により、ユーザは持ち運び可能な小型機器によるカメラ撮影を容易に行えるようになってきている。これらの小型機器では、連写機能等の高度な撮影機能を備えるものが多くある。これに伴い、撮影した画像が大量に小型機器内に保存され、ユーザが所望の画像を検索することが困難となってきている。また、ユーザは撮影した大量の画像の中から保存する画像を選択する必要があるという問題が生じていた。 In recent years, with the widespread use of digital cameras, camera-equipped mobile phones, and the like, users can easily perform camera photography using portable portable devices. Many of these small devices have an advanced photographing function such as a continuous shooting function. As a result, a large number of captured images are stored in a small device, and it is difficult for a user to search for a desired image. Further, there has been a problem that the user needs to select an image to be saved from a large number of captured images.
特許文献1に記載の電子アルバム装置は、格納した複数の画像の特徴量を算出し、各画像の特徴を相互に照合して、類似する画像同士を共通のグループとする分類を行う。このようなグループ分類により、ユーザはグループ毎に分類された画像を参照することが出来る。これにより、選択対象となる画像の数を大幅に削減することが出来る。 The electronic album device described in Patent Document 1 calculates feature amounts of a plurality of stored images, collates the features of each image, and classifies similar images as a common group. By such group classification, the user can refer to images classified for each group. Thereby, the number of images to be selected can be significantly reduced.
特許文献2に記載のコンテンツ分類装置は、デジタルカメラで撮影した複数の画像を分類するための装置である。当該コンテンツ分類装置は、複数の画像を分類する規則を定めておき、入力された画像を当該規則に従って各グループに分類する。当該規則の例として、各グループの代表画像との特徴量が一番近いグループに入力画像を分類するという規則が挙げられる。 The content classification device described in Patent Document 2 is a device for classifying a plurality of images taken by a digital camera. The content classification device defines rules for classifying a plurality of images, and classifies the input images into groups according to the rules. As an example of the rule, there is a rule that the input image is classified into a group having a feature amount closest to the representative image of each group.
しかしながら、上述の特許文献による技術によっては、以下の問題が生じる。前述のように近年のカメラ付携帯電話等は、連写機能を備えるものが多い。また、一般にカメラ付携帯電話等の小型機器は、通常のPC(Personal Computer)に比べて処理能力が制限されている。そのため、処理能力の制限されたこれらの機器において、連写機能により撮影した複数の画像を素早く処理する必要がある。 However, depending on the technique according to the above-mentioned patent document, the following problems occur. As described above, many camera-equipped mobile phones and the like in recent years have a continuous shooting function. In general, small devices such as camera-equipped mobile phones have limited processing capabilities compared to ordinary PCs (Personal Computers). Therefore, it is necessary to quickly process a plurality of images captured by the continuous shooting function in these devices with limited processing capabilities.
しかし、特許文献1に記載の技術では、各画像の特徴量を算出し、当該特徴量を相互に照合する必要がある。このため、処理能力の制限された携帯電話等において、このような処理を行うと処理時間が多くかかりユーザの操作性が悪くなる。また、特許文献2に記載の技術によっても、入力画像が各グループに属するか否かを判定する必要がある。そのため、特許文献1に記載の技術と同様に、処理能力の制限された携帯電話等においては、ユーザの操作性が悪くなる。 However, in the technique described in Patent Document 1, it is necessary to calculate the feature amount of each image and collate the feature amounts with each other. For this reason, if such processing is performed on a cellular phone or the like with limited processing capability, the processing time is increased and the operability for the user is degraded. Further, even with the technique described in Patent Document 2, it is necessary to determine whether or not an input image belongs to each group. Therefore, in the same manner as the technique described in Patent Document 1, the operability of the user is deteriorated in a mobile phone or the like whose processing capability is limited.
本発明はこのような問題を解決するためになされたものであり、処理能力の制限された小型機器において、連写機能により撮像した複数の画像を素早くグループに分類できる携帯端末及び画像分類方法を提供することを目的とする。 The present invention has been made to solve such a problem, and provides a portable terminal and an image classification method capable of quickly classifying a plurality of images captured by a continuous shooting function into small groups in a small device with limited processing capability. The purpose is to provide.
本発明にかかる携帯端末の一態様は撮像画像を生成する撮像部と、前記撮像部が生成した複数の撮像画像を分類するためのグループを生成するとともに、各撮像画像の属するグループを算出するグループ算出部と、を備え、前記グループ算出部は、直前に生成された第1のグループに属するいずれか1の撮像画像である第1の撮像画像に基づいて、入力された第2の撮像画像が前記第1のグループに属すること、または前記第2の撮像画像が新たに生成する第2のグループに属することを決定するものである。 One aspect of the portable terminal according to the present invention is an image capturing unit that generates a captured image, and a group that generates a group for classifying a plurality of captured images generated by the image capturing unit and calculates a group to which each captured image belongs. A calculation unit, wherein the group calculation unit receives an input second captured image based on a first captured image that is any one captured image belonging to the first group generated immediately before. It is determined that it belongs to the first group or that the second captured image belongs to a newly generated second group.
本発明にかかる画像分類方法の一態様は、複数の撮像画像を分類するためのグループを生成し、各撮像画像の属するグループを算出する画像分類方法であって、直前に生成された第1のグループに属するいずれか1の画像である第1の撮像画像に基づいて、入力された第2の撮像画像が前記第1のグループに属すること、または前記第2の撮像画像が新たに生成する第2のグループに属することを決定するグループ化ステップを備えるものである。 One aspect of the image classification method according to the present invention is an image classification method for generating a group for classifying a plurality of captured images and calculating a group to which each captured image belongs. Based on the first captured image that is one of the images belonging to the group, the input second captured image belongs to the first group, or the second captured image is newly generated. And a grouping step for determining to belong to the second group.
本発明によれば、処理能力の制限された小型機器において、連写機能により撮像した複数の画像を素早くグループに分類できる携帯端末及び画像分類方法を提供することができる。 According to the present invention, it is possible to provide a portable terminal and an image classification method that can quickly classify a plurality of images captured by the continuous shooting function into small groups in a small device with limited processing capability.
実施の形態1
以下、図面を参照して本発明の実施の形態について説明する。図1は本実施の形態にかかる携帯端末1の構成を示すブロック図である。携帯端末1は、撮像部101と、適合度付与部102と、バッファ103と、バッファ104と、グループ算出部105と、縮小処理部106と、エンコード部107と、手動保存処理部110と、を備える。手動保存処理部110は、一次保存メモリ111と、代表画像抽出部112と、表示部113と、を備える。携帯端末1は、フラッシュメモリ201との接続インターフェイスを有する。
Embodiment 1
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the mobile terminal 1 according to the present embodiment. The mobile terminal 1 includes an
撮像部101は、動画像及び静止画像を撮像するためのカメラ機能を含んだ処理部である。当該カメラ機能は、連写機能を備える。ここで、連写機能とは1回のシャッターボタンを押した際に複数の画像が撮像する機能と、シャッターボタンを素早く押すことにより押したタイミングの画像を撮像する機能と、を含む概念である。撮像部101は、撮像した画像をバッファ103またはバッファ104に格納する。この際、撮像部101は、グループ算出部105により指定されたバッファに対して撮像画像を入力する。
The
なお、撮像部101は、連続撮像を行うモードであるか否かに応じて画像の出力先を変更してもよい。たとえば連続撮像を行わないモードである場合、撮像部101は、撮像画像をそのままフラッシュメモリ201に格納してもよい。
Note that the
適合度付与部102は、撮像部101が撮像した画像の各々に対して適合度を付与する処理部である。適合度とは、所望の条件に対する適合性を示す指標となる情報である。たとえば、適合度は撮像対象の人間が笑顔になっているか、手ぶれの無い良質な画像であるか等の情報である。適合度付与部102は、撮像部101が出力した画像を解析し、適合度を付与する。なお、適合度付与部102は、画像に対してその他のメタデータを付与することも可能である。
The fitness
図2は、適合度が付与された画像の概念を示す図である。適合度付与部102は、撮像部101が撮像した画像に対して、適合度項目毎に適合度を示す数値を付与する。たとえば、図2の画像1には、笑顔指数"10"及び良質画像指数"80"が付与されている。
FIG. 2 is a diagram illustrating the concept of an image to which a fitness level is given. The fitness
バッファ103及びバッファ104は、適合度が付された画像が格納される記憶領域である。バッファ103及びバッファ104のいずれか一方には、後に入力される画像(第2の撮像画像)のグループ分けに用いられる画像(第1の撮像画像)が格納される。グループ分けに用いる画像(第1の撮像画像)には、後述のグループ算出部105によってグループ番号が付されている。
The
グループ算出部105は、撮像部101が撮像した画像をグループ化する(画像にグループ番号を付与する)ための処理部である。グループ算出部105は、グループ算出部105は、バッファ103及びバッファ104から画像を読み取り、両画像の類似度を算出する。グループ算出部105が読み取った両画像のうち、一方の画像にはグループ番号を付されている。当該類似度の算出は、両画像の画素値を算出し、当該画素値を比較することにより行う。また、両画像から複数の画素を抽出し、当該複数の画素の平均値を夫々算出し、算出した平均値同士を比較することにより行ってもよい。
The
算出した類似度が十分に高い場合、グループ算出部105は一方の画像に付与されているグループ番号と同じ番号を、グループ番号が付されていない他方の画像に付与する。そして、新たにグループ番号を付与した画像が入っていたバッファを次の画像の入力先としてカメラ部101に通知する。
When the calculated similarity is sufficiently high, the
算出した類似度が高くない場合、グループ算出部105は一方の画像に付与されているグループ番号と異なる番号を、グループ番号が付されていない他方の画像に付与する。本例では、グループ算出部105は一方の画像に付与されているグループ番号に1を加算した値をグループ番号が付されていない他方の画像に付与する。そして、新たにグループ番号を付与した画像が入っていたバッファとは異なるバッファを次の画像の入力先としてカメラ部101に通知する。
If the calculated degree of similarity is not high, the
なお、類似度が高いか否かの判定には、ユーザが指定した閾値を用いることも可能である。たとえば、ユーザが閾値を高く設定した場合、比較する両画像の画素値が相当程度類似していなければ両者が類似するものとして判定されない。 Note that a threshold specified by the user can be used to determine whether the similarity is high. For example, if the user sets a high threshold value, the pixel values of both images to be compared are not determined to be similar unless the pixel values of the images to be compared are considerably similar.
具体的な動作例を以下に説明する。連写機能により撮像した1枚目の画像がバッファ103に格納される。グループ算出部105は、1枚目の画像にグループ番号1を付与する。またグループ算出部105は、続いて入力される画像をバッファ104に格納することを撮像部101に通知する。
A specific operation example will be described below. The first image captured by the continuous shooting function is stored in the
続いて撮像した2枚目の画像がバッファ104に格納される。グループ算出部105は、バッファ103及びバッファ104から画像を読み出し、両者の類似度を算出する。ここで両者の類似度が高い場合、グループ算出部105は2枚目の画像(バッファ104に格納されていた画像)にグループ番号1を付与する。そして、グループ算出部105は当該画像(2枚目の画像)を縮小処理部106及びエンコード部107に出力する。この場合、続いて入力される画像(3枚目の画像)の入力先を変更しないため、グループ算出部105は撮像部101に対する通知を行わない。
Subsequently, the captured second image is stored in the
続いて、3枚目の画像がバッファ104に格納される。グループ算出部105は、バッファ103及びバッファ104から画像を読み出し、両者の類似度を算出する。ここで両者の類似度が低い場合、グループ算出部105は3枚目の画像(バッファ104に格納されていた画像)に新たなグループ番号である2を付与する。そして、グループ算出部105はバッファ103に格納されていた画像(1枚目の画像)を縮小処理部106及びエンコード部107に出力する。またグループ算出部105は、続いて入力される画像(4枚目の画像)をバッファ103に格納することを撮像部101に通知する。
Subsequently, the third image is stored in the
上述のように、同一グループに属する画像が両バッファに格納されている場合、グループ算出部105は先に入力された画像をバッファ内に残す。一般に、連写機能により撮像した場合、前後する画像の類似度は高くなる。そのため先に入力された画像をバッファに残すことにより、類似度が高いか否かの判定を正確に行うことが出来る。
As described above, when images belonging to the same group are stored in both buffers, the
なお、グループ算出部105のグループ番号付与にかかる処理はこれに限られない。たとえば、1枚目の画像と2枚目の画像を比較し、上述のように2枚目の画像にグループ番号を付与する。次に、グループ算出部105は3枚目から5枚目までの画像には、2枚目の画像に付したグループ番号と同一のグループ番号を自動的に付与する。続いて、グループ算出部105は6枚目の画像と、バッファに残っている画像を比較し、6枚目の画像にグループ番号を付与する。グループ算出部105は7枚目から9枚目までの画像には、6枚目の画像に付したグループ番号と同一のグループ番号を自動的に付与する。このように、画像の比較を減らすことにより、処理速度の向上を図ることも可能である。
Note that the processing related to group number assignment by the
縮小処理部106は、グループ算出部105がグループを付与した画像のサムネイル画像を生成する処理部である。縮小処理部106は、生成したサムネイル画像をエンコード部107に出力する。
The
エンコード部107は、グループ算出部105から入力された画像と、縮小処理部106から入力されたサムネイル画像と、をエンコードする。たとえば、エンコード部107は当該画像をJPEG(Joint Photographic Experts Group)形式の画像にエンコードする。エンコード部107は、携帯電話1が自動保存モードであるか否かによりエンコードした画像の出力先を変更する。
The
自動保存モードとは、撮像した画像をフラッシュメモリ201等の記憶装置に自動的に保存する動作モードである。自動保存モードに設定されている場合、ユーザは保存する画像を選択することが出来ない。一方、手動保存モードとは、撮像した画像を一時的なメモリに格納しておき、ユーザが一次的なメモリに格納された画像からフラッシュメモリ201等に格納する画像を選択する動作モードである。ユーザは、どちらの動作モードにより携帯端末1を動作させるかを指定できる。
The automatic storage mode is an operation mode in which captured images are automatically stored in a storage device such as the
自動保存モード設定時には、エンコード部107はエンコード処理を行った画像をフラッシュメモリ201に格納する。なお、エンコード部107は、フラッシュメモリ201に限らず、任意の記憶装置に画像を保存することが可能である。手動保存モード設定時には、エンコード部107は、エンコード処理を行った画像を一次保存メモリ111に出力する。
When the automatic save mode is set, the
一次保存メモリ111は、手動保存モード設定時に画像が一次的に保存される記憶装置である。一次保存メモリ111に格納される画像には、グループ番号及び適合度情報が付与されている。
The
代表画像抽出部112は、同一グループに属する複数の画像から適合度情報に基づいて、グループを代表する代表画像を抽出する処理部である。たとえば、代表画像抽出部112はグループ内の画像の中で笑顔指数が一番高い画像をグループの代表画像とする。なお、ユーザは代表画像を決定するためにどの適合度情報を用いるかを設定できる。さらにまた、代表画像抽出部112は複数の適合度情報の数値を加算して一番加算値が高い画像を代表画像と決定することもできる。
The representative
表示部113は、携帯端末1の情報表示部であり、たとえば液晶ディスプレイである。表示部113には、各グループの代表画像のサムネイル画像が一覧形式により表示される。ここで、各グループの代表画像は撮像時間の順序に並べられて表示される。撮像時間の順序は、グループ番号が時系列に従って付与されているため容易に判断できる。表示部113に表示される画面の一例を図3に示す。一覧画面には、各グループの代表画像と、撮像情報(たとえば撮像時間、撮像者情報等)が表示される。ユーザは、操作ボタン(不図示)により任意のグループを選択することが出来る。
The
たとえば、ユーザがグループ2を選択した場合、表示部113にはグループ2の各画像が適合度の高い順序により表示される。ユーザは、表示順序を決定するために用いる適合度情報を変更することが可能である。たとえば、ユーザは笑顔指数の高い順序に並んでいる画像群を、手ぶれの少ない画像の順序に並べ替えて表示することが可能である。ユーザは、操作ボタン等を操作することにより保存する画像を選択する。保存対象となった画像には、保存フラグが設定される。ユーザは保存処理の実行を指示する。保存処理の実行時に保存フラグが設定されている画像は、一次記憶メモリ111から読み出され、フラッシュメモリ201に書き込まれる。なお、ユーザは、保存処理の実行が行われる前であればいつでも保存フラグの解除を指示することが出来る。
For example, when the user selects the group 2, the images of the group 2 are displayed on the
また、ユーザは画像に対して保存フラグを設定した後に、表示順序を決定するために用いる適合度情報の変更を指示することも可能である。この場合、保存フラグが設定されている画像は、保存フラグが設定されていることが分かるように緑取り等の表示効果がかけられる。 The user can also instruct the change of the fitness information used for determining the display order after setting the save flag for the image. In this case, a display effect such as greening is applied to the image in which the storage flag is set so that the storage flag is set.
フラッシュメモリ201は、携帯端末1のデータ保存に用いられる二次記憶装置である。フラッシュメモリ201の一例として、スマートメディア、コンパクトフラッシュ(登録商標)、SDメモリーカード等が挙げられる。
The
続いて、図4のフローチャートを参照し、本実施の形態にかかる携帯端末の自動保存モード設定時における処理を説明する。はじめに、携帯端末1のカメラ機能が起動する(S101)。撮像部101は、ユーザのシャッターボタン操作に応じて撮像画像を生成する(S102)。適合度付与部102は、撮像画像の各々を読み込み、適合度を付与する(S103)。
Next, with reference to the flowchart of FIG. 4, processing when the automatic storage mode of the mobile terminal according to the present embodiment is set will be described. First, the camera function of the mobile terminal 1 is activated (S101). The
撮像部101は、適合度が付与された画像をグループ算出部105によって指定されたバッファに対して格納する(S104)。グループ算出部105は、バッファ103及びバッファ104から画像を読み出し、画像に対してグループ番号を付与する(S105)。グループ算出部105は、グループ番号が付与された画像を縮小処理部106と、エンコード部107と、に出力する。
The
縮小処理部106は、入力された画像のサムネイル画像を生成する(S106)。縮小処理部106は、生成したサムネイル画像をエンコード部107に出力する。エンコード部107は、グループ算出部105から入力された画像と、縮小処理部106から入力されたサムネイル画像と、をエンコードする(S107)。エンコード部107はエンコード処理を行った画像をフラッシュメモリ201に書き込む(S108)。フラッシュメモリ201に書き込まれる画像には、適合度及びグループ番号が付与されている。
The
次に、図5のフローチャートを参照し、本実施の形態にかかる携帯端末の手動保存モード設定時における処理を説明する。図5において、図4と同一符号を付した処理は前述した処理と基本的に同じ処理を行う。 Next, with reference to the flowchart of FIG. 5, the process at the time of manual save mode setting of the portable terminal concerning this Embodiment is demonstrated. In FIG. 5, the processes denoted by the same reference numerals as those in FIG.
携帯端末1の各処理部は、撮像部101が撮像した画像に対して適合度の付与及びグループ番号の付与を行う(S101〜S105)。そして、縮小処理部106は、当該画像のサムネイル画像の生成を行う(S106)。エンコード部107には、当該画像とサムネイル画像が入力される。エンコード部107は、この2つの画像のエンコード処理を行う(S107)。
Each processing unit of the mobile terminal 1 assigns a fitness level and a group number to the image captured by the imaging unit 101 (S101 to S105). Then, the
エンコード部107は、エンコード処理を行った画像を一次保存メモリ111に格納する(S110)。このようにして、撮像部101が撮像した画像が一次保存メモリ111に格納されていく。S102〜S110の処理は、ユーザにより撮像終了が指示されるまで継続される(S111)。
The
ユーザによる撮像終了が指示された場合(S111:Yes)、代表画像抽出部112は、各グループの代表画像を抽出する(S112)。抽出された代表画像の情報を用いて表示部113に表示される一覧画像が生成され、当該一覧画像が表示部113に表示される(S113)。
When the user has instructed the end of imaging (S111: Yes), the representative
ユーザが代表画像を決定するための適合度情報の変更を指示した場合(S114:Yes)、代表画像の抽出及び表示画面の再生成が行われる(S112、S113)。ユーザが代表画像を決定するための適合度情報の変更を指示しなかった場合(S114:No)、ユーザは一覧画面から保存する画像を選択する(S115)。そして、選択された画像がフラッシュメモリ201に書き込まれる(S116)。 When the user instructs to change the fitness information for determining the representative image (S114: Yes), the representative image is extracted and the display screen is regenerated (S112, S113). When the user has not instructed to change the fitness information for determining the representative image (S114: No), the user selects an image to be saved from the list screen (S115). Then, the selected image is written into the flash memory 201 (S116).
続いて、本実施の形態にかかる携帯端末1の効果について説明する。グループ算出部105は、上述のように以前にグループ番号を付与した画像(第1の撮像画像)との関係性、たとえば類似度の比較により新たに入力された画像(第2の撮像画像)の属するグループを決定している。ここで、当該比較は2つの画像の比較のみにより行うことが可能であり、画像比較の処理負荷を軽減することが出来る。そのため、連続撮像を行った場合であっても、画像のグループ化を迅速に行うことが出来る。画像のグループ化を高速に行うことが出来るため、処理能力の制限された携帯端末等であっても、ユーザの操作性を損なうことがない。
Then, the effect of the portable terminal 1 concerning this Embodiment is demonstrated. As described above, the
また、本実施の形態にかかる携帯端末1では、各グループの代表画像が適合度に応じて抽出される。これにより、ユーザは各グループにおける適合度が一番高い画像を容易に参照できる。 Moreover, in the portable terminal 1 concerning this Embodiment, the representative image of each group is extracted according to a fitness. As a result, the user can easily refer to the image having the highest fitness in each group.
さらにまた、表示部113には、各グループの代表画像が撮像時間の順序に並べられて表示される。そのため、ユーザは時系列に応じた画像の閲覧が可能になる。
Furthermore, the
本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。たとえば、携帯端末1の処理能力に応じて、携帯端末1内に設けるバッファの数を増加させてもよい。バッファの数を増加させることにより、多くのグループに属する画像を保持することが出来るため、グループ化の精度を向上することが出来る。 The present invention is not limited to the above-described embodiment, and can be changed as appropriate without departing from the spirit of the present invention. For example, the number of buffers provided in the mobile terminal 1 may be increased according to the processing capability of the mobile terminal 1. By increasing the number of buffers, images belonging to many groups can be held, so that the accuracy of grouping can be improved.
なお、本実施の形態1にかかる携帯端末1の最小構成を図6に示す。携帯端末1は、撮像部101及びグループ算出部105を備える。撮像部101は、動画像及び静止画像を撮像するためのカメラ機能を含んだ処理部である。当該カメラ機能は、連写機能を備える。
In addition, the minimum structure of the portable terminal 1 concerning this Embodiment 1 is shown in FIG. The mobile terminal 1 includes an
グループ算出部105は、撮像部101が撮像した画像をグループ化する(画像にグループ番号を付与する)ための処理部である。グループ算出部105は、グループを適宜作成し、各撮像画像をグループに分類する。グループ算出部105は、入力された撮像画像(第2の撮像画像)を分類するために、直前に生成されたグループに属する撮像画像(第1の撮像画像)を用いる。グループ算出部105は、入力された撮像画像が直前に生成されたグループに属するか否かのみを判定する。このため、判定処理が軽減され、グループ化処理の処理速度が向上する。
The
上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。 A part or all of the above embodiment can be described as in the following supplementary notes, but is not limited thereto.
(付記1)
撮像画像を生成する撮像部と、
前記撮像部が生成した複数の撮像画像を分類するためのグループを生成するとともに、各撮像画像の属するグループを算出するグループ算出部と、を備え、
前記グループ算出部は、直前に生成された第1のグループに属するいずれか1の撮像画像である第1の撮像画像に基づいて、入力された第2の撮像画像が前記第1のグループに属すること、または前記第2の撮像画像が新たに生成する第2のグループに属することを決定する携帯端末。
(Appendix 1)
An imaging unit for generating a captured image;
A group calculation unit that generates a group for classifying the plurality of captured images generated by the imaging unit, and calculates a group to which each captured image belongs,
The group calculation unit is configured such that an input second captured image belongs to the first group based on a first captured image that is any one captured image belonging to the first group generated immediately before. Or a portable terminal that determines that the second captured image belongs to a newly generated second group.
(付記2)
前記グループ算出部は、前記第1の撮像画像と、前記第2の撮像画像の類似度を算出し、当該類似度に応じて前記第2の撮像画像が属するグループを算出することを特徴とする付記1に記載の携帯端末。
(Appendix 2)
The group calculation unit calculates a similarity between the first captured image and the second captured image, and calculates a group to which the second captured image belongs according to the similarity. The mobile terminal according to attachment 1.
(付記3)
前記第1の撮像画像または前記第2の撮像画像のいずれか一方を格納するための第1のバッファ及び第2のバッファを備えることを特徴とする付記1または付記2に記載の携帯端末。
(Appendix 3)
The mobile terminal according to appendix 1 or appendix 2, comprising a first buffer and a second buffer for storing either the first captured image or the second captured image.
(付記4)
前記撮像部が生成した撮像画像の各々に、所望の条件に対する適合性を示す適合度情報を付与する適合度付与部と、
同一グループに属する複数の撮像画像から前記適合度情報に基づいて、グループを代表する代表画像を抽出する代表画像選定部と、を備えることを特徴とする付記1乃至付記3のいずれか1項に記載の携帯端末。
(Appendix 4)
A fitness level giving unit that gives fitness level information indicating suitability for a desired condition to each of the captured images generated by the imaging unit,
A supplementary image selection unit that extracts a representative image representing a group based on the fitness information from a plurality of captured images belonging to the same group. The portable terminal described.
(付記5)
各グループの前記代表画像を撮像時間の順序に並べた表示画面を表示する表示部を備えることを特徴とする付記1乃至付記4のいずれか1項に記載の携帯端末。
(Appendix 5)
The mobile terminal according to any one of supplementary notes 1 to 4, further comprising a display unit that displays a display screen in which the representative images of each group are arranged in order of imaging time.
(付記6)
前記類似度は、前記第1の撮像画像の画素値と、前記第2の撮像画像の画素値と、の差分から算出することを特徴とする付記2乃至付記5のいずれか1項に記載の携帯端末。
(Appendix 6)
The similarity is calculated from a difference between a pixel value of the first captured image and a pixel value of the second captured image, according to any one of appendix 2 to appendix 5, wherein the similarity is calculated. Mobile device.
(付記7)
複数の撮像画像を分類するためのグループを生成し、各撮像画像の属するグループを算出する画像分類方法であって、
直前に生成された第1のグループに属するいずれか1の画像である第1の撮像画像に基づいて、入力された第2の撮像画像が前記第1のグループに属すること、または前記第2の撮像画像が新たに生成する第2のグループに属することを決定するグループ化ステップを備える画像分類方法。
(Appendix 7)
An image classification method for generating a group for classifying a plurality of captured images and calculating a group to which each captured image belongs,
Based on the first captured image, which is any one of the images belonging to the first group generated immediately before, the input second captured image belongs to the first group, or the second An image classification method comprising a grouping step for determining that a captured image belongs to a newly generated second group.
(付記8)
前記グループ化ステップでは、前記第1の撮像画像と、前記第2の撮像画像の類似度を算出し、当該類似度に応じて前記第2の撮像画像が属するグループを算出することを特徴とする付記7に記載の画像分類方法。
(Appendix 8)
In the grouping step, a similarity between the first captured image and the second captured image is calculated, and a group to which the second captured image belongs is calculated according to the similarity. The image classification method according to appendix 7.
(付記9)
前記第1の撮像画像または前記第2の撮像画像のいずれか一方を第1のバッファに格納し、
前記第1のバッファに格納されなかった他方の撮像画像を第2のバッファに格納することを特徴とする付記7または付記8に記載の画像分類方法。
(Appendix 9)
Storing either the first captured image or the second captured image in a first buffer;
9. The image classification method according to appendix 7 or appendix 8, wherein the other captured image not stored in the first buffer is stored in the second buffer.
(付記10)
撮像した複数の撮像画像の各々に、所望の条件に対する適合性を示す適合度情報を付与する適合度付与ステップと、
同一グループに属する複数の撮像画像から前記適合度情報に基づいて、グループを代表する代表画像を抽出する代表画像選定ステップと、を備えることを特徴とする付記7乃至付記9のいずれか1項に記載の画像分類方法。
(Appendix 10)
A fitness level assigning step of giving fitness level information indicating suitability for a desired condition to each of a plurality of captured images;
A supplementary image selection step of extracting a representative image representing a group based on the fitness information from a plurality of captured images belonging to the same group. The image classification method described.
(付記11)
各グループの前記代表画像を撮像時間の順序に並べた表示画面を表示する表示ステップをさらに備えたことを特徴とする付記7乃至付記10のいずれか1項に記載の画像分類方法。
(Appendix 11)
11. The image classification method according to claim 7, further comprising a display step of displaying a display screen in which the representative images of each group are arranged in order of imaging time.
(付記12)
前記類似度は、前記第1の撮像画像の画素値と、前記第2の撮像画像の画素値と、の差分から算出することを特徴とする付記8乃至付記11のいずれか1項に記載の画像分類方法。
(Appendix 12)
The said similarity is calculated from the difference of the pixel value of a said 1st captured image, and the pixel value of a said 2nd captured image, The additional statement 8 thru | or any one of the supplementary notes 11 characterized by the above-mentioned Image classification method.
1 携帯端末
101 撮像部
102 適合度付与部
103 バッファ
104 バッファ
105 グループ算出部
106 縮小処理部
107 エンコード部
110 手動保存処理部
111 一次保存メモリ
112 代表画像抽出部
113 表示部
201 フラッシュメモリ
DESCRIPTION OF SYMBOLS 1
Claims (8)
前記撮像部が生成した複数の撮像画像を分類するためのグループを生成するとともに、各撮像画像の属するグループを算出するグループ算出部と、
前記撮像画像を格納するための第1のバッファ及び第2のバッファと、を備え、
前記グループ算出部は、
直前に生成された第1のグループに属するいずれか1の撮像画像である第1の撮像画像に基づいて、入力された第2の撮像画像が前記第1のグループに属すること、または前記第2の撮像画像が新たに生成する第2のグループに属することを決定し、
前記第1の撮像画像を前記第1のバッファに格納し、前記第2の撮像画像を前記第2のバッファに格納し、前記第1の撮像画像及び前記第2の撮像画像が同一のグループに属すると判定している間は、前記第2の撮像画像に続いて生成された前記撮像画像を新たな前記第2の撮像画像として、前記第2のバッファに格納されている前記第2の撮像画像と入れ替え、
前記第2の撮像画像が前記第1のグループまたは前記第2のグループに属すると決定されたときに、前記第2の撮像画像に続けて生成された所定の枚数の撮像画像を前記第2の撮像画像と同一のグループに自動的に分類する、
携帯端末。 An imaging unit for generating a captured image;
A group calculation unit that generates a group for classifying the plurality of captured images generated by the imaging unit, and calculates a group to which each captured image belongs;
A first buffer and a second buffer for storing the captured image;
The group calculation unit
Based on the first captured image that is any one captured image belonging to the first group generated immediately before, the input second captured image belongs to the first group, or the second Determined that the captured image belongs to the newly generated second group,
The first captured image is stored in the first buffer, the second captured image is stored in the second buffer, and the first captured image and the second captured image are in the same group. While it is determined that the second captured image belongs, the second captured image stored in the second buffer is used as the second captured image that is generated subsequent to the second captured image. image and swapped example,
When it is determined that the second captured image belongs to the first group or the second group, a predetermined number of captured images generated following the second captured image are stored in the second group. Automatically classify into the same group as the captured image,
Mobile device.
同一グループに属する複数の撮像画像から前記適合度情報に基づいて、グループを代表する代表画像を抽出する代表画像選定部と、を備えることを特徴とする請求項1乃至請求項3のいずれか1項に記載の携帯端末。 A fitness level giving unit that gives fitness level information indicating suitability for a desired condition to each of the captured images generated by the imaging unit,
Based plurality of captured images belonging to the same group to the goodness of fit information, any one of claims 1 to 3 and representative image selection section for extracting a representative image representing a group, characterized in that it comprises for 1 The portable terminal according to item.
前記第1の撮像画像及び前記第2の撮像画像が同一のグループに属さないと判定した場合、
前記第2の撮像画像を前記第2のバッファに残して、前記第2の撮像画像に続いて生成された第3の撮像画像を前記第1の撮像画像と入れ替えて前記第1のバッファに格納し、
前記第3の撮像画像が前記第2のグループに属するかを判定する、請求項1〜4のいずれか1項に記載の携帯端末。 The group calculation unit
When it is determined that the first captured image and the second captured image do not belong to the same group,
The second captured image is left in the second buffer, and the third captured image generated subsequent to the second captured image is replaced with the first captured image and stored in the first buffer. And
It said third determining whether the captured image belongs to the second group of mobile terminals according to any one of claims 1-4.
直前に生成された第1のグループに属するいずれか1の画像である第1の撮像画像に基づいて、入力された第2の撮像画像が前記第1のグループに属すること、または前記第2の撮像画像が新たに生成する第2のグループに属することを決定するグループ化ステップを備え、
前記グループ化ステップでは、
前記第1の撮像画像を前記第1のバッファに格納し、前記第2の撮像画像を前記第2のバッファに格納し、前記第1の撮像画像および前記第2の撮像画像が同一のグループに属すると判定している間は、前記第2の撮像画像に続いて撮影された前記撮像画像を新たな前記第2の撮像画像として、前記第2のバッファに格納されている前記第2の撮像画像と入れ替え、
前記第2の撮像画像が前記第1のグループまたは前記第2のグループに属すると決定されたときに、前記第2の撮像画像に続けて撮影された所定の枚数の撮像画像を前記第2の撮像画像と同一のグループに自動的に分類する、
画像分類方法。 An image capturing unit that captures a plurality of captured images, a group calculation unit that generates a group for classifying the plurality of captured image captured, calculates a group to which each captured image belongs, and for storing the captured image An image classification method in a mobile terminal having a first buffer and a second buffer,
Based on the first captured image, which is any one of the images belonging to the first group generated immediately before, the input second captured image belongs to the first group, or the second A grouping step for determining that the captured image belongs to a newly generated second group;
In the grouping step,
The first captured image is stored in the first buffer, the second captured image is stored in the second buffer, and the first captured image and the second captured image are in the same group. While it is determined that the second captured image belongs, the second captured image stored in the second buffer is used as the second captured image that is captured subsequent to the second captured image. image and swapped example,
When it is determined that the second captured image belongs to the first group or the second group, a predetermined number of captured images captured subsequent to the second captured image are stored in the second group. Automatically classify into the same group as the captured image,
Image classification method.
同一グループに属する複数の撮像画像から前記適合度情報に基づいて、グループを代表する代表画像を抽出する代表画像選定ステップと、を備えることを特徴とする請求項6又は7に記載の画像分類方法。 A fitness level assigning step of giving fitness level information indicating suitability for a desired condition to each of a plurality of captured images;
The image classification method according to claim 6 , further comprising: a representative image selection step of extracting a representative image representing the group from a plurality of captured images belonging to the same group based on the fitness information. .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010031224A JP5683819B2 (en) | 2010-02-16 | 2010-02-16 | Mobile terminal and image classification method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010031224A JP5683819B2 (en) | 2010-02-16 | 2010-02-16 | Mobile terminal and image classification method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015004692A Division JP5871293B2 (en) | 2015-01-14 | 2015-01-14 | Mobile terminal and image classification method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011170424A JP2011170424A (en) | 2011-09-01 |
JP5683819B2 true JP5683819B2 (en) | 2015-03-11 |
Family
ID=44684520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010031224A Expired - Fee Related JP5683819B2 (en) | 2010-02-16 | 2010-02-16 | Mobile terminal and image classification method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5683819B2 (en) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000339344A (en) * | 1999-05-31 | 2000-12-08 | Olympus Optical Co Ltd | Image reading and storing device |
JP4041407B2 (en) * | 2003-01-15 | 2008-01-30 | 富士フイルム株式会社 | Digital camera |
JP2007114885A (en) * | 2005-10-18 | 2007-05-10 | National Institute Of Information & Communication Technology | Classification method and device by similarity of image |
JP4665731B2 (en) * | 2005-11-25 | 2011-04-06 | 株式会社ニコン | Camera and image management program |
JP4492555B2 (en) * | 2006-02-07 | 2010-06-30 | セイコーエプソン株式会社 | Printing device |
JP2008269490A (en) * | 2007-04-24 | 2008-11-06 | Canon Inc | Image management method, image management device, control program and computer-readable storage medium |
JP4165615B2 (en) * | 2007-11-26 | 2008-10-15 | ソニー株式会社 | Image display device, image display method, program, and recording medium |
JP4973585B2 (en) * | 2008-04-24 | 2012-07-11 | 株式会社ニコン | Image grouping device and camera |
-
2010
- 2010-02-16 JP JP2010031224A patent/JP5683819B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011170424A (en) | 2011-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI375917B (en) | Image processing apparatus, imaging apparatus, image processing method, and computer program | |
US10007411B2 (en) | Electronic device and display method thereof | |
US20110022982A1 (en) | Display processing device, display processing method, and display processing program | |
JP5890325B2 (en) | Image data processing apparatus, method, program, and integrated circuit | |
KR101812103B1 (en) | Method and program for setting thumbnail image | |
JP4327827B2 (en) | Video recording / reproducing system and video recording / reproducing method | |
JP2013532323A (en) | Ranking key video frames based on camera position | |
JP2012105205A (en) | Key frame extractor, key frame extraction program, key frame extraction method, imaging apparatus, and server device | |
JP2004280254A (en) | Contents categorizing method and device | |
JP2015008385A (en) | Image selection device, imaging device, and image selection program | |
JP2006303707A (en) | Image processing apparatus and image processing method | |
JP2007036737A (en) | Image display device | |
JP2007133838A (en) | Image display method and image display program | |
JP5871293B2 (en) | Mobile terminal and image classification method | |
EP4284009A1 (en) | Method for acquiring image, and electronic device | |
JP5683819B2 (en) | Mobile terminal and image classification method | |
JP5409400B2 (en) | Image processing method, image processing apparatus, and program | |
JP2016048586A (en) | Portable terminal and image classification method | |
JP2008205963A (en) | Information processing terminal, its data storage method, and program | |
TWI522888B (en) | Electronic device and method for viewing image thereof | |
TW201228376A (en) | Electronic apparatus, image capturing apparatus and method thereof | |
JP5434057B2 (en) | Image display device and image display program | |
JP2010173323A (en) | Printer | |
JP2003250124A (en) | Digital camera and file recording method thereof | |
JP2005057360A (en) | Picture photographing apparatus and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131029 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140507 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140703 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20140918 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5683819 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |