JP2014207672A - イメージ合成方法及びこれを具現する電子装置 - Google Patents

イメージ合成方法及びこれを具現する電子装置 Download PDF

Info

Publication number
JP2014207672A
JP2014207672A JP2014080902A JP2014080902A JP2014207672A JP 2014207672 A JP2014207672 A JP 2014207672A JP 2014080902 A JP2014080902 A JP 2014080902A JP 2014080902 A JP2014080902 A JP 2014080902A JP 2014207672 A JP2014207672 A JP 2014207672A
Authority
JP
Japan
Prior art keywords
image
original image
control unit
information
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014080902A
Other languages
English (en)
Inventor
灑美 林
Sae Mee Yim
灑美 林
斗錫 姜
Doo Suk Kang
斗錫 姜
義昌 鄭
Eui Chang Jung
義昌 鄭
普根 崔
Bo-Kun Choi
普根 崔
▲ミン▼敬 ▲黄▼
▲ミン▼敬 ▲黄▼
Min Kyung Hwang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2014207672A publication Critical patent/JP2014207672A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/26Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274Syntactic or semantic context, e.g. balancing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】本発明は、オブジェクトがフレームの区画に正確に含まれることができるようにするイメージ合成方法、及びこれを具現する電子装置を提供するためのものである。【解決手段】本発明の一実施形態に従うイメージ合成方法は、原本イメージの選択を検出するステップと、上記原本イメージにタグ付けされたタグ情報でオブジェクトの位置情報を確認するステップと、上記位置情報を用いて上記オブジェクトを含むターゲットイメージを上記原本イメージから抽出するステップと、上記ターゲットイメージをフレームの区画のうち、予め指定されたマッピングされた区画に表示するステップとを含む。【選択図】図3

Description

本発明は、イメージ合成方法に関し、特にイメージを1つに合成して表示する方法及びこれを具現する電子装置に関する。
現在、スマートフォンなどのような電子装置はイメージを編集する機能を提供することができる。例えば、電子装置は、イメージを切り取り、イメージを拡大または縮小してイメージのコントラスト(contrast)を調整する編集機能を提供することができる。また、電子装置は多数の区画に構成されたフレーム(額縁)を提供することができる。電子装置は、区画のサイズに合うようにイメージから一部を抽出し、抽出された一部を該当区画に表示する。また、電子装置は、区画に各々イメージで埋められたフレームを1つの合成イメージに格納する。しかしながら、オブジェクト(例えば、顔)が区画に含まれなかったり一部のみ含まれたりする場合が発生することがある。
本発明は、前述した問題点を解決するために案出したものであって、オブジェクトがフレームの区画に正確に含まれるようにするイメージ合成方法及びこれを具現する電子装置を提供することをその目的とする。
本発明の一実施形態に従うイメージ合成方法は、原本イメージの選択を検出するステップ、上記原本イメージにタグ付けされたタグ情報でオブジェクトの位置情報を確認するステップ、上記位置情報を用いて上記オブジェクトを含むターゲットイメージを上記原本イメージから抽出するステップ、及び上記ターゲットイメージをフレームの区画のうち、予め指定されたマッピングされた区画に表示するステップを含む。
本発明の別の実施形態に従うイメージ合成方法は、イメージフォルダのイメージのうちから原本イメージを選択するステップ、上記原本イメージに各々タグ付けされたタグ情報でオブジェクトの位置情報を確認するステップ、上記位置情報を用いて上記オブジェクトを各々含むターゲットイメージを上記原本イメージから抽出するステップ、及び上記イメージフォルダの表紙を表すマガジンビューの各区画に上記ターゲットイメージを表示するステップを含む。
本発明の更に別の実施形態に従うイメージ合成方法は、原本イメージの選択を検出するステップ、上記選択された原本イメージと同一な個数の区画を有するフレームに各々対応するサムネイルを表示するステップ、上記サムネイルのうち、1つの選択を検出するステップ、上記原本イメージに各々タグ付けされたタグ情報でオブジェクトの位置情報を確認するステップ、上記位置情報を用いて上記オブジェクトを各々含むターゲットイメージを上記原本イメージから抽出するステップ、及び上記ターゲットイメージを上記選択されたサムネイルに該当するフレームの区画に各々表示するステップを含む。
本発明の一実施形態に従う電子装置は、表示部、上記表示部の画面に設置されたタッチパネル、イメージ及び該イメージに各々タグ付けされたタグ情報を格納する格納部、及び上記表示部、上記タッチパネル及び上記格納部を制御する制御部を含み、上記制御部は、上記タッチパネルから原本イメージの選択を検出し、上記格納部にアクセスして上記原本イメージにタグ付けされたタグ情報でオブジェクトの位置情報を確認し、上記位置情報を用いて上記オブジェクトを含むターゲットイメージを上記原本イメージから抽出し、上記ターゲットイメージをフレームの区画のうち、予め指定されたマッピングされた区画に表示するように上記表示部を制御する。
本発明の別の実施形態に従う電子装置は、表示部、イメージフォルダのイメージ及び該イメージに各々タグ付けされたタグ情報を格納する格納部、及び上記表示部及び上記格納部を制御する制御部を含み、上記制御部は、上記イメージフォルダのイメージのうちから原本イメージを選択し、上記原本イメージに各々タグ付けされたタグ情報でオブジェクトの位置情報を確認し、上記位置情報を用いて上記オブジェクトを各々含むターゲットイメージを上記原本イメージから抽出し、上記イメージフォルダの表紙を表すマガジンビューの各区画に上記ターゲットイメージを表示するように制御する。
本発明の更に別の実施形態に従う電子装置は、表示部、上記表示部の画面に設置されたタッチパネル、イメージ及び該イメージに各々タグ付けされたタグ情報を格納する格納部、及び上記表示部、上記タッチパネル及び上記格納部を制御する制御部を含み、上記制御部は、上記タッチパネルから原本イメージの選択を検出し、上記選択された原本イメージと同一な個数の区画を有するフレームに各々対応するサムネイルを表示するように制御し、上記タッチパネルから上記サムネイルのうちの1つの選択を検出し、上記原本イメージに各々タグ付けされたタグ情報でオブジェクトの位置情報を確認し、上記位置情報を用いて上記オブジェクトを各々含むターゲットイメージを上記原本イメージから抽出し、上記ターゲットイメージを上記選択されたサムネイルに該当するフレームの区画に各々表示するように制御する。
以上、本発明のイメージ合成方法及び電子装置は、オブジェクトがフレームの区画に正確に含まれるようにする。
タグ情報の生成方法の一例を説明するための図である。 タグ情報の生成方法の一例を説明するための図である。 本発明の一実施形態に従う携帯端末のブロック構成図である。 本発明の一実施形態に従うイメージ合成方法を説明するためのフローチャートである。 イメージ選択方法の一例を説明するための図である。 フレーム選択方法の一例を説明するための図である。 イメージとフレームの区画をマッピングする方法の一例を説明するための図である。 オブジェクトと区画をマッピングする方法の一例を説明するための図である。 ターゲットイメージの抽出方法の一例を説明するための図である。 ターゲットイメージの抽出方法の別の例を説明するための図である。 ターゲットイメージで埋められたフレームを示す図である。 本発明の一実施形態に従う原本イメージからターゲットイメージを抽出する方法を説明するためのフローチャートである。 ターゲットイメージを該当区画に合うように縮小する方法の一例を説明するための図である。 ターゲットイメージを該当区画に合うように縮小する方法の一例を説明するための図である。 ターゲットイメージの領域を計算する方法の一例を説明するための図である。 ターゲットイメージの領域を計算する方法の一例を説明するための図である。 ターゲットイメージを該当区画に合うように拡大する方法の一例を説明するための図である。 ターゲットイメージを該当区画に合うように拡大する方法の一例を説明するための図である。 ターゲットイメージを該当区画に合うように拡大する方法の一例を説明するための図である。 本発明の別の実施形態に従うイメージ合成方法を説明するためのフローチャートである。 本発明の一実施形態に従うマガジンビューを示す図である。 本発明の別の実施形態に従う原本イメージからターゲットイメージを抽出する方法を説明するためのフローチャートである。 ターゲットイメージの領域を計算する方法の別の例を説明するための図である。 ターゲットイメージの領域を計算する方法の別の例を説明するための図である。 ターゲットイメージの領域を計算する方法の別の例を説明するための図である。 本発明の一実施形態に従うタイルビューを示す図である。 本発明の一実施形態に従うタイルビューを示す図である。 本発明の一実施形態に従うタイルビューを示す図である。
以下、本発明に従うイメージ合成方法及び電子装置について詳細に説明する。以下で使われる用語や単語は、通常的または辞典的な意味に限定して解釈されてはならず、本発明の技術的思想に符合する意味と概念として解釈されなければならない。したがって、以下の説明と添付した図面は、本発明の好ましい実施形態に過ぎないものであり、本発明の技術的思想を全て代弁するものではないので、本出願時点においてこれらを置き換えることができる多様な均等物と変形例がありうる。また、添付の図面で一部の構成要素は、誇張、省略、または概略的に図示され、各構成要素のサイズは実際のサイズを全的に反映するものでない。したがって、本発明は添付した図面に描かれた相対的なサイズや間隔により制限されるものではない。本発明と関連した公知機能または構成に対する具体的な説明が本発明の要旨を曖昧にすることがあると判断される場合、その詳細な説明は省略する。
本発明において、電子装置は、イメージを1つに合成して表示するものであって、例えば、スマートフォン、タブレットPC、ノートブックPC、ディジタルカメラ、PDA(Personal Digital Assistant)、電子手帳、デスクトップPC、PMP(Portable Multimedia Player)、メディアプレーヤー(Media Player)(例えば、MP3プレーヤー)、携帯ゲーム端末、表示部を有する家電機器(例:冷蔵庫、TV、洗濯機)などである。
本発明において、原本イメージは編集の対象となるイメージである。原本イメージのファイル形式(file format)は、例えばTIFF(Tagged Image File Format)やJPEGである。本発明において、ターゲットイメージはフレームの区画に位置するようになるイメージを意味する。ターゲットイメージは、原本イメージの一部である。勿論、原本イメージ自体がターゲットになることもある。特に、ターゲットイメージはオブジェクト(例:人物、事物など)を含む。ここで、“フレーム”は、マガジンビュー、表紙、タイルビュー(Tile view)、多角形基盤の飾り枠組などと称される。特に、フレームは、該当合成イメージがイメージフォルダを代表するイメージに使われる場合、マガジンビューや表紙と称される。
本発明の電子装置は、オブジェクトが含まれたターゲットイメージを原本イメージから抽出するために、タグ情報を用いることができる。タグ情報は、イメージに関連付けられた付加情報を意味し、そのファイル形式は、例えばExif(exchangeable image file format)である。例えば、タグ情報は、オブジェクトの位置情報(例えば、隅のXY座標)とオブジェクトの識別情報(例えば、人物の名前、アドレス、及び電話番号、事物の名称など)を含むことができる。その他にもタグ情報は、該当イメージを撮影したカメラの製造社(Maker)、カメラモデル(Model)名称、イメージエディター(Software)の情報、写真を補正した日付(Datetime)、Exifバージョン(Exif Version)、該当イメージを撮影した日付(Shoot Datetime)、コントラスト、解像度、ウェブにアップロードされた該当イメージの実際サイズ(Image Size)、露出時間(Exposure Time:シャッタースピード)、撮影プログラム(Exposure Program)、レンズ焦点長さ(Focal Length)、絞り開放数値(F-Number)、位置情報(例:GPS情報)、フラッシュ使用の有無などをさらに含む。
本発明の電子装置は、周知の多様なイメージ認識技法を用いて、イメージに対して多様な情報をタグ付け(tagging)することができる。即ち、電子装置はイメージと関連したタグ情報を生成することができる。タグ情報の生成方法の一例は、次の通りである。
電子装置は、イメージからオブジェクトを認識する。ここで、イメージは、電子装置に格納されているイメージ、カメラにより撮影されたイメージ、ネットワークを介して外部装置(例:ウェブサーバ)から受信したイメージ、または多数のイメージが合成されたイメージでありうる。電子装置は、例えば、カメラのシャッターイベントに応答してオブジェクトの認識を始めることができる。また、電子装置は外部からイメージの受信に応答してオブジェクトの認識を始めることもできる。オブジェクトの認識には、周知の多様な認識技法が利用できる。人物認識には、人物の顔、半身、全身、または姿勢を認識する多様な技法が利用できる。そして、このような人物認識技法には、アドレスリスト、ソーシャルネットワーク(social network)関連アプリケーションなどが利用できる。例えば、アドレスリストやアプリケーションの友人リストに登録された人物の写真が人物認識に用いられる。事物認識には、位置情報(例:GPS(Global Positioning System)情報、及びマップ(map)情報)に基づいた多様な技法が利用できる。
電子装置は、オブジェクトの位置情報を生成する。ここで、位置情報は、該当イメージでオブジェクトがどの領域に位置するかを表す情報を含む。電子装置は、位置情報をタグ情報としてイメージにタグ付けする。タグ情報は、イメージに結合されて格納されることもでき、別途に格納されることもできる。
図1a及び図1bは、タグ情報の生成方法の一例を説明するための図である。
図1a及び図1bを参照すると、電子装置はイメージに含まれたオブジェクトを認識する。例えば、1つのイメージで2つのオブジェクト110,120が認識された場合が図示される。オブジェクト110,120が認識されれば、電子装置はオブジェクト110,120の各々の位置情報130を生成する。
一例として、オブジェクトの位置情報は、図1aに示すように、該当オブジェクトを含む矩形の左上隅座標と右下隅座標を含む。例えば、左上隅座標は、第1オブジェクト110の場合は(x1,y1)であり、第2オブジェクト120の場合は(x3,y3)である。右下隅座標は、第1オブジェクト110の場合は(x2,y2)であり、第2オブジェクト120の場合は(x4,y4)である。
別の例では、オブジェクトの位置情報は、図1bに示すように、該当オブジェクトを含む矩形の4隅のうちの1つの座標と、これを基準とした幅(X軸長さ)と高さ(Y軸長さ)とを含む。例えば、第1オブジェクト110の位置情報は、(x1,y1)、左右長さα1及び上下長さβ1を含む。第2オブジェクト120の位置情報は、(x3,y3)、左右長さα2及び上下長さβ2を含む。
位置情報は、上記の実施形態に限定されるものではない。更に別の例では、位置情報は該当オブジェクトと背景の境界を表す座標を含むこともできる。
各オブジェクト110,120の位置情報が決定されれば、電子装置は位置情報をタグ情報として該当イメージにタグ付けする。また、電子装置は、周知の認識技法を用いて各オブジェクト110,120の名称を生成し、これをタグ情報として該当イメージにタグ付けする。電子装置は、位置情報及び名称の他にも多様な情報をタグ情報として該当イメージにタグ付けすることができる。
図2は、本発明の一実施形態に従う携帯端末のブロック構成図である。
図2を参照すると、本発明の一実施形態に従う携帯端末200は、表示部210、キー入力部220、格納部230、無線通信部240、オーディオ処理部250、スピーカーSPK、マイクMIC、カメラ260、GPS受信部270、及び制御部280を含んでなされる。
表示部210は、制御部280の制御下でデータ(例:イメージ)を画面に表示する。即ち、制御部280がデータを処理(例えば、デコード(decode))してバッファに格納すれば、表示部210はバッファに格納されたデータをアナログ信号に変換して画面に表示する。表示部210に電源が供給されれば、表示部210はロックイメージを画面に表示する。ロックイメージが表示されている状態でロック解除情報が検出されれば、制御部280はロックを解除する。表示部210は、制御部280の制御下でロックイメージの代わりに、例えばホームイメージを表示する。ホームイメージは、背景(background)イメージ(例えば、ユーザにより設定された写真)と、この上に表示される多数のアイコンを含む。ここで、アイコンは各々アプリケーションまたはコンテンツ(例:写真、ビデオ、音声ファイル、文書、メッセージなど)を指示する。アイコンのうちの1つ、例えばアプリケーションアイコンがユーザにより選択されれば、制御部280は該当アプリケーションを実行する。ここで、ホームイメージはホームスクリーン(画面)と称されることもできる。また、ロックイメージはロックスクリーン(画面)と称されることもできる。
表示部210は、制御部280からアプリケーションの実行イメージを受信し、アナログ信号に変換して出力する。
表示部210は、制御部280の制御下で、イメージを多層(multi-layer)構造で画面に表示する。例えば、表示部210は、写真を画面に表示し、タグ情報をその上に表示する。
表示部210は、液晶表示装置(Liquid Crystal Display:LCD)、AMOLED(Active Matrix Organic Light Emitted Diode)、フレキシブルディスプレイ(Flexible display)、または透明ディスプレイからなることができる。
タッチパネル211は、表示部210の画面に設置される。具体的には、タッチパネル211は、表示部210の画面に位置するアドオンタイプ(add-on type)や表示部210内に挿入されるオンセルタイプ(on-cell type)、またはインセルタイプ(in-cell type)で具現される。
タッチパネル211は、画面に対するユーザのジェスチャーに応答してタッチイベントを発生させ、タッチイベントをA/D(Analog to Digital)変換して制御部280に伝達する。ここで、タッチイベントは1つ以上のタッチ座標(x,y)を含む。例えば、タッチパネル211のタッチIC(Integrated Circuit)は、ユーザのタッチを検出し、タッチに応答してタッチ領域を決定し、タッチ領域に含まれたタッチ座標(x,y)を制御部280に伝達する。ここで、タッチ座標はピクセル単位である。例えば、画面の解像度が640(横ピクセルの個数)*480(縦ピクセルの個数)の場合、X軸座標は(0,640)であり、Y軸座標は(0,480)である。制御部280は、タッチパネル211からタッチ座標が受信される場合、タッチ入力機構(例:指やペン)がタッチパネル211にタッチしたと決定し、タッチパネル211からタッチ座標が受信されない場合、タッチ入力機構のタッチが解除されたと決定する。また、制御部280は、タッチされた座標が例えば、(x0,y0)から(x1,y2)に変化し、その変化量(例えば、D(D2=(x0−x1)+(y0−y1))が予め設定された“移動しきい値(例えば、1ミリメートル)”を超過する場合、タッチ入力機構の動きが発生したと決定する。制御部280は、タッチ入力機構の移動に応答してタッチ入力機構の位置変化量(dx,dy)及びタッチ入力機構の移動速度などを算出する。制御部280は、タッチ座標、タッチ入力機構のタッチ解除の有無、タッチ入力機構の移動の有無、タッチ入力機構の位置変化量、及びタッチ入力機構の移動速度などに基づいて、画面に対するユーザのジェスチャーをタッチ、マルチタッチ、タップ(Tap)、ダブルタップ(Double Tap)、ロングタップ(Long tap)、タップアンドタッチ(Tap & touch)、ドラッグ(Drag)、フリック(Flick)、プレス(Press)、ピンチイン(pinch in)、及びピンチアウト(pinch out)などのうち、いずれか1つに決定する。
タッチはユーザがタッチ入力機構を画面に接触させるジェスチャーであり、マルチタッチは多数のタッチ入力機構(例:親指と人差し指)を画面に接触させるジェスチャーであり、タップは画面のある一地点にタッチ入力機構がタッチした後、移動無しで該当地点でタッチ解除(touch-off)されるジェスチャーであり、ダブルタップはある一地点を連続して2回タップするジェスチャーであり、ロングタップはタップより相対的に長くタッチした後、タッチ入力機構の移動無しで該当地点でタッチ入力機構のタッチを解除するジェスチャーであり、タップアンドタッチは画面のある地点をタップした後、該当地点を所定時間(例:0.5秒)以内に再度タッチするジェスチャーであり、ドラッグはある一地点をタッチした状態でタッチ入力機構を所定の方向に移動させるジェスチャーであり、フリックはドラッグに比べてタッチ機構を早く移動させた後、タッチ解除するジェスチャーであり、プレスはある一地点をタッチした後、所定の時間(例:2秒)以上移動無しでタッチを維持するジェスチャーであり、ピンチインは2つのタッチ入力機構で2つの地点を同時にマルチタッチした後、タッチ機構の間隔を狭めるジェスチャーであり、ピンチアウトはタッチ入力機構の間隔を広げるジェスチャーである。即ち、タッチはタッチパネル211に接触(contact)したことを意味し、その他のジェスチャーはタッチの変化を意味する。
タッチパネル211は、手ジェスチャーを感知する手タッチパネルと、ペンジェスチャーを感知するペンタッチパネルとを含んで構成された複合タッチパネルでありうる。ここで、手タッチパネルは、静電容量方式(capacitive type)で具現される。勿論、手タッチパネルは、抵抗膜方式(resistive type)、赤外線方式、または超音波方式で具現されることもできる。また、手タッチパネルは、手ジェスチャーのみによりタッチイベントを発生させるものではなく、他の物体(例:静電容量変化を加えることができる伝導性材質の物体)によってもタッチイベントを生成することができる。ペンタッチパネルは、電子誘導方式(electromagnetic induction type)により構成できる。これによって、ペンタッチパネルは磁場が形成できるように特殊製作されたタッチ用ペンによりタッチイベントを生成する。特に、ペンタッチパネルで生成されるタッチイベントは、タッチ座標と共に、タッチの種類を表す値を含む。例えば、制御部280は、ペンタッチパネルから第1電圧レベル値が受信された場合、タッチ入力機構のタッチを間接タッチ(ホバリング(hovering)とも称される)に決定する。制御部280は、タッチパネル211から第1電圧レベルより大きい第2電圧レベル値が受信された場合、タッチ入力機構のタッチを直接タッチに決定する。また、ペンタッチパネルで生成されるタッチイベントは、ペンに設置されたキーが押されたか否かを表す値をさらに含むことができる。例えば、ペンに設置されたキーが押されれば、ペンのコイルで発生する磁場が変化し、磁場の変化に応答してペンタッチパネルは、第3電圧レベル値を発生させ、これを制御部280に伝達する。
キー入力部220は、少なくとも1つのタッチキーを含むことができる。タッチキーは、ユーザのタッチを感知するために静電容量方式や抵抗膜方式などで具現される。タッチキーは、ユーザのタッチに応答してイベントを発生させ、これを制御部280に伝達する。また、タッチキーは画面に隣接するように(例えば、画面の下段に)設置できる。例えば、制御部280は、第1タッチキー(メニュー呼び出しキー)のイベントに応答してメニューを画面の下段に表示するように表示部210を制御する。また、制御部280は、第2タッチキー(戻しキー)のイベントに応答して以前のイメージを表示するように表示部210を制御する。例えば、写真の上にタグ情報が表示されている状態で第2タッチキーイベントが発生すれば、タグ情報の表示は終了し、写真のみ表示される。
また、キー入力部220はタッチ方式の他の方式のキーをさらに含んでなされることができる。例えば、キー入力部220は少なくとも1つのドーム(dome)キーを含んでなされることができる。ユーザがドームキーを押せば、ドームキーが変形されて印刷回路基板に接触し、これによって、印刷回路基板でキーイベントが発生して制御部280に伝達される。このようなドームキーは、携帯端末200の側面に設置されることもでき、画面に隣接するように(例えば、画面の下段に)設置されることもできる。このようなキーイベントは、電源オン/オフイベント、ボリューム調節イベント、画面オン/オフイベント、またはシャッターイベントなどである。制御部280は、このようなキーイベントに応答して上記の構成を制御する。一方、キー入力部220のキーはハードキー(hard key)と称され、表示部210に表示される仮想のキーはソフトキー(soft key)と称される。
格納部(secondary memory unit)230は、ディスク、RAM、ROM、またはフラッシュメモリなどで構成される。格納部230は、制御部280の制御下で、携帯端末200で生成されたり、無線通信部240を介して外部装置(例:サーバ、デスクトップPC、タッブレットPCなど)から受信したりしたデータを格納する。例えば、格納部230は、連絡先情報(231−_1から231_N)、イメージ(232_1から232_N)、地図(map)情報233、及び優先順位情報234を格納する。連絡先情報(231_1から231_N)は各々、名前、アドレス、eメール、プロフィール写真、趣味、ユーザとの関係(例えば、友人、家族、会社など)、電話番号などを含むことができる。イメージ(232_1から232_N)は各々、タグ情報を含むことができる。特に、タグ情報にはオブジェクトの位置情報が含まれることができる。また、タグ情報には前述した多様な情報がさらに含まれることができる。
また、格納部230は、複写及び貼り付け(copy & paste)などのためにユーザがメッセージ、写真、ウェブページ、文書などから複写したデータを臨時格納する。また、格納部230は、携帯端末200の動作のための多様な設定値(例:画面明るさ、タッチ発生時の振動の有無、画面の自動回転の有無など)を格納する。
格納部230は、ブートプログラム、少なくとも1つ以上のオペレーティングシステム(OS)及びアプリケーションを格納する。OSは、ハードウェアとアプリケーションとの間、そしてアプリケーションの間のインターフェースの役割をし、CPU、GPU、メインメモリ、及び格納部230などのコンピュータ資源を管理する。アプリケーションは、エンベデッドアプリケーション(embedded application)とサードパーティアプリケーション(3rd party application)とに分類される。例えば、エンベデッドアプリケーションは、ウェブブラウザー(Web browser)、eメール(email)プログラム、インスタントメッセンジャー(instant messenger)などである。特に、格納部230は、イメージ認識アプリケーション135、タグ情報生成アプリケーション136、及びイメージ編集アプリケーション137を格納することができる。
無線通信部240は、制御部280の制御下で、ネットワークを介して外部装置と音声通話、画像通話、またはデータ通信を遂行する。無線通信部240は、送信される信号の周波数をアップコンバート及び増幅する無線周波数送信部と、受信される信号の周波数を低雑音増幅及びダウンコンバートする無線周波数受信部とを含む。また、無線通信部130は、移動通信モジュール(例えば、第3世代(3-Generation)移動通信モジュール、第3.5世代(3.5-Generation)移動通信モジュール、または第4世代(4-Generation)移動通信モジュールなど)、ディジタル放送モジュール(例えば、DMBモジュール)、及び近距離通信モジュール(例:ワイファイ(Wi-Fi)モジュール、Bluetooth(登録商標)モジュール、NFC(Near Field Communication)モジュール)を含む。
オーディオ処理部250は、スピーカーSPK及びマイクMICと結合して音声認識、音声録音、ディジタルレコーディング(recording)、及び通話のためのオーディオ信号(例:音声データ)の入力及び出力を遂行する。オーディオ処理部250は、制御部280からオーディオ信号を受信し、受信したオーディオ信号をアナログにD/A変換し増幅した後、スピーカーSPKに出力する。オーディオ処理部250は、マイクMICから受信したオーディオ信号をディジタルにA/D変換した後、制御部280に提供する。スピーカーSPKは、オーディオ処理部250から受信したオーディオ信号を音波(sound wave)に変換して出力する。マイクMICは、人やその他の音源(sound source)から伝達された音波をオーディオ信号に変換する。
カメラ260は、制御部280の制御下で、被写体を撮影して制御部280に出力する機能を遂行する。具体的には、カメラ260は、光を集めるためのレンズと、このような光を電気的な信号に変換するイメージセンサと、イメージセンサから入力される電気信号をロウデータ(raw data)として処理して制御部280に出力するISP(Image Signal Processor)を含むことができる。ここで、ISPは、制御部280の制御下で、ロウデータをプレビューイメージに加工して制御部280に出力する。すると、制御部280は、プレビューイメージを画面に表示するように表示部210を制御する。また、ISPは、制御部280の制御下で、ロウデータを圧縮イメージ(例えば、JPEG)に加工して制御部280に出力する。制御部280は、タッチパネル211またはキー入力部220からシャッターイベント(例:ユーザが表示部210に表示されたシャッターボタンをタップ)を検出し、シャッターイベントに応答して圧縮イメージを格納部230に格納する。一方、このようなISPは、カメラ260でない制御部280、例えばAPに備えられることができる。また、本発明の携帯端末200はデュアルカメラを備えることもできる。例えば、第1カメラは携帯端末200の後面に配置され、第2カメラは画面と共に前面に配置できる。勿論、2つのカメラとも同一な面に配置されることもできる。
GPS受信部270は、制御部280の制御によって、3個以上のGPS衛星が送信した送信時間を含むGPS信号を受信し、送信時間とGPS信号が受信された受信時間の時間差を用いてGPS受信部270(即ち、携帯端末200)と各々の衛星の間の距離を計算し、このように計算された距離情報を用いて携帯端末200の位置、即ち2次元座標値(緯度/軽度)を計算し、計算された位置情報を制御部280に伝達する。ここで、このような計算機能は、制御部280、例えばAPで遂行されることもできる。
制御部280は、携帯端末200の全般的な動作及び携帯端末200の内部構成の間の信号流れを制御し、データを処理する機能を遂行し、バッテリーから上記構成への電源供給を制御する。
制御部280は、1つ以上の中央処理ユニット(Central Processing Unit:CPU)を含む。周知の通り、CPUはデータの演算及び比較と、命令語の解釈及び実行などを遂行するコンピュータシステムの核心的な制御ユニットである。CPUは、データや命令を一時格納する各種レジスタを含む。制御部280は、1つ以上のグラフィック処理ユニット(Graphic Processing Unit:GPU)を含むことができる。GPUは、CPUの代わりをして、グラフィックと関連したデータの演算及び比較と、命令語の解釈及び実行などを遂行するグラフィック制御ユニットである。CPUとGPUは、各々2つ以上の独立コア(例:クァッドコア(quad-core))が単一集積回路からなる1つのパッケージ(package)に統合できる。即ち、CPUは1つのマルチコアプロセッサに統合されたものでありうる。また、多数のGPUも1つのマルチコアプロセッサに統合されたものでありうる。また、CPUとGPUは1つのチップに統合(SoC:System on Chip)されたものでありうる。また、CPUとGPUはマルチレイヤ(multilayer)にパッケージング(packaging)されたものでありうる。一方、アプリケーションプロセッサ(Application Processor:AP)はCPU及びGPUを含むことができる。延いては、APはISPをさらに含んで構成されることもできる。
制御部280は、メインメモリ(main memory unit)、例えばRAMを含む。メインメモリは、格納部230からロードされた各種プログラム、例えばブートプログラム、OS、及びアプリケーションを格納する。制御部280にバッテリーの電源が供給されれば、まずブートプログラムが制御部280のメインメモリ(main memory unit)にロード(load)される。このようなブートプログラムは、OSをメインメモリにロードする。OSは、アプリケーションをメインメモリにロードする。制御部280(例えば、AP、CPU)は、このようなメインメモリに格納されたプログラムにアクセスしてプログラムの命令を読み取って、読取結果に従う機能(例えば、人物認識、事物認識、タグ情報生成、イメージ編集)を実行する。また、制御部280は、格納部230に記録(write)するデータを臨時格納し、格納部230から読み取った(read)データを臨時格納するキャッシュメモリを含むことができる。
制御部280は、タグ情報を生成するために連絡先情報及び地図情報を用いることができる。例えば、オブジェクトが山であると認識された場合、制御部280は、GPS情報とマップ情報とを用いて山の名称を探り出して、これを該当オブジェクトのイメージにタグ付けする。オブジェクトが顔であると認識された場合、制御部280は、プロフィール写真と比較して顔の人物の名前を探り出して、これを該当オブジェクトのイメージにタグ付けする。
制御部280は、イメージ(232_1から232_N)のうち、編集の対象を選定するためにタグ情報及び優先順位情報234を用いることができる。例えば、イメージ合わせの主題(例えば、イメージフォルダの名称)が‘山’の場合、制御部280は、イメージ(232_1から232_N)各々のタグ情報を確認して、イメージ(232_1から232_N)のうち、‘山’と関連したイメージを1次選択する。次に、制御部280は、優先順位情報234を参照して1次選択されたイメージのうち、編集対象を最終選択する。例えば、優先順位情報234が次の<表1>の通りであれば、制御部280はオブジェクトの名称が主題と関連したイメージを1次選択する。1次選択されたイメージの数が多い場合(例えば、区画の数より多い場合)、制御部280は、1次選択されたイメージのうち、最近に撮影した写真を、例えば区画の数だけ最終選択する。1次選択されたイメージの数が足りない場合、制御部280は、1次選択過程で除外された残のうち、最近に撮影した写真を足りない数だけさらに選択する。
Figure 2014207672
また、制御部280はイメージを1つに合成して表示する。これと関連して以下に具体的に説明する。
一方、携帯端末200は、イヤージャック、振動モータ、加速度センサ、アクセサリーなどのように、上記で言及していない構成をさらに含むことができる。ここで、アクセサリーは、携帯端末200から分離可能な携帯端末200の付属品であって、例えばタッチのためのペンになることができる。
図3は、本発明の一実施形態に従うイメージ合成方法を説明するためのフローチャートである。図4は、イメージ選択方法の一例を説明するための図である。図5aは、フレーム選択方法の一例を説明するための図である。図5bは、イメージとフレームの区画をマッピングする方法の一例を説明するための図である。図5cは、オブジェクトと区画をマッピングする方法の一例を説明するための図である。図5dは、ターゲットイメージの抽出方法の一例を説明するための図である。図5eは、ターゲットイメージの抽出方法の別の例を説明するための図である。図5fは、ターゲットイメージで埋められたフレームを示す図である。
図3を参照すると、ステップ310で、制御部280は、イメージ編集アプリケーション237の実行を要請するイベント(例えば、画面に表示された該当アイコンをユーザがタップ)がタッチパネル211から検出されるか否かを決定する。イメージ編集アプリケーション237の実行要請イベントが検出された場合、制御部280は、イメージ編集アプリケーション237の実行イメージ(例えば、サムネイル)を表示するように表示部210を制御する。
ステップ320で、制御部280は原本イメージの選択をタッチパネル211から検出する。例えば、図4を参照すると、表示部210は、制御部280の制御下で、イメージの各々に該当するサムネイルを表示する。サムネイルがユーザにより選択(例えば、タップ)されれば、制御部280は、410のような識別子を該当サムネイルの上に表示するように表示部210を制御する。また、制御部280は、選択されたサムネイルをそうでないものと区別できるように(例えば、ぼやかして表示するように)表示部210を制御する。
選択完了ボタン420のタップが検出されれば、制御部280は、フレームの各々に該当するサムネイルを表示するように表示部210を制御する。この際、区画の個数は選択された原本イメージの数と同一でありうる。例えば、選択された原本イメージが8個の場合、図5aに示すように、8個の区画を有するフレームのサムネイルが表示される。勿論、9個以上の区画を有するフレームのサムネイルが表示されることもできる。例えば、原本イメージが選択されれば、制御部280は原本イメージのタグ情報にアクセスしてオブジェクトの個数を確認することができる。原本イメージが8個であり、これらのうちの1つがオブジェクトを2つ持っていることと確認され、残りは1つずつだけ持っていることと確認されれば、制御部280はオブジェクトの総数が9個であることを認識する。すると、表示部210は、制御部280の制御下で、9個の区画を有するフレームのサムネイルを表示することができる。
タグ情報でオブジェクトの個数が確認できない場合、制御部280はイメージ認識技法を用いて該当原本イメージでオブジェクトの個数を認識することもできる。ここで、オブジェクトの個数は制御部280が認識した値である。例えば、写真に多数の人物が隣接している場合、制御部280は多数の人物を1つのオブジェクトとして認識することができる。勿論、多数の人物が隣接していても制御部280は多数の人物を各々識別することができる。そのような場合、各々の人物が各々1つのオブジェクトでありうる。
フレームのサムネイルのうち、いずれか1つが選択(例えば、ユーザが510をタッチする)されれば、ステップ340で制御部280は、図5bに示すように、選択された原本イメージ(521から528)をフレームの区画に各々一対一マッピングすることができる。または、ステップ340で制御部280は、図5cに示すように、認識されたオブジェクト(531から534)をフレームの区画に各々一対一マッピングすることもできる。ここで、一対一マッピングは多様な方式が利用できる。例えば、制御部280は任意の通り一対一マッピングすることができる。または、制御部280はオブジェクトのサイズと区画のサイズを基準に一対一マッピングすることもできる。例えば、制御部280はオブジェクトのサイズと各区画のサイズを計算する。制御部280は、計算の結果、オブジェクトのうちの最も大きいオブジェクトを、区画のうちの最も大きい区画にマッピングすることができる。即ち、このようにサイズ順にオブジェクトが各区画に一対一マッピングできる。
ステップ350で、制御部280はターゲットイメージを該当原本イメージから各々抽出する。ここで、1つの原本イメージから1つのターゲットイメージが抽出されることもでき、または多数のターゲットイメージが抽出されることもできる。例えば、図5dを参照すると、各々オブジェクト1つずつを有するターゲットイメージ541,542が1つの原本イメージ540から抽出できる。図5eを参照すると、1つの原本イメージ550から1つのターゲットイメージ551が抽出されることもできる。この際、ターゲットイメージは複数のオブジェクト551a,551bを有することができる。一方、抽出方法の具体的な例示は、図6を参照して具体的に説明する。
ステップ360で、制御部280は、ターゲットイメージを一対一マッピング関係にある区画に各々表示するように表示部210を制御する。図5fを参照すると、オブジェクトが各々該当区画に表示される。制御部280は、タッチジェスチャーに応答してターゲットイメージの表示を制御することができる。例えば、区画のうち、いずれか1つにピンチインが検出されれば、制御部280は該当区画内のイメージを縮小する。ピンチアウトが検出されれば、制御部280は該当区画内のイメージを拡大する。ドラッグが検出されれば、制御部280は該当区画内のイメージをドラッグの方向に移動させる。即ち、ドラッグによりオブジェクトの表示位置が変更される。ダブルタップが検出されれば、制御部280は該当区画内のイメージを左右に反転させる。タッチ入力機構のタッチが検出されてからタッチ入力機構の回転が検出されれば、制御部280は該当区画内のイメージを回転させる。
ステップ370で、制御部280はターゲットイメージで埋められたフレームを1つの合成イメージとして格納する。
以上、イメージ合成は、前述したように、原本イメージが一括的に選択された後、遂行できる。また、原本イメージにタグ付けされたイメージが選択できる。例えば、図4を参照すると、表示されたサムネイルのうち、いずれか1つが選択された後、タグオプションボタン430のタップが検出されれば、制御部280は、選択されたサムネイルの原本イメージにタグ付けされたイメージのサムネイルを表示するように表示部210を制御することができる。以後、表示されたサムネイルのうちから一部(または、全部)が選択され、選択された一部に該当するタグ付けイメージが先に選択された原本イメージと一緒に合成され、その結果が表示できる。
図6は、本発明の一実施形態に従う原本イメージからターゲットイメージを抽出する方法を説明するためのフローチャートである。図7及び図8は、ターゲットイメージを該当区画に合うように縮小する方法の一例を説明するための図である。図9a及び図9bは、ターゲットイメージの領域を計算する方法の一例を説明するための図である。図10a及び図10bは、ターゲットイメージを該当区画に合うように拡大する方法の一例を説明するための図である。
図6を参照すると、ステップ610で、制御部280は原本イメージのタグ情報にオブジェクトの位置情報が含まれているか否かを決定する。タグ情報にオブジェクトの位置情報が含まれている場合、プロセスはステップ650に進行される。
タグ情報にオブジェクトの位置情報が含まれていない場合、ステップ620で、制御部280は原本イメージでオブジェクトを認識する。オブジェクトの認識が成功した場合、ステップ630で、制御部280は、認識されたオブジェクトの位置情報(例えば、該当オブジェクトを含む矩形の左上隅座標と右下隅座標)を生成し、これを原本イメージにタグ付けする。タグ付け後、プロセスはステップ650に進行される。
オブジェクトの認識が失敗した場合、ステップ640で、制御部280は原本イメージとマッピング関係にある区画に入るターゲットイメージを原本イメージから任意に抽出する。この際、ターゲットイメージには、オブジェクトの認識が失敗したので、オブジェクト(例:顔)の一部のみ含まれるか、またはオブジェクトが含まれないことがある。
ステップ650で、制御部280は原本イメージの縮小の要否を決定する。縮小が必要でない場合、即ち、オブジェクトの高さH1が該当区画の高さH2より小さく、オブジェクトの幅W1が該当区画の幅W2より小さい場合、プロセスはステップ670に進行される。
H1>H2またはW1>W2の場合、ステップ660で、制御部280は次のような方法を用いて原本イメージを縮小する。図7を参照すると、W1/H1<W2/H2の場合、制御部280はW1がWf(=(W1*H2)/H1)に縮小されるように原本イメージを縮小する。図8を参照すると、W1/H1>W2/H2の場合、制御部280はH1がHf(=(W2*H1)/W1)に縮小されるように原本イメージを縮小する。原本イメージの縮小後、プロセスはステップ670に進行される。
ステップ670で、制御部280は原本イメージとマッピング関係にある区画に入るターゲットイメージを原本イメージから抽出する。ここで、ターゲットイメージは少なくとも1つ以上のオブジェクトを含む。イメージ抽出方法の一例は、次の通りである。
図9a及び図9bを参照すると、原本イメージ910は、フレーム920の第1区画921とマッピング関係にある。第1区画921の形状は、図示したように非長方形(即ち、内角のうちの少なくとも1つが直角でない四角形)である。原本イメージ910は顔オブジェクト911aを含み、該当タグ情報は顔オブジェクト911aの位置情報(x1,y1)及び(x2,y2)を含む。顔オブジェクト911aの高さは第1区画921の高さより小さく、顔オブジェクト911aの幅は第1区画921の幅より小さい。したがって、顔オブジェクト911aの縮小は必要でない。
このような仮定下で、制御部280は、まず、第1区画921より大きい長方形(即ち、内角が全て直角の四角形)922を生成する。仮に、第1区画921の形状が長方形の場合、このような生成は省略する。制御部280は、顔オブジェクト911aが長方形922の中心にくるように長方形922を原本イメージ910の上に位置させる。次に、制御部280は長方形922内にあるターゲットイメージ911を原本イメージ910から抽出する。次に、制御部280は、ターゲットイメージ911の中心を第1区画921の中心に合せてから、第1区画921を外れる部分911b,911cを遮る。または、制御部280は第1区画921から外れる部分911b,911cを切り取ることもできる。
一方、原本イメージでオブジェクトが外方に片寄っている場合がありうる。このような原本イメージに対して前述したイメージ抽出方法が遂行される場合、該当区画がイメージで全て埋められず、空いた空間が生じることがある。即ち、イメージ抽出が完了した後、ステップ680で制御部280は該当区画に空いた空間が生じるか否かを決定する。空いた空間が生じる場合、ステップ690で制御部280は空いた空間が埋められるようにターゲットイメージを拡大する。このような拡大方法の一例は、次の通りである。
図10aから図10cを参照すると、原本イメージ1010は、フレーム1020の第1区画1021とマッピング関係にある。第1区画1021の形状は図示したように非長方形である。原本イメージ1010は、顔オブジェクト1011aを含み、該当タグ情報は顔オブジェクト1011aの位置情報(x1,y1)及び(x2,y2)を含む。顔オブジェクト1011aの高さは第1区画1021の高さより小さく、顔オブジェクト1011aの幅は第1区画1021の幅より小さい。したがって、顔オブジェクト1011aの縮小は必要でない。
このような仮定下で、制御部280は、まず、第1区画1021を含む長方形1022を生成する。仮に、第1区画1021の形状が長方形の場合、このような生成は省略する。制御部280は、顔オブジェクト1011aが長方形1022の中心にくるように長方形1022を原本イメージ1010の上に位置させる。次に、制御部280は長方形922内にあるターゲットイメージ1011を原本イメージ1010から抽出する。次に、制御部280は、ターゲットイメージ1011の中心を第1区画1021の中心に合せてから、第1区画1021から外れる部分1011bを遮ったり、切り取ったりする。しかしながら、図10bに示すように、第1区画1021に幅(W1−Wm)と高さH1を有する空いた空間1021aが生じる。このように、空いた空間1021aが生じれば、制御部280は第1区画1021が全て埋められるようにターゲットイメージ1011を拡大する。次に、制御部280は、図10cに示すように、拡大されたターゲットイメージ1012で第1区画1021から外れる部分1012aを遮ったり、切り取ったりする。
一方、携帯端末200に格納されたイメージはフォルダ別に管理できる。フォルダは、他の用語、例えばグループと称されることもできる。このようなフォルダの名称はユーザにより定めることができる。また、フォルダの表紙(cover)、即ちイメージを代表するマガジンビュー(magazine view)が生成できる。本発明に従うマガジンビューはその下位イメージを1つに合成して作ったイメージでありうる。したがって、ユーザはマガジンビューが何かを直観的に認知することができる。例えば、ユーザはマガジンビューの該当下位イメージが如何なる主題に縛られているかを直観的に認知することができる。マガジンビューは、他の用語、例えばフレーム、タイルビュー、表紙などと称されることもできる。
表示部210は、制御部280の制御下で、マガジンビューを表示することができる。このように表示されたマガジンビューがユーザにより選択(例えば、タップ)されれば、制御部280は、その下位イメージをサムネイル形態で表示するように表示部210を制御することができる。
ユーザは、イメージをフォルダから他のフォルダに移動させることができる。また、ユーザはイメージをフォルダから削除することもできる。また、ユーザはイメージをフォルダに追加することもできる。勿論、このような移動、削除、追加などのようなイメージフォルダのアップデートは自動で(即ち、ユーザ入力無しで)なされることもできる。例えば、イメージが撮影されれば、制御部280は該当タグ情報(例:撮影場所)と関連したフォルダにイメージを追加する。このようなアップデートが発生すれば、マガジンビューも新しくアップデートできる。このようなアップデート方法の一例を図11から図14を参照して説明する。
図11は、本発明の別の実施形態に従うイメージ合成方法を説明するためのフローチャートである。図12は、本発明の一実施形態に従うマガジンビューを示す図である。
図11を参照すると、ステップ1110で、制御部280はイメージフォルダがアップデートされたか否かを決定する。イメージフォルダがアップデートされた場合、ステップ1120で、制御部280は<表1>のような優先順位情報に基づいてイメージフォルダから原本イメージを選択する。
ステップ1130で、制御部280は選択された原本イメージをマガジンビューの区画に各々一対一にマッピングすることができる。または、ステップ1130で制御部280は認識されたオブジェクトをマガジンビューの区画に各々一対一マッピングすることもできる。マガジンビューにおいて、各区画は、図12に示すように、互いに重畳できる。勿論、図5に示すように、重畳されないこともある。一方、一対一マッピングは多様な方式が利用できる。例えば、制御部280は任意の通り一対一マッピングすることができる。または、制御部280はオブジェクトのサイズを基準に一対一マッピングすることもできる。即ち、オブジェクトの縮小が最小化する方向に一対一マッピングされることもできる。
ステップ1140で、制御部280はターゲットイメージを該当原本イメージから各々抽出する。ここで、1つの原本イメージから1つのターゲットイメージが抽出されることもでき、または多数のターゲットイメージが抽出されることもできる。1つのターゲットイメージは、複数のオブジェクトを有することができる。勿論、ターゲットイメージは1つのオブジェクトのみ有することもできる。一方、抽出方法の具体的な例示は、図13を参照して具体的に説明する。
ステップ1150で、制御部280は、ターゲットイメージを一対一マッピング関係にある区画に各々表示するように表示部210を制御する。
ステップ1160で、制御部280はターゲットイメージで埋められたマガジンビューを該当イメージフォルダの表紙として格納する。
図13は、本発明の別の実施形態に従う原本イメージからターゲットイメージを抽出する方法を説明するためのフローチャートである。図14aから図14cは、ターゲットイメージの領域を計算する方法の別の例を説明するための図である。
図13を参照すると、ステップ1310で、制御部280は原本イメージのタグ情報にオブジェクトの位置情報が含まれているか否かを決定する。タグ情報にオブジェクトの位置情報が含まれている場合、プロセスはステップ1350に進行される。
タグ情報にオブジェクトの位置情報が含まれていない場合、ステップ1320で、制御部280は原本イメージのオブジェクトを認識する。オブジェクトの認識が成功した場合、ステップ1330で制御部280は、認識されたオブジェクトの位置情報を生成し、これを原本イメージにタグ付けする。タグ付け後、プロセスはステップ1350に進行される。
オブジェクトの認識が失敗した場合、ステップ1340で制御部280は原本イメージとマッピング関係にある区画に入るターゲットイメージを原本イメージから任意に抽出する。
ステップ1350で、制御部280は原本イメージの縮小の要否を決定する。縮小が必要でない場合、プロセスはステップ1370に進行される。縮小を必要とする場合、ステップ1360で制御部280は原本イメージを縮小する。原本イメージの縮小後、プロセスはステップ1370に進行される。
ステップ1370で、制御部280は原本イメージとマッピング関係にある区画で他の区画と重畳しない部分にオブジェクトが位置できるようにターゲットイメージを原本イメージから抽出する。イメージ抽出方法の別の例は、次の通りである。
図14aから図14cを参照すると、原本イメージ1410はマガジンビュー1420の第1区画1421とマッピング関係にある。第1区画1421の形状は長方形であり、第1区画1421の一部は第2区画1422と重畳し、他の一部は第3区画1423と重畳する。原本イメージ1410は、顔オブジェクト1411aを含み、該当タグ情報は顔オブジェクト1411aの位置情報(x1,y1)及び(x2,y2)を含む。顔オブジェクト1411aの高さは第1区画1421の高さより小さく、顔オブジェクト1411aの幅は第1区画1421の幅より小さい。したがって、顔オブジェクト1411aの縮小は必要でない。
このような仮定下で、制御部280は第1区画1421の形状が長方形か否かを決定する。図示したように、長方形の場合、制御部280は第1区画1421で他の区画と重畳する部分の存否を決定する。図示したように、重畳部分が存在する場合、制御部280は他の区画と重畳しない領域1421aを認識する。次に、制御部280は顔オブジェクト1411aが上記非重畳領域1421aの中心にくるように非重畳領域1421aを原本イメージ1410の上に位置させる。次に、制御部280は非重畳領域1421aを基準に第1区画1421を原本イメージ1410の上に位置させる。次に、制御部280は第1区画1421内にあるターゲットイメージ1411を原本イメージ1410から抽出する。次に、制御部280はターゲットイメージ1411をマガジンビュー1420の第1区画1421に位置させる。その結果、表示されるマガジンビュー1420は図14cの通りである。図14cに示すように、顔オブジェクト1411aは重畳しない領域で表示される。
イメージ抽出が完了した後、ステップ1380で制御部280は該当区画に空いた空間が生じるか否かを決定する。空いた空間が生じる場合、ステップ1390で制御部280は空いた空間が埋められるようにターゲットイメージを拡大する。
図15a、図15b、及び図15cは、本発明の一実施形態に従うタイルビューを示す図である。
図15a、図15b、及び図15cを参照すると、ホームスクリーンはタイルビューの形態で表示できる。タイルビューは、例えば、環境設定(Setting)、連絡先(Contacts)、スケジュール(Schedule)、ゲーム(Game)、アラーム(Alarm)、ギャラリー(Gallery)、SNS(Social Network Service)などのようなタイル(即ち、項目)を含むことができる。例えば、環境設定タイルには、ユーザが主に訪ねる設定項目(例:ワイファイ使用の可否)が表示できる。連絡先タイルには、お気に入り連絡先情報が表示できる。また、ギャラリータイルには、例えば最近に撮影された写真が表示できる。以上、ユーザは、アプリケーションを介さず、タイルビューを介して該当アプリケーションのコンテンツ(例、写真、連絡先、SNSメッセージなど)を見ることができる。
制御部280は、該当写真のタグ情報にアクセスしてオブジェクト1511の位置を確認し、該当写真がオブジェクト1511の中心にギャラリータイルに表示されるように制御することができる。この際、制御部280は、オブジェクト1511が動く視覚的な効果を提供するように表示部210を制御することもできる。例えば、図15a及び図15bを参照すると、オブジェクト1511が左側から右側に動く視覚的な効果がユーザに提供される。ここで、オブジェクト1511が実際に動くものではなく、表示される領域が左側から右側に変更されたものである。一方、視覚的な効果は視覚的なフィードバック、アニメーションなどと称されることもできる。
また、制御部280は、オブジェクト1511がズーミング(zooming)される視覚的な効果を提供するように表示部210を制御することもできる。例えば、図15b及び図15cを参照すると、オブジェクト1511がズームアウトされる視覚的な効果がユーザに提供される。このようにオブジェクト1511がズームアウトされることによって、相対的にその背景が占める領域が広くなる。また、オブジェクト1511がズームインされる場合、相対的にその背景が占める領域が狭くなる。前述したような本発明に従うイメージ合成方法は、多様なコンピュータを通じて遂行できるプログラム命令で具現されてコンピュータにより読取可能な記録媒体に記録できる。ここで、記録媒体は、プログラム命令、データファイル、データ構造などを含むことができる。また、プログラム命令は、本発明のために特別に設計され構成されたもの、またはコンピュータソフトウェア当業者に公知されて使用可能なものでありうる。また、記録媒体には、ハードディスク、フロッピー(登録商標)ディスク、及び磁気テープのような磁気媒体(Magnetic Media)と、CD−ROM、DVDのような光記録媒体(Optical Media)と、フロプティカルディスク(Floptical Disk)のような磁気−光媒体(Magneto-Optical Media)と、ROMと、RAMと、フラッシュメモリなどのようなハードウェア装置とが含まれることができる。また、プログラム命令には、コンパイラーにより作られるような機械語コードだけでなく、インタープリターなどを使用してコンピュータにより実行できる高級言語コードが含まれることができる。ハードウェア装置は、本発明を遂行するために1つ以上のソフトウェアモジュールとして動作するように構成できる。
本発明に従うイメージ合成方法及び電子装置は、前述した実施形態に限定されず、本発明の技術思想が許容する範囲で多様に変形して実施することができる。
200 携帯端末
210 表示部
211 タッチパネル
220 キー入力部
230 格納部
240 無線通信部
250 オーディオ処理部
260 カメラ
270 GPS受信部
280 制御部

Claims (14)

  1. 原本イメージの選択を検出するステップと、
    前記原本イメージにタグ付けされたタグ情報でオブジェクトの位置情報を確認するステップと、
    前記位置情報を用いて前記オブジェクトを含むターゲットイメージを前記原本イメージから抽出するステップと、
    前記ターゲットイメージをフレームの区画のうち、予め指定されたマッピングされた区画に表示するステップと、
    を含むことを特徴とする、電子装置のイメージ合成方法。
  2. 前記抽出するステップは、
    前記オブジェクトが前記マッピングされた区画の中心にくるように前記ターゲットイメージを抽出するステップを含むことを特徴とする、請求項1に記載の電子装置のイメージ合成方法。
  3. 前記抽出するステップは、
    前記マッピングされた区画の形状が長方形でない場合、前記マッピングされた区画より大きい長方形を生成するステップと、
    前記オブジェクトが前記長方形の中心にくるように前記長方形を前記原本イメージの上に配置するステップと、
    前記長方形内にあるターゲットイメージを前記原本イメージから抽出するステップと、
    前記ターゲットイメージの中心を前記マッピングされた区画の中心に合せてから前記マッピングされた区画から外れる部分を切り取るステップと、
    を含むことを特徴とする、請求項2に記載の電子装置のイメージ合成方法。
  4. 前記抽出するステップは、
    前記位置情報の確認の結果、前記オブジェクトの幅が前記マッピングされた区画の幅より大きいか、または前記オブジェクトの高さが前記マッピングされた区画の高さより大きい場合、前記原本イメージを縮小した後、前記ターゲットイメージを抽出するステップを含むことを特徴とする、請求項1に記載の電子装置のイメージ合成方法。
  5. 前記表示するステップは、
    前記ターゲットイメージが前記マッピングされた区画より小さい場合、前記ターゲットイメージを拡大した後、表示するステップを含むことを特徴とする、請求項1に記載の電子装置のイメージ合成方法。
  6. 前記抽出するステップは、
    前記マッピングされた区画が他の区画と重畳する場合、前記マッピングされた区画で前記他の区画と重畳しない部分に前記オブジェクトが位置できるように前記ターゲットイメージを抽出するステップを含むことを特徴とする、請求項1に記載の電子装置のイメージ合成方法。
  7. 前記ターゲットイメージが動く視覚的な効果を提供するステップをさらに含むことを特徴とする、請求項1に記載の電子装置のイメージ合成方法。
  8. 前記ターゲットイメージがズーミングされる視覚的な効果を提供するステップをさらに含むことを特徴とする、請求項1に記載の電子装置のイメージ合成方法。
  9. イメージフォルダのイメージのうちから原本イメージを選択するステップと、
    前記原本イメージに各々タグ付けされたタグ情報でオブジェクトの位置情報を確認するステップと、
    前記位置情報を用いて前記オブジェクトを各々含むターゲットイメージを前記原本イメージから抽出するステップと、
    前記イメージフォルダの表紙を表すマガジンビューの各区画に前記ターゲットイメージを表示するステップと、
    を含むことを特徴とする、電子装置のイメージ合成方法。
  10. 前記選択するステップは、
    前記イメージフォルダのイメージに各々タグ付けされた識別情報を確認して、前記イメージフォルダの名称と関連したイメージを原本イメージとして優先的に選択するステップを含むことを特徴とする、請求項9に記載の電子装置のイメージ合成方法。
  11. 前記選択するステップは、
    前記イメージフォルダのイメージに各々タグ付けされた日付情報を確認して、最近の日付に該当するイメージを原本イメージとして優先的に選択するステップを含むことを特徴とする、請求項9に記載の電子装置のイメージ合成方法。
  12. タグ情報は、識別情報、日付情報、コントラスト情報、位置情報、及び解像度情報のうちの1つ以上を含み、
    前記選択するステップは、前記識別情報、前記日付情報、前記コントラスト情報、前記位置情報、及び前記解像度情報のうちの1つ以上を用いて、前記原本イメージを選択するステップを含むことを特徴とする、請求項9に記載の電子装置のイメージ合成方法。
  13. 原本イメージの選択を検出するステップと、
    前記選択された原本イメージと同一な個数の区画を有するフレームに各々対応するサムネイルを表示するステップと、
    前記サムネイルのうちの1つの選択を検出するステップと、
    前記原本イメージに各々タグ付けされたタグ情報でオブジェクトの位置情報を確認するステップと、
    前記位置情報を用いて前記オブジェクトを各々含むターゲットイメージを前記原本イメージから抽出するステップと、
    前記ターゲットイメージを前記選択されたサムネイルに該当するフレームの区画に各々表示するステップと、
    を含むことを特徴とする、電子装置のイメージ合成方法。
  14. 表示部と、
    前記表示部の画面に設置されたタッチパネルと、
    イメージ及び該イメージに各々タグ付けされたタグ情報を格納する格納部と、
    前記表示部、前記タッチパネル、及び前記格納部を制御する制御部と、
    を含み、
    前記制御部は、
    前記タッチパネルから原本イメージの選択を検出し、前記格納部にアクセスして前記原本イメージにタグ付けされたタグ情報でオブジェクトの位置情報を確認し、前記位置情報を用いて前記オブジェクトを含むターゲットイメージを前記原本イメージから抽出し、前記ターゲットイメージをフレームの区画のうち、予め指定されたマッピングされた区画に表示するように前記表示部を制御することを特徴とする、電子装置。
JP2014080902A 2013-04-11 2014-04-10 イメージ合成方法及びこれを具現する電子装置 Pending JP2014207672A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130040062A KR20140122952A (ko) 2013-04-11 2013-04-11 이미지 합성 방법 및 이를 구현하는 전자 장치
KR10-2013-0040062 2013-04-11

Publications (1)

Publication Number Publication Date
JP2014207672A true JP2014207672A (ja) 2014-10-30

Family

ID=50624382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014080902A Pending JP2014207672A (ja) 2013-04-11 2014-04-10 イメージ合成方法及びこれを具現する電子装置

Country Status (7)

Country Link
US (1) US9852491B2 (ja)
EP (1) EP2793170A3 (ja)
JP (1) JP2014207672A (ja)
KR (1) KR20140122952A (ja)
CN (1) CN104103085A (ja)
AU (1) AU2014201995B2 (ja)
WO (1) WO2014168389A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740593A (zh) * 2018-12-18 2019-05-10 全球能源互联网研究院有限公司 样本中至少一个预定目标的位置确定方法及装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633400B2 (en) * 2013-01-04 2017-04-25 Samsung Electronics Co., Ltd. Display apparatus and method of providing a user interface
CN104539853A (zh) * 2015-01-05 2015-04-22 锦池媒体科技(北京)有限公司 影像合成方法
KR102379171B1 (ko) * 2015-02-27 2022-03-25 삼성전자주식회사 전자 장치 및 그의 영상 표시 방법
CN104732481A (zh) * 2015-03-18 2015-06-24 百度在线网络技术(北京)有限公司 图像调整方法及装置
US10180788B2 (en) * 2016-04-06 2019-01-15 Sandisk Technologies Inc. Data storage device having internal tagging capabilities
US11132545B2 (en) 2016-07-30 2021-09-28 Huawei Technologies Co., Ltd. Image recognition method and terminal
KR20180014586A (ko) 2016-08-01 2018-02-09 삼성전자주식회사 사용자 입력에 대응하는 섬네일을 출력하는 전자 장치 및 방법
KR102594858B1 (ko) * 2016-08-01 2023-10-27 삼성전자 주식회사 이미지 합성 및 복원하는 전자 장치 및 방법
US10733478B2 (en) * 2016-08-31 2020-08-04 Facebook, Inc. Systems and methods for processing media content that depict objects
US10310361B1 (en) * 2017-06-05 2019-06-04 Amo Mangal Featherstone Personal imaging kiosk and associated use thereof
CN107203638B (zh) * 2017-06-08 2020-09-25 北京深瞐科技有限公司 监控视频处理方法、装置及***
CN110110110A (zh) * 2018-02-02 2019-08-09 杭州海康威视数字技术股份有限公司 一种以图搜图方法、装置、电子设备及存储介质
CN109271090A (zh) * 2018-09-29 2019-01-25 华勤通讯技术有限公司 图像融合方法、终端以及计算机可读存储介质
KR102663537B1 (ko) 2019-01-31 2024-05-08 삼성전자 주식회사 전자 장치 및 이미지 처리 방법
CN110706150A (zh) * 2019-07-12 2020-01-17 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN110750748A (zh) * 2019-10-24 2020-02-04 杭州网景汇网络科技有限公司 一种网页页面显示方法
CN111063001B (zh) * 2019-12-18 2023-11-10 北京金山安全软件有限公司 图片合成方法、装置、电子设备以及存储介质
US10771965B1 (en) * 2020-01-09 2020-09-08 Lexisnexis Risk Solutions Inc. Systems and methods for photo recognition-based identity authentication
CN111833247B (zh) * 2020-06-11 2024-06-14 维沃移动通信有限公司 图片处理方法、装置及电子设备
CN111918131A (zh) * 2020-08-18 2020-11-10 北京达佳互联信息技术有限公司 视频生成方法及装置
CN112492206B (zh) * 2020-11-30 2021-10-26 维沃移动通信(杭州)有限公司 图像处理方法、装置及电子设备
WO2022186646A1 (ko) * 2021-03-05 2022-09-09 삼성전자 주식회사 이미지 생성을 위한 전자 장치 및 전자 장치의 동작 방법
US20220398004A1 (en) * 2021-06-10 2022-12-15 Nvidia Corporation User Interfaces and Methods for Generating a New Artifact Based on Existing Artifacts
US11435885B1 (en) 2021-06-10 2022-09-06 Nvidia Corporation User interfaces and methods for generating a new artifact based on existing artifacts

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000020742A (ja) * 1998-06-30 2000-01-21 Toshiba Corp 映像再生装置及び映像再生方法、並びに記録媒体
JP3716676B2 (ja) * 1999-07-13 2005-11-16 コニカミノルタビジネステクノロジーズ株式会社 画像合成出力装置
JP2001346031A (ja) * 2000-06-05 2001-12-14 Fuji Photo Film Co Ltd 画像合成方法及び装置
US8549434B2 (en) * 2001-10-18 2013-10-01 Microsoft Corporation Method for graphical representation of a content collection
US7519907B2 (en) 2003-08-04 2009-04-14 Microsoft Corp. System and method for image editing using an image stack
JP2006287917A (ja) 2005-03-08 2006-10-19 Fuji Photo Film Co Ltd 画像出力装置、画像出力方法、および画像出力プログラム
US7990564B2 (en) 2005-07-29 2011-08-02 Vistaprint Technologies Limited Automated image sizing and placement
US7694885B1 (en) * 2006-01-26 2010-04-13 Adobe Systems Incorporated Indicating a tag with visual data
US20090013268A1 (en) * 2007-07-02 2009-01-08 Universal Ad Ltd. Creation Of Visual Composition Of Product Images
US8775953B2 (en) * 2007-12-05 2014-07-08 Apple Inc. Collage display of image projects
JP2009237702A (ja) * 2008-03-26 2009-10-15 Fujifilm Corp アルバム作成方法、プログラムおよび装置
JP2009259238A (ja) 2008-03-26 2009-11-05 Fujifilm Corp 画像シェアリング用保存装置、画像シェアリングシステムおよび方法
US9275479B2 (en) * 2009-10-22 2016-03-01 Collage.Com, Llc Method, system and computer program product for creating collages that visually resemble a particular shape or group of shapes
US20120063689A1 (en) 2010-09-15 2012-03-15 The Johns Hopkins University Object recognition in an image
CN102194241B (zh) 2011-04-28 2013-07-10 西安交通大学 基于互联网的艺术拼图***设计方法
KR101138873B1 (ko) 2011-05-30 2012-05-14 삼성전자주식회사 인물 db 등록사진 수 축소 방법 및 장치
US20150134492A1 (en) * 2013-11-11 2015-05-14 Apple Inc. Coordinated image manipulation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740593A (zh) * 2018-12-18 2019-05-10 全球能源互联网研究院有限公司 样本中至少一个预定目标的位置确定方法及装置

Also Published As

Publication number Publication date
EP2793170A3 (en) 2014-11-19
AU2014201995B2 (en) 2018-05-10
WO2014168389A1 (en) 2014-10-16
AU2014201995A1 (en) 2014-10-30
US9852491B2 (en) 2017-12-26
EP2793170A2 (en) 2014-10-22
CN104103085A (zh) 2014-10-15
KR20140122952A (ko) 2014-10-21
US20140306999A1 (en) 2014-10-16

Similar Documents

Publication Publication Date Title
JP2014207672A (ja) イメージ合成方法及びこれを具現する電子装置
JP6999513B2 (ja) イメージ表示方法及び携帯端末
KR102026717B1 (ko) 사진 촬영 가이드 방법 및 이를 구현하는 휴대 단말
US9904906B2 (en) Mobile terminal and data provision method thereof
KR102010955B1 (ko) 프리뷰 제어 방법 및 이를 구현하는 휴대 단말
US9674445B2 (en) Portable apparatus and method for taking a photograph by using widget
US9407834B2 (en) Apparatus and method for synthesizing an image in a portable terminal equipped with a dual camera
US9324305B2 (en) Method of synthesizing images photographed by portable terminal, machine-readable storage medium, and portable terminal
US9894115B2 (en) Collaborative data editing and processing system
US9430500B2 (en) Method and device for operating image in electronic device
KR102064952B1 (ko) 수신 데이터를 이용하여 어플리케이션을 운영하는 전자 장치
US11604580B2 (en) Configuration of application execution spaces and sub-spaces for sharing data on a mobile touch screen device
CN109242931B (zh) 用于使用图像识别布置图像的方法和设备
US20140232921A1 (en) Method and apparatus for processing image
WO2021008295A1 (zh) 小程序的制作方法、装置、终端及存储介质
US9658865B2 (en) Method of editing content and electronic device for implementing the same
US20180024976A1 (en) Annotation providing method and device
KR20210056338A (ko) 이미지들에 대한 다중 영역 검출

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20141226