JP6403368B2 - 携帯端末、画像検索プログラムおよび画像検索方法 - Google Patents
携帯端末、画像検索プログラムおよび画像検索方法 Download PDFInfo
- Publication number
- JP6403368B2 JP6403368B2 JP2013190223A JP2013190223A JP6403368B2 JP 6403368 B2 JP6403368 B2 JP 6403368B2 JP 2013190223 A JP2013190223 A JP 2013190223A JP 2013190223 A JP2013190223 A JP 2013190223A JP 6403368 B2 JP6403368 B2 JP 6403368B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- image
- unit
- target image
- search target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Studio Devices (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
第13の発明は、カメラモジュール、表示部およびタッチ操作を検出するタッチパネルを有する、携帯端末であって、カメラモジュールから取得されたリアルタイム動画像を分割する分割領域の焦点距離の相対位置関係を検出する検出部、リアルタイム動画像のタッチ操作された分割領域の焦点距離と略同じ値の焦点距離が対応付けられた分割領域を特定し、前記タッチ操作された分割領域と前記特定された分割領域とを含む抽出範囲内の画像を検索対象画像として抽出する抽出部、検索対象画像に基づき所定の情報を検索する検索部、およびリアルタイム動画像において、検索部により検索された検索結果を出力する出力部を備え、検索部は、所定の情報を検索しているときにリアルタイム動画像において、検索対象画像が表示されている範囲に対する第2タッチ操作があると、所定の情報の検索を解除する、携帯端末である。
第14の発明は、第13の発明に従属し、検索部は、所定の情報を検索しているときに検索対象画像が表示されている範囲外に対する第3タッチ操作があると、リアルタイム動画像から新たな検索対象画像を抽出する。
図1(A),(B)を参照して、この発明の一実施例の携帯電話機10は、一例としてスマートフォン(smartphone)であり、縦長の扁平矩形のハウジング12を含む。ただし、この発明は、デジタルカメラ、タブレット端末、タブレットPC、ノートPCおよびPDAなど任意の携帯端末に適用可能であることを予め指摘しておく。
第2実施例では、抽出範囲が設定された後に、色情報に基づく領域選択や、顔検出処理などの画像処理を加えることで検索対象画像をより適切に抽出する。なお、第2実施例の携帯電話機10は、第1実施例と略同じであるため、外観および電気的な構成などの説明は省略する。
14 … ディスプレイ
16 … タッチパネル
30 … プロセッサ
44 … フラッシュメモリ
46 … RAM
48 … タッチパネル制御回路
50 … カメラ制御回路
52 … イメージセンサ
54 … レンズ
100 … ネットワーク
102 … データサーバ
Claims (14)
- カメラモジュール、表示部および前記表示部へのタッチ操作を受け付けるタッチパネルを有する、携帯端末であって、
前記タッチパネルに対するタッチ操作を受け付ける第1受付部、
前記カメラモジュールから取得されたリアルタイム動画像を分割する分割領域の焦点距離の相対位置関係を検出する検出部、
前記リアルタイム動画像のタッチ操作された分割領域の焦点距離と略同じ値の焦点距離が対応付けられた分割領域を特定し、前記タッチ操作された分割領域と前記特定された分割領域とを含む抽出範囲内の画像を検索対象画像として抽出する抽出部、
前記検索対象画像に基づき所定の情報を検索する検索部、および
前記リアルタイム動画像において、前記検索部により検索された検索結果を、前記検索対象画像と重畳しないように出力する出力部を備える、携帯端末。 - 前記第1受付部は、前記カメラモジュールから取得されたリアルタイム動画像が表示されているとき、検索対象画像を抽出する抽出操作を受け付け、
前記検出部は、前記第1受付部が抽出操作を受け付けたとき、前記相対位置関係を検出する、請求項1記載の携帯端末。 - 前記相対位置関係に基づいて、前記カメラモジュールから取得されたリアルタイム動画像に対して前記抽出範囲を設定する設定部をさらに備え、
前記抽出部は、前記抽出範囲に基づいて、前記リアルタイム動画像から前記検索対象画像を抽出する、請求項1または2記載の携帯端末。 - 前記カメラモジュールは、レンズを含み、
前記検出部は、前記レンズの焦点距離を利用して、前記カメラモジュールから取得されたリアルタイム動画像から分割領域の前記相対位置関係を検出する、請求項1ないし3のいずれかに記載の携帯端末。 - 検索対象画像を変更する変更操作を受け付ける第2受付部をさらに備え、
前記検出部は、前記第2受付部が変更操作を受け付けたとき、前記相対位置関係を再検出し、
前記抽出部は、前記第2受付部が変更操作を受け付けたとき、当該変更操作および再検出された相対位置関係に基づいて、前記カメラモジュールから取得されたリアルタイム動画像から他の検索対象画像を抽出する、請求項1ないし4のいずれかに記載の携帯端末。 - 前記検索部による検索結果が複数あるとき、出力される検索結果の切替操作を受け付ける第3受付部、および
前記第3受付部が切り替え操作を受け付けたとき、出力される検索結果を切り替える切替部をさらに備える、請求項1ないし5のいずれかに記載の携帯端末。 - 前記抽出部は、色情報に基づいて検索対象画像を抽出する、請求項1ないし6のいずれかに記載の携帯端末。
- 前記抽出部は、顔検出を利用して検索対象画像を抽出する、請求項1ないし7のいずれかに記載の携帯端末。
- 前記検索部は、前記検索対象画像についての検索結果を、ネットワーク上のサーバに記憶されるデータベースから出力する、請求項1ないし8のいずれかに記載の携帯端末。
- データベースを記憶する記憶部をさらに備え、
前記検索部は、前記検索対象画像についての検索結果を、前記記憶部に記憶されるデータベースから出力する、請求項1ないし9のいずれかに記載の携帯端末。 - カメラモジュール、表示部および前記表示部へのタッチ操作を受け付けるタッチパネルを有する、携帯端末のプロセッサを、
前記タッチパネルに対するタッチ操作を受け付ける第1受付部、
前記カメラモジュールから取得されたリアルタイム動画像を分割する分割領域の焦点距離の相対位置関係を検出する検出部、
前記リアルタイム動画像のタッチ操作された分割領域の焦点距離と略同じ値の焦点距離が対応付けられた分割領域を特定し、前記タッチ操作された分割領域と前記特定された分割領域とを含む抽出範囲内の画像を検索対象画像として抽出する抽出部、
前記検索対象画像に基づき所定の情報を検索する検索部、および
前記リアルタイム動画像において、前記検索部により検索された検索結果を、前記検索対象画像と重畳しないように出力する出力部として機能させる、画像検索プログラム。 - カメラモジュール、表示部および前記表示部へのタッチ操作を受け付けるタッチパネルを有する、携帯端末における画像検索方法であって、前記携帯端末のプロセッサが、
前記タッチパネルに対するタッチ操作を受け付けるステップ、
前記カメラモジュールから取得されたリアルタイム動画像を分割する分割領域の焦点距離の相対位置関係を検出する検出ステップ、
前記リアルタイム動画像のタッチ操作された分割領域の焦点距離と略同じ値の焦点距離が対応付けられた分割領域を特定し、前記タッチ操作された分割領域と前記特定された分割領域とを含む抽出範囲内の画像を検索対象画像として抽出する抽出ステップ、
前記検索対象画像に基づき所定の情報を検索する検索ステップ、および
前記リアルタイム動画像において、前記検索ステップにより検索された検索結果を、前記検索対象画像と重畳しないように出力する出力ステップを実行する、画像検索方法。 - カメラモジュール、表示部およびタッチ操作を検出するタッチパネルを有する、携帯端末であって、
前記カメラモジュールから取得されたリアルタイム動画像を分割する分割領域の焦点距離の相対位置関係を検出する検出部、
前記リアルタイム動画像のタッチ操作された分割領域の焦点距離と略同じ値の焦点距離が対応付けられた分割領域を特定し、前記タッチ操作された分割領域と前記特定された分割領域とを含む抽出範囲内の画像を検索対象画像として抽出する抽出部、
前記検索対象画像に基づき所定の情報を検索する検索部、および
前記リアルタイム動画像において、前記検索部により検索された検索結果を出力する出力部を備え、
前記検索部は、前記所定の情報を検索しているときに前記リアルタイム動画像において、前記検索対象画像が表示されている範囲に対する第2タッチ操作があると、前記所定の情報の検索を解除する、携帯端末。 - 前記検索部は、前記所定の情報を検索しているときに前記検索対象画像が表示されている範囲外に対する第3タッチ操作があると、前記リアルタイム動画像から新たな検索対象画像を抽出する、請求項13記載の携帯端末。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013190223A JP6403368B2 (ja) | 2013-09-13 | 2013-09-13 | 携帯端末、画像検索プログラムおよび画像検索方法 |
PCT/JP2014/073901 WO2015037607A1 (ja) | 2013-09-13 | 2014-09-10 | 携帯端末および画像検索方法 |
US15/068,406 US20160196284A1 (en) | 2013-09-13 | 2016-03-11 | Mobile terminal and method for searching for image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013190223A JP6403368B2 (ja) | 2013-09-13 | 2013-09-13 | 携帯端末、画像検索プログラムおよび画像検索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015056102A JP2015056102A (ja) | 2015-03-23 |
JP6403368B2 true JP6403368B2 (ja) | 2018-10-10 |
Family
ID=52665709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013190223A Active JP6403368B2 (ja) | 2013-09-13 | 2013-09-13 | 携帯端末、画像検索プログラムおよび画像検索方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20160196284A1 (ja) |
JP (1) | JP6403368B2 (ja) |
WO (1) | WO2015037607A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104866194B (zh) * | 2015-05-21 | 2018-07-13 | 百度在线网络技术(北京)有限公司 | 图片搜索方法及装置 |
EP3291062A4 (en) * | 2015-05-29 | 2018-04-04 | Huawei Technologies Co., Ltd. | Method for adjusting photographing focus of mobile terminal through touch control panel and mobile terminal |
KR20170017572A (ko) * | 2015-08-07 | 2017-02-15 | 삼성전자주식회사 | 사용자 단말 장치 및 이의 제어 방법 |
US10083238B2 (en) * | 2015-09-28 | 2018-09-25 | Oath Inc. | Multi-touch gesture search |
JP6440604B2 (ja) * | 2015-09-29 | 2018-12-19 | 富士フイルム株式会社 | 被写体評価システム,被写体評価方法,被写体評価プログラムおよびそのプログラムを格納した記録媒体 |
US11144750B2 (en) * | 2019-02-28 | 2021-10-12 | Family Concepts Ii, Llc | Association training related to human faces |
JP7082426B2 (ja) * | 2020-01-31 | 2022-06-08 | 株式会社写真化学 | 画像処理装置および画像処理方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7634336B2 (en) * | 2005-12-08 | 2009-12-15 | Electronics And Telecommunications Research Institute | Localization system and method of mobile robot based on camera and landmarks |
JP4019200B2 (ja) * | 2007-06-18 | 2007-12-12 | 富士フイルム株式会社 | 画像表示器付きカメラ |
JP2009272931A (ja) * | 2008-05-08 | 2009-11-19 | Olympus Corp | 撮像装置及び情報提供システム |
JP5471124B2 (ja) * | 2009-07-29 | 2014-04-16 | ソニー株式会社 | 画像検索装置、画像検索方法及び画像検索プログラム |
US9077890B2 (en) * | 2011-02-24 | 2015-07-07 | Qualcomm Incorporated | Auto-focus tracking |
JP2013046343A (ja) * | 2011-08-26 | 2013-03-04 | Sharp Corp | 画像撮像装置 |
JP5714452B2 (ja) * | 2011-08-29 | 2015-05-07 | 任天堂株式会社 | 情報処理装置、情報処理プログラム、情報処理方法および情報処理システム |
CN103135889B (zh) * | 2011-12-05 | 2017-06-23 | Lg电子株式会社 | 移动终端及其3d图像控制方法 |
US8891907B2 (en) * | 2011-12-06 | 2014-11-18 | Google Inc. | System and method of identifying visual objects |
JPWO2013084422A1 (ja) * | 2011-12-08 | 2015-04-27 | 日本電気株式会社 | 情報処理装置、通信端末、情報検索方法、及びプログラム |
-
2013
- 2013-09-13 JP JP2013190223A patent/JP6403368B2/ja active Active
-
2014
- 2014-09-10 WO PCT/JP2014/073901 patent/WO2015037607A1/ja active Application Filing
-
2016
- 2016-03-11 US US15/068,406 patent/US20160196284A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
WO2015037607A1 (ja) | 2015-03-19 |
US20160196284A1 (en) | 2016-07-07 |
JP2015056102A (ja) | 2015-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6403368B2 (ja) | 携帯端末、画像検索プログラムおよび画像検索方法 | |
US9632681B2 (en) | Electronic Device, memory and control method for displaying multiple objects on a display screen | |
KR101636460B1 (ko) | 전자 장치 및 그 제어 방법 | |
EP3076659B1 (en) | Photographing apparatus, control method thereof, and non-transitory computer-readable recording medium | |
JP5848932B2 (ja) | 携帯端末、フォルダ管理プログラムおよびフォルダ管理方法 | |
US9819871B2 (en) | Method of executing fast association function of camera and portable device including the same | |
KR101432177B1 (ko) | 휴대용 장치 및 그 사진처리방법, 이를 포함하는사진처리시스템 | |
US10222903B2 (en) | Display control apparatus and control method thereof | |
US20140226052A1 (en) | Method and mobile terminal apparatus for displaying specialized visual guides for photography | |
US9582172B2 (en) | Display control apparatus and method, image display apparatus, and non-transitory computer readable medium | |
RU2607476C1 (ru) | Способ и устройство для работы с приложением для телевизора | |
KR20110107143A (ko) | 멀티 입력을 이용한 휴대단말의 기능 제어 방법 및 장치 | |
KR20180133743A (ko) | 이동 단말기 및 그 제어 방법 | |
WO2014188990A1 (ja) | 携帯端末および表示制御方法 | |
CN108476339B (zh) | 一种遥控方法和终端 | |
JP2016521418A (ja) | オブジェクトが挿入された画像を生成して編集する方法及びその装置 | |
KR20140146884A (ko) | 휴대 장치에 의해 촬영된 이미지들을 편집하는 방법 및 이를 위한 휴대 장치 | |
JP6010376B2 (ja) | 電子機器,選択プログラムおよび方法 | |
KR20120026458A (ko) | 데이터 관리 장치, 데이터 관리 방법 및 기록 매체 | |
JP2016149005A (ja) | 表示制御装置およびその制御方法、プログラム、並びに記憶媒体 | |
JP2015088774A (ja) | カメラ装置、画像処理プログラムおよび画像処理方法 | |
JP2015065616A (ja) | 撮像装置、触覚情報出力プログラムおよび触覚情報出力方法 | |
JP2013041348A (ja) | 携帯端末、補助情報表示プログラムおよび補助情報表示方法 | |
JP2015192362A (ja) | 画像再生装置,画像再生方法およびその制御プログラム | |
CN105278803A (zh) | 直觉地重新对焦图像的方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161221 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170628 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170719 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20171006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180911 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6403368 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |