JP3766433B1 - Portable terminal device and captured image recognition method - Google Patents
Portable terminal device and captured image recognition method Download PDFInfo
- Publication number
- JP3766433B1 JP3766433B1 JP2005349527A JP2005349527A JP3766433B1 JP 3766433 B1 JP3766433 B1 JP 3766433B1 JP 2005349527 A JP2005349527 A JP 2005349527A JP 2005349527 A JP2005349527 A JP 2005349527A JP 3766433 B1 JP3766433 B1 JP 3766433B1
- Authority
- JP
- Japan
- Prior art keywords
- focus state
- captured
- recognition
- focus
- barcode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 143
- 238000012545 processing Methods 0.000 claims abstract description 54
- 238000004891 communication Methods 0.000 claims description 17
- 230000007704 transition Effects 0.000 claims description 10
- 238000002360 preparation method Methods 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 abstract description 4
- 239000000284 extract Substances 0.000 abstract 1
- 230000008569 process Effects 0.000 description 95
- 230000006870 function Effects 0.000 description 53
- 230000015654 memory Effects 0.000 description 26
- 238000003384 imaging method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 23
- 238000000605 extraction Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- 230000004397 blinking Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000003825 pressing Methods 0.000 description 5
- 244000205754 Colocasia esculenta Species 0.000 description 3
- 235000006481 Colocasia esculenta Nutrition 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000001994 activation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Telephone Function (AREA)
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Telephone Set Structure (AREA)
- Automatic Focus Adjustment (AREA)
- Character Discrimination (AREA)
- Telephonic Communication Services (AREA)
- Focusing (AREA)
- Image Processing (AREA)
- Character Input (AREA)
Abstract
【課題】カメラ内蔵型携帯端末装置のサイズや解像度が制限された表示装置においても、ユーザがカメラの合焦状態の判断、ピントの確認及び調節を精確かつ容易に行うことができるような合焦状態表示装置、及び合焦状態表示方法を提供する。
【解決手段】撮像した画像信号から所定領域の画像信号を抽出するフォーカス領域抽出手段と、前記抽出した画像信号のエッジを強調するエッジ強調処理手段と、前記エッジを強調した画像信号の一定時間における積算値を算出する時間積算値算出手段と、前記算出した積算値に基づいて前記撮像した画像信号の合焦状態を判別する合焦状態判別手段と、前記判別した合焦状態を表示する合焦状態表示手段と、を備えた合焦状態表示装置。
【選択図】図2Focusing so that a user can accurately and easily perform determination of a focus state of a camera, confirmation of focus, and adjustment even in a display device in which the size and resolution of a camera-equipped mobile terminal device are limited. A state display device and an in-focus state display method are provided.
A focus area extracting unit that extracts an image signal of a predetermined area from a captured image signal, an edge enhancement processing unit that enhances an edge of the extracted image signal, and an image signal in which the edge is emphasized at a predetermined time. A time integrated value calculating means for calculating an integrated value; a focus state determining means for determining the in-focus state of the captured image signal based on the calculated integrated value; and a focus for displaying the determined in-focus state An in-focus state display device.
[Selection] Figure 2
Description
本発明は、カメラの合焦状態を表示する装置及びその表示方法に関し、特に、小型の携帯型カメラ、撮影機能付き携帯電話等カメラ付き携帯端末装置に備えられた固定焦点カメラの合焦状態を表示する技術に関するものである。 The present invention relates to an apparatus for displaying a focus state of a camera and a display method thereof, and more particularly to a focus state of a fixed focus camera provided in a portable terminal device with a camera such as a small portable camera or a mobile phone with a photographing function. It relates to the display technology.
近年、小型で、低消費電力のイメージセンサが開発されたことに伴い、PDA(Personal Digital Assistants)や携帯電話機、ポータブルPC(パーソナルコンピュータ)などの携帯型装置にカメラを内蔵したものが普及している。 In recent years, with the development of compact, low-power-consumption image sensors, portable devices such as PDAs (Personal Digital Assistants), mobile phones, and portable PCs (personal computers) have become popular. Yes.
これらの携帯型装置は、内蔵しているCCD等のカメラにより、画像を撮影したり、メモ代わりに印刷物を撮影したりして、撮影した画像を携帯型装置内に記憶しておくことや、携帯型装置の電子メール機能によりインターネット等を通じて他の携帯型装置やPCなどに送信することができる。 These portable devices can be used to take images with a built-in camera such as a CCD, or to shoot printed matter instead of memos, and store the images in the portable device. The electronic mail function of the portable device can be transmitted to other portable devices or PCs via the Internet.
このような携帯型装置に内蔵されるカメラは、できるだけ小型及び軽量であるように作られており、一般的には、有効画素数が10万〜30万画素程度の、通常のデジタルカメラよりも解像度が低いものが用いられている。 Cameras built in such portable devices are made to be as small and light as possible, and are generally more effective than ordinary digital cameras with about 100,000 to 300,000 effective pixels. A low resolution is used.
また、携帯端末装置に内蔵されるカメラは、筐体のサイズやコスト面での制限が厳しいため、自動合焦装置を内蔵していないものが一般的である。ユーザがこのような内蔵カメラを用いて画像を撮影する際には、携帯端末装置に備えられたLCD(液晶ディスプレイ)等の表示画面に内蔵カメラの撮影範囲内の画像が表示されるようになっているので、この表示画面を確認しながら、ピントを合わせて撮影を行うことができる。 In addition, the camera built in the portable terminal device is generally not equipped with an automatic focusing device because of severe restrictions on the size and cost of the housing. When a user takes an image using such a built-in camera, an image within the shooting range of the built-in camera is displayed on a display screen such as an LCD (liquid crystal display) provided in the mobile terminal device. Therefore, it is possible to shoot while focusing while checking this display screen.
撮影時にピントを合わせるには、上記のようにユーザが表示画面を確認しながら行うようにしてもよいが、携帯端末装置により合焦状態を表示してユーザが表示画面とともにこの合焦状態の表示を確認しながらピントを合わせるようにすることもできる。携帯端末装置は、内蔵カメラが受像する画像の信号成分に基づいて合焦状態の表示を行う機能を備えることができる。 In order to focus during shooting, the user may check the display screen as described above, but the in-focus state is displayed by the mobile terminal device, and the user displays the in-focus state together with the display screen. You can also adjust the focus while checking. The portable terminal device can have a function of displaying a focused state based on a signal component of an image received by the built-in camera.
特許文献1に記載の撮像装置は、ビューファインダ及びフォーカス制御手段を有するビデオカメラ等の撮像装置に関するものであり、この装置は、マニュアルフォーカス時に、撮像映像信号の高い周波数成分と低い周波数成分との比により合焦状態を表示する合焦状態表示装置を備えている。
The image pickup apparatus described in
特許文献2に記載のピント状態表示装置および顕微鏡装置は、画像データの空間周波数の高域成分を抽出して微分画像データを生成し、このデータの高域成分を示す画素値に応じて配色を変え、色の違いによりピント状態を知らせる合焦状態表示装置を備えている。
ところで、このようなカメラ内蔵型携帯端末装置に備えられているLCD等の表示装置は、小型で画素数も少ないため、表示される画像は粗くなってしまう。このため、撮像画像のぼけ等を肉眼で判断しながら合焦させることが容易ではなかった。また、特許文献1及び2に示すような合焦状態表示装置を備えていても、ユーザにとっては表示された合焦状態が分かりにくく、ピントを合わせるのが困難である場合があった。
By the way, a display device such as an LCD provided in such a portable terminal device with a built-in camera is small and has a small number of pixels, so that a displayed image becomes rough. For this reason, it is not easy to focus while judging blur or the like of the captured image with the naked eye. Further, even if the in-focus state display device as shown in
本発明は、このような課題に鑑みてなされたものであって、カメラ内蔵型携帯端末装置のサイズや解像度が制限された表示装置においても、ユーザがカメラの合焦状態の判断、ピントの確認及び調節を精確かつ容易に行うことができるような合焦状態表示装置、及び合焦状態表示方法を提供することを目的とするものである。 The present invention has been made in view of such problems, and in a display device in which the size and resolution of a camera-equipped mobile terminal device are limited, the user can determine the focus state of the camera and confirm the focus. It is another object of the present invention to provide an in-focus state display device and an in-focus state display method capable of accurately and easily performing adjustment.
本発明の一観点によれば、画像を撮影対象とする通常モードと、文字又はバーコードを撮影対象とするOCR機能モードと、を設定可能な撮影対象設定手段と、撮像画像を表示する表示手段と、前記OCR機能モードにおいて撮像された文字又はバーコードのエッジ強調された画像信号に基づいて合焦状態を判定する合焦状態判定手段と、撮像された前記文字又はバーコードの認識を行う認識手段とを備え、該認識手段による認識結果を前記表示手段に表示することを特徴とする携帯端末装置が提供される。 According to one aspect of the present invention, a photographing target setting unit capable of setting a normal mode for photographing an image and an OCR function mode for photographing a character or a barcode, and a display unit for displaying a captured image. And an in-focus state determination unit that determines an in-focus state based on an edge-enhanced image signal of the character or barcode imaged in the OCR function mode, and recognition for recognizing the imaged character or barcode A portable terminal device characterized in that the recognition result of the recognition means is displayed on the display means.
また、画像を撮影対象とする通常モードと、文字又はバーコードを撮影対象とするOCR機能モードと、を設定可能な撮影対象設定手段と、撮像画像を表示する表示手段と、前記OCR機能モードにおいて撮像された文字又はバーコードのエッジ強調された画像信号の積算値を処理することにより合焦状態を判定する合焦状態判定手段、撮像された前記文字又はバーコードの認識を行う認識手段とを備え、該認識手段による認識結果を前記表示手段に表示することを特徴とする携帯端末装置が提供される。前記合焦状態判定手段が起動され、前記認識手段により撮像された文字又はバーコードの認識を行うことが好ましい。 Further, in the OCR function mode, a shooting target setting unit capable of setting a normal mode for shooting an image and an OCR function mode for shooting characters or barcodes, a display unit for displaying a captured image, and the like. An in-focus state determination unit that determines an in-focus state by processing an integrated value of an image signal in which the edge of the captured character or barcode is emphasized, and a recognition unit that recognizes the captured character or barcode. And a portable terminal device characterized by displaying the recognition result by the recognition means on the display means. It is preferable that the in-focus state determination unit is activated to recognize a character or a barcode imaged by the recognition unit.
前記合焦状態判定手段により、撮像された文字又はバーコードの認識が可能な合焦状態を判定し、前記認識手段により、撮像された文字又はバーコードの認識を行うことが好ましい。前記合焦状態判定手段による合焦状態判定結果を報知する報知手段を有することが好ましい。前記合焦状態判定手段による合焦状態判定結果を報知し、撮像された文字又はコードを認識するのが好ましい。 Preferably, the in-focus state determination unit determines a focus state in which the captured character or barcode can be recognized, and the recognition unit recognizes the captured character or barcode. It is preferable to have a notifying means for notifying a focus state determination result by the focus state determining means. It is preferable to notify the focus state determination result by the focus state determination means and recognize the captured character or code.
本発明の他の観点によれば、画像を撮影対象とする通常モードと、文字又はバーコードを撮影対象とするOCR機能モードと、を設定可能な撮影対象設定手段と、撮像画像を表示する表示手段と、前記OCR機能モードにおいて撮像された文字又はバーコードのエッジ強調された画像信号に基づいて合焦状態を判定する合焦状態判定手段と、撮像された前記文字又はバーコードの認識を行う認識手段とを備え、該認識手段による認識結果を前記表示手段に表示することを特徴とする携帯電話機が提供される。 According to another aspect of the present invention, a shooting target setting unit capable of setting a normal mode for shooting an image and an OCR function mode for shooting a character or a barcode, and a display for displaying a captured image A focus state determination unit that determines an in-focus state based on an edge-enhanced image signal of a character or barcode imaged in the OCR function mode, and recognizes the imaged character or barcode There is provided a mobile phone comprising a recognition means, and displaying a recognition result by the recognition means on the display means.
前記認識手段により、撮像されたバーコードの認識を行うことにより得られた認識結果に応じて、認識結果に対応する通信準備状態に遷移可能なことが好ましい。前記認識手段により、撮像されたバーコードの認識を行うことにより認識結果としてURLが得られた場合に、当該URLにインターネット接続可能な状態に遷移可能である。また、前記認識手段により、撮像されたバーコードの認識を行うことにより認識結果としてメールアドレスが得られた場合に、当該メールアドレス宛のメール作成可能な状態に遷移可能とすることができる。
前記認識手段により、撮像されたバーコードの認識を行うことにより認識結果として電話番号が得られた場合に、当該電話番号宛に電話の発呼可能な状態に遷移可能にすることができる。
It is preferable that the recognition unit can transition to a communication preparation state corresponding to the recognition result according to the recognition result obtained by recognizing the captured barcode. When a URL is obtained as a recognition result by recognizing the captured barcode by the recognition means, it is possible to transition to a state where the URL can be connected to the Internet. In addition, when a recognized email address is obtained as a recognition result by recognizing the captured barcode by the recognition means, it is possible to make a transition to a state where a mail addressed to the email address can be created.
When a telephone number is obtained as a recognition result by recognizing the captured bar code by the recognizing means, it is possible to make a transition to a state where a telephone call can be made to the telephone number.
画像を撮影対象とする通常モードと、文字又はバーコードを撮影対象とするOCR機能モードと、を設定可能な撮影対象設定手段と、撮像画像を表示する表示手段と、前記OCR機能モードにおいて撮像された文字又はバーコードのエッジ強調された画像信号に基づいて合焦状態を判定する合焦状態判定手段と、撮像された前記文字又はバーコードの認識を行う認識手段と、通信を行う通信手段とを備え、該認識手段による認識結果を前記表示手段に表示することを特徴とする携帯端末装置が提供される。 Captured in the OCR function mode is a photographing target setting means capable of setting a normal mode for photographing an image and an OCR function mode for photographing characters or barcodes, a display means for displaying a captured image. An in-focus state determination unit that determines an in-focus state based on an edge-enhanced image signal of a character or barcode, a recognition unit that recognizes the captured character or barcode, and a communication unit that performs communication There is provided a portable terminal device characterized in that the recognition result by the recognition means is displayed on the display means.
前記認識手段により、撮像されたバーコードの認識を行うことにより得られた認識結果に応じて、認識結果に対応する通信準備状態に遷移可能なことが好ましい。前記認識手段により、撮像されたバーコードの認識を行うことにより認識結果としてURLが得られた場合に、当該URLにインターネット接続可能な状態に遷移可能なことが好ましい。 It is preferable that the recognition unit can transition to a communication preparation state corresponding to the recognition result according to the recognition result obtained by recognizing the captured barcode. When a URL is obtained as a recognition result by recognizing the captured barcode by the recognition means, it is preferable that the URL can be changed to a state where it can be connected to the Internet.
前記認識手段により、撮像されたバーコードの認識を行うことにより認識結果としてメールアドレスが得られた場合に、当該メールアドレス宛のメール作成可能な状態に遷移可能なことが好ましい。前記認識手段により、撮像されたバーコードの認識を行うことにより認識結果として電話番号が得られた場合に、当該電話番号宛に電話の発呼可能な状態に遷移可能なことが好ましい。前記エッジ強調された画像信号の積算値を処理することをすることが好ましい。 When an e-mail address is obtained as a recognition result by recognizing the captured bar code by the recognizing means, it is preferable to be able to transition to a state where a mail addressed to the e-mail address can be created. When a telephone number is obtained as a recognition result by recognizing the captured barcode by the recognition means, it is preferable that the state can be changed to a state where a telephone call can be made to the telephone number. It is preferable to process the integrated value of the edge-enhanced image signal.
本発明の別の観点によれば、画像を撮影対象とする通常モードと、文字又はバーコードを撮影対象とするOCR機能モードと、を設定可能な撮影対象設定ステップと、撮像画像を表示する表示ステップと、前記OCR機能モードにおいて撮像された文字又はバーコードのエッジ強調された画像信号に基づいて合焦状態を判定する合焦状態判定ステップと、撮像された前記文字又はバーコードの認識を行う認識ステップとを備え、該認識ステップによる認識結果を表示することを特徴とする撮像画像認識方法が提供される。 According to another aspect of the present invention, a shooting target setting step capable of setting a normal mode for shooting an image and an OCR function mode for shooting a character or a barcode, and a display for displaying a captured image A focus state determination step for determining an in-focus state based on an edge-enhanced image signal of a character or barcode imaged in the OCR function mode, and recognizing the imaged character or barcode A captured image recognition method comprising: a recognition step; and displaying a recognition result of the recognition step.
以上、説明したように、本発明の合焦状態表示装置及び合焦状態表示方法によれば、合焦情報の表示を視覚的又は聴覚的に行うことができ、ユーザが容易に合焦の確認及び調節を行うことができるようになる。 As described above, according to the focus state display device and the focus state display method of the present invention, the focus information can be displayed visually or audibly, and the user can easily confirm the focus. And be able to make adjustments.
このような優れた特徴を有する合焦状態表示装置を、撮像装置を備える携帯電話機や携帯情報端末など、モニタが小さい携帯端末装置に適用すれば、ユーザは、合焦状態の確認が容易となり、正確に合焦した画像を撮ることができる。 When the in-focus state display device having such excellent features is applied to a mobile terminal device having a small monitor such as a mobile phone or a portable information terminal equipped with an imaging device, the user can easily check the in-focus state, You can take an accurately focused image.
また、撮像装置を備える携帯電話機や携帯情報端末の撮像画像から文字認識やバーコード、QRコードなどの2値化された画像のピントを合わせることが容易となり、文字認識や、バーコード、QRコードなどの認識の精度向上にもつながる。 In addition, character recognition, barcodes, QR codes, and other binarized images can be easily focused on captured images from mobile phones and personal digital assistants equipped with imaging devices. Character recognition, barcodes, QR codes This will also improve the accuracy of recognition.
また、合焦表示機能とOCR機能とを利用することにより、長い文字列などを精度良く認識することができる。 Further, by using the focus display function and the OCR function, it is possible to accurately recognize a long character string or the like.
本発明者は、合焦状態表示装置内に、撮像した画像信号の合焦状態を判別するとともに、判別された合焦状態に応じてユーザに分かりやすい視覚的・聴覚的表示を行う合焦状態表示手段を設けることに想到した。 The inventor determines the in-focus state of the captured image signal in the in-focus state display device, and performs a visual / auditory display that is easy for the user to understand according to the determined in-focus state. The idea was to provide a display means.
以下、添付図面を参照しながら、本発明の実施の形態を詳細に説明する。
図1〜図13は、本発明の合焦状態表示装置及び合焦状態表示方法を実施する形態の一例を示すものであり、図中、同一の符号を付した部分は同一物を表わし、基本的な構成は同様であるものとする。
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
FIGS. 1-13 shows an example of the form which implements the focus state display apparatus and the focus state display method of this invention, In the figure, the part which attached | subjected the same code | symbol represents the same thing, Basic The general configuration is the same.
第1実施形態
本発明の第1実施形態は、合焦状態表示装置を備えたカメラ内蔵型携帯電話機/PHS(Personal Handy-Phone System)である(以下、説明を簡略化するため、単に「携帯電話機」と略記する)。図1は、合焦状態表示装置を備えたカメラ内蔵型携帯電話機の外観を示す図である。図1(A)は本実施形態の携帯電話機の背面斜視図、図1(B)はその正面斜視図である。図14は、本実施の形態による携帯電話機の概略構成例を示す機能ブロック図である。
First Embodiment A first embodiment of the present invention is a camera-equipped mobile phone / PHS (Personal Handy-Phone System) equipped with an in-focus state display device (hereinafter simply “mobile” Abbreviated as “telephone”). FIG. 1 is a diagram showing an external appearance of a camera built-in mobile phone provided with an in-focus state display device. FIG. 1A is a rear perspective view of the mobile phone according to the present embodiment, and FIG. 1B is a front perspective view thereof. FIG. 14 is a functional block diagram showing a schematic configuration example of the mobile phone according to the present embodiment.
図1において、カメラ内蔵型携帯電話機10は、本体部10aと、無線通信を行うためのアンテナ111とからなり、本体部10a背面においては、画像を撮像するためのカメラ112(撮像手段)、点滅又は点灯により合焦状態を知らせるためのLED(発光ダイオード)113(発光手段)、音声又は音により合焦状態を知らせるためのスピーカ114(発音手段)、サブ画面を表示するための小型LCD(液晶ディスプレイ)表示部116(表示手段)を備えている。
In FIG. 1, a camera built-in
また、本体部10a正面においては、メイン画面を表示するためのLCD表示部115(表示手段)、電源のON/OFFを行うための電源キー117、着信、発信、電話機能切り替え、動作決定等の操作を行うための電話機能キー118、各種機能を切り替えるためのモードキー119、選択対象を上下左右方向に移動させるためのカーソルキー120、カメラ112から入力される画像の撮像を決定するためのシャッターキー121、電話番号の入力等ダイヤルするためのメンブレンキー(Membrane key)からなるダイヤルキー122、受話を行うための拡声用スピーカ123、及び音声を入力するためのマイク124を備えている。
Further, on the front surface of the
ここで、カメラ112は、携帯装置内蔵用の小型軽量カメラであり、例えば、30万画素のCCD(Charge Coupled Device、エリア型固体撮像素子)カメラとすることができる。
Here, the
また、LCD表示部115及び116は、ドットマトリクス構成のLCDディスプレイ、バックライトであるPDP(プラズマディスプレイパネル)、有機EL(Electron Luminescence)等の装置と、これらの装置と携帯電話機10の内部システムとの間のインターフェイスである各種ドライバとから構成されている。
The
携帯電話機10を操作時には、LCD表示部115及び116には、各種操作を行うためのガイダンスや受信情報、画像やテキスト情報、アイコンなどを表示する。
When the
カメラ112により撮影を行うときには、LCD表示部115及び116には、カメラ112から入力される画像とともに、合焦状態を表示するようになっている。ユーザがカメラ112の位置を調整すると、これに合わせて変化する撮影対象の合焦状態を認識できるようになっており、ピントが合うとそのことがLCD表示部115及び116に表示されるとともに、スピーカ114又は拡声用スピーカ123により所定の音を発生してユーザに通知されるものとする。
When shooting with the
尚、本実施形態の携帯電話機おいて、上記の合焦状態の表示及びピントが合ったことの通知は、LCD表示部115及び116、LED113、スピーカ114、又は拡声用スピーカ123のいずれかにより、あるいはこれらの組み合わせにより行うようにすることができる。
In the mobile phone of the present embodiment, the display of the above-described in-focus state and the notification that the focus is achieved are performed by either the
図14に示すように、本実施の形態による携帯電話機10は、装置全体を制御するCPU(制御部)231(例えば、撮影手順切替手段、文字・コード等認識手段(OCR機能)と、情報処理手段、フレームレート制御手段、タイマ設定手段等を含む)、制御プログラムや固定データ等を記憶するROM、CPUの作業用記憶領域であるRAM等の半導体メモリ及びハードディスクなどからなり、受信又は入力された文字情報、画像情報、音声信号を記憶する記憶メモリ232と、対象となる画像情報を入力するカメラ112(撮像手段)と、撮像時等にユーザ操作により発光するライト234(照明手段)と、文字情報や画像情報をユーザに表示するLCD表示部115(表示手段、出力(報知)手段の一部)と、ユーザからのキー操作情報を入力生成するキー入力部122と、電波を送受信するためのアンテナ111と、無線通信の送受信を制御する無線部238と、音声信号を出力するスピーカ114(出力(報知)手段の一部)と、ユーザから音声信号を入力するマイク124とを備えている。
As shown in FIG. 14, the
制御部231は、携帯電話機10全体を制御するとともに、OCR機能を有し、キー操作に基づいて、カメラ112による文字等の撮影、画像情報の表示、文字等の認識、認識した内容に基づく処理を行う。
The
特に、制御部231は、自然画などを撮影する場合と、文字認識(OCR)、取り込みなどを目的として文字やバーコードなどを撮影するOCR機能モードにおける撮影の場合とで少なくとも処理の一部を切り替える撮影手順切替手段と、OCR機能モードに切り替えられた場合、文字・バーコード等の認識を行うOCR機能と、OCR機能により認識された結果などをユーザに報知する報知手段と、OCR機能により認識された内容に基づいて所定の処理を行う情報処理手段としての機能を有する。
In particular, the
また、OCR機能モードに切り替えた時に、OCR機能を起動するまではカメラ112から得られる高速なフレームレートにて表示部115に画像を表示し、OCR機能の起動後はOCR機能にとって必要なフレームレートにより画像を撮像・表示するフレームレート制御手段としての機能を有する。
In addition, when switching to the OCR function mode, an image is displayed on the
ROMは、制御部231が動作する際に必要なプログラム、通信制御データ等の固定データを記憶する読出し専用の半導体メモリである。RAMは、バーコード認識や通信に関するデータ、演算に使用するデータ及び演算結果等を一時的に記憶するいわゆるワーキングメモリとして使用される。携帯電話機10で処理されるプログラムは、このRAMに展開されて実行される。
The ROM is a read-only semiconductor memory that stores fixed data such as a program and communication control data required when the
図15は、カメラ112のレンズ焦点深度切換機構の構成例を模式的に示す図であり、通常撮影時とOCR機能モードとの焦点深度切換機構の例を示す図である。図15に示すように、レンズ焦点深度切換機構は、CCD等の固体撮像素子とその信号出力回路とを有するカメラモジュール250と、内部にレンズ251を有し、カメラモジュール250上に例えばネジ嵌合されるレンズユニット252と、レンズユニット252外周部に取り付けられ、このレンズユニット252を回動させるカメラレバー253とを備えている。レンズユニット252は、カメラモジュール250にネジで嵌合されており、カメラレバー253のツマミ253aをA←→B方向に動かすと、レンズユニット252は、カメラモジュール250に対してX←→Y方向に移動する。これにより、レンズユニット252に装着されたレンズ251とカメラモジュール250との焦点距離が切換えられ、通常撮影とOCR機能動作時の焦点深度が切換えられる。本実施の形態では、OCR機能動作時に、制御部231(図14)からの駆動信号を受けたソレノイド等からなる駆動部(図示略)によりカメラレバー253がスライドし、自動的に焦点深度が切換わる。尚、カメラ本体にカメラレバー253のツマミ253aに連動するスライドツマミを設け、OCR機能動作時等のマクロ撮影時にユーザが手動により切換える構成としてもよい。
FIG. 15 is a diagram schematically illustrating a configuration example of the lens focal depth switching mechanism of the
図2は、本実施形態の携帯電話機10に備えられる合焦状態表示装置の構成を示す機能ブロック図である。
FIG. 2 is a functional block diagram showing the configuration of the in-focus state display device provided in the
図2において、本実施形態の合焦状態表示装置は、撮像装置20(携帯電話機10のカメラ112に相当する)、フォーカス領域抽出部21、エッジ強調処理部22、ヒストグラム処理部23、分散値算出処理部24、時間積算値算出処理部25、合焦状態判別手段26、合焦状態表示手段31及び表示画像合成部32を備えている。
In FIG. 2, an in-focus state display device of the present embodiment includes an imaging device 20 (corresponding to the
撮像装置20から取り込んだ画像は、フォーカス領域抽出部21、エッジ強調処理部22、ヒストグラム処理部23、分散値算出処理部24、時間積算値算出処理部25、合焦状態判別手段26及び合焦状態表示手段31において処理されて、合焦状態の表示画像が生成される。この合焦状態の表示画像と撮像装置20から取り込んだ画像とが表示画像合成部32において合成されてLCD表示部115及び116に出力されるようになっている。
The image captured from the
尚、本実施形態の合焦状態表示装置及びこれを備えたカメラ内蔵型携帯電話機において、上記で説明した以外の構成部分については、従来のものと同様に構成されているものとし、ここでは説明を省略する。 Note that in the in-focus state display device of this embodiment and the camera-equipped mobile phone including the same, the components other than those described above are configured in the same manner as the conventional one. Is omitted.
次に、図2を参照しながら、上記した本実施形態の携帯電話機10及びこれに備えられた合焦状態表示装置の動作について説明する。
Next, the operation of the
本実施形態の携帯電話機10のカメラ112により画像を撮像すると、撮像装置20において取り込まれた画像は、フォーカス領域抽出部21において、すなわちフォーカス領域が設定され、このフォーカス領域の範囲内に含まれる画像信号の輝度信号が取り出される。
When an image is captured by the
図3は、このときのフォーカス領域の設定及び画像の抽出を概略的に示す図である。図3において、撮像装置20により取り込んだ画像41の中央部分に長方形のフォーカス領域42を設定し、フォーカス領域42に含まれる画像信号を抽出する。尚、このフォーカス領域の寸法、形状、位置等については、任意に変更することができ、ユーザが任意に設定することができるようにしてもよい。
FIG. 3 is a diagram schematically showing setting of the focus area and extraction of the image at this time. In FIG. 3, a
フォーカス領域抽出部21において取り出された画像の輝度信号は、エッジ強調処理部22において、空間微分オペレータを用いた局所積和演算を施され、絶対値処理されて、エッジ強調された画像信号データが生成される。図4に、エッジ強調処理部22において用いる空間微分オペレータを例示する。
The luminance signal of the image taken out by the focus
この後、本実施形態の合焦状態表示装置において、上記エッジ強調された画像信号データに基づいて合焦状態を判別するには、以下の2つの方法がある。 Thereafter, in the in-focus state display device of the present embodiment, there are the following two methods for determining the in-focus state based on the edge-enhanced image signal data.
第1の方法では、時間積算値算出処理部25において、エッジ強調をされた信号を一定時間積算した時間積算値を算出する。ここで、一定時間とは、上記信号の値の一時的な変動による影響を抑え、画像信号を平均化するのに必要な時間として設定するものとする。これにより、合焦状態の判別を安定させることができる。
In the first method, the time integration value
続いて、合焦状態判別手段26において、時間積算値算出処理部25において算出した時間積算値を所定の値で割り算しオフセット値を加算することにより、合焦状態の値を算出する。合焦状態の値が大きければ合焦と判断し、合焦状態の値が小さければ合焦していないと判断する。
Subsequently, the in-focus
第2の方法では、ヒストグラム処理部23において、エッジ強調をされた信号の値に対して、エッジ強度と度数との関係について図13に示すようなヒストグラムを生成する。その後、分散値算出処理部24において、上記ヒストグラムのある閾値以上のみの信号を利用して信号の分散値を算出する。
In the second method, the
続いて、時間積算値算出処理部25において、上記算出した分散値を一定時間積算した時間積算値を算出する。ここで、一定時間とは、上記同様、画像信号の値の一時的な変動による影響を抑え、画像信号を平均化するのに必要な時間であるが、第1の方法における一定時間より長い時間を設定するものとする。
Subsequently, the time integrated value
続いて、合焦状態判別手段26において、時間積算値算出処理部25において算出した画像信号の時間積算値を所定の値で割り算しオフセット値を加算することにより、合焦状態の値を算出する。合焦状態の値が大きければ合焦と判断し、合焦状態の値が小さければ合焦していないと判断する。
Subsequently, the in-focus
上記第2の方法において、ヒストグラムのある閾値以上のみを利用するのは、図3に示すフォーカス領域42内の高周波ノイズやユーザの手ブレ等によりできたエッジを除去し、それらの影響を抑制するためである。
In the second method, the use of only a threshold value or higher in the histogram removes edges caused by high-frequency noise in the
また、ヒストグラムから分散値を算出するときに、ある閾値以上、ある閾値以下のみの値を利用して分散値を求める方法を採用してもよい。これは、暗いところで撮影した場合に起こるランダム雑音により検出されるエッジを除去する効果がある。 In addition, when calculating the variance value from the histogram, a method of obtaining the variance value by using a value not less than a certain threshold value and not more than a certain threshold value may be employed. This has the effect of removing edges detected by random noise that occurs when shooting in a dark place.
通常、マニュアルカメラでピントを合わせる場合、フォーカスリングを移動させることでピントを合わせるが、携帯端末装置などの固定焦点カメラの場合、ユーザが携帯端末を上下に動かして決められた焦点距離に合わせる必要がある。このため、本実施形態の撮像装置20では、図3に示すフォーカス領域42内の画像が上下方向に大きく変化し、画像信号の時間積算値が大きく変動してしまう。
Normally, when focusing with a manual camera, the focus is adjusted by moving the focus ring. However, in the case of a fixed focus camera such as a mobile terminal device, the user needs to move the mobile terminal up and down to the determined focal length. There is. For this reason, in the
上記したように、分散値算出処理部24において算出した分散値を利用して時間積算値を算出することにより、フォーカス領域内の画像の変化による影響を抑制して、安定した値を算出することができる。
As described above, by calculating the time integration value using the variance value calculated by the variance value
上記第1の方法と第2の方法とを比較すると、第1の方法は、第2の方法よりも算出される合焦状態の値の精度は低いが、処理にかかる時間が早いという利点がある。逆に、第2の方法は、第1の方法よりも処理に長い時間がかかるものの、算出される合焦状態の値の精度は高いという利点がある。 When comparing the first method and the second method, the first method has the advantage that the accuracy of the in-focus state value calculated is lower than that of the second method, but the processing time is faster. is there. On the other hand, the second method has an advantage that the accuracy of the calculated value of the in-focus state is high although the processing takes a longer time than the first method.
尚、本実施形態では、上記第1の方法及び第2の方法のいずれを用いてもよい。あるいは、両方の方法により時間積算値を求めておき、精度のよい方(高い方)の値を採用するようにしてもよい。 In the present embodiment, either the first method or the second method may be used. Alternatively, the time integrated value may be obtained by both methods, and the more accurate (higher) value may be adopted.
又、本実施形態では、上記第1の方法及び第2の方法において、フォーカス領域抽出部21により撮像装置20において取り込まれた画像からフォーカス領域の範囲内に含まれる画像信号の輝度信号を取り出すことにより、後段の演算処理にかかる時間の短縮及び不要な画像部分の影響による合焦状態の判定精度の低下防止を図るようにしたが、これに限定されるものではなく、高速演算処理の可能なCPUを用いたり、不要な画像部分が存在しない場合には、フォーカス領域抽出部21による切り出しを行うことなく、撮像装置20において取り込まれた全ての画像について画像信号の輝度信号を取り出すようにしても良い。
In the present embodiment, in the first method and the second method, the luminance signal of the image signal included in the range of the focus area is extracted from the image captured by the
又、本実施形態では、上記第1の方法及び第2の方法において、エッジ強調処理部22によりエッジ強調を行うことにより、エッジ部分が不明瞭な画像における合焦状態の判定精度の向上を図るようにしたが、これに限定されるものではなく、エッジ部分が不明瞭な画像が存在しない場合には、エッジ強調処理部22によるエッジ強調を行うことなく、フォーカス領域抽出部21により抽出された輝度信号又は撮像装置20において取り込まれた全ての画像についての画像信号の輝度信号を以後の処理に用いるようにしても良い。
In this embodiment, in the first method and the second method described above, edge enhancement is performed by the edge
更に、本実施形態では、上記第2の方法において、分散値算出処理部24により算出した分散値を、時間積算値算出処理部25により一定時間積算して時間積算値を算出することにより、信号の値の一時的な変動による影響を抑え、合焦状態の判定精度の向上を図るようにしたが、これに限定されるものではなく、分散値算出処理部24により算出した分散値を以後の処理に用いるようにしても良い。
Further, in the present embodiment, in the second method, the variance value calculated by the variance value
上記において、合焦状態判別手段26で算出された合焦状態の値は、合焦状態表示手段31に入力される。合焦状態表示手段31は、合焦状態の値に基づいて、ユーザに合焦状態を表示及び通知するための処理を行う。
In the above description, the value of the focus state calculated by the focus
合焦状態表示手段31は、合焦状態の値に応じた合焦状態表示画像を生成し、これを表示画像合成部32に出力する。また、合焦状態表示手段31は、所定の場合には、LED点滅点灯装置113を点灯又は点滅させる信号を出力し、あるいはスピーカ114及び123を発音させる信号を出力することができる。
The focus state display means 31 generates a focus state display image corresponding to the value of the focus state, and outputs this to the display
ここで、上記所定の場合とは、例えば、合焦状態の値が最高値となった場合であり、このとき撮像装置20においてピントが合っていることになる。これを、LED点滅点灯装置113を点灯又は点滅させ、あるいはスピーカ114及び123に所定の音を発音させることによりユーザに知らせることができる。
Here, the predetermined case is, for example, a case where the value of the in-focus state becomes the maximum value, and the
以下に、図5〜図11を参照しながら、LCD表示部115及び116上での合焦状態の表示例について具体的に説明する。合焦状態表示手段31は、予めこれらの表示を行うことができるように設定されているものとする。
Hereinafter, a display example of the in-focus state on the
図5〜図11は、上記のような合焦状態表示装置を備えた本実施形態の携帯電話機10のLCD表示部115及び116上で合焦状態を表示する形態を示す図である。
FIG. 5 to FIG. 11 are diagrams showing forms in which the in-focus state is displayed on the
図5に示す表示形態では、合焦状態を棒グラフにより表示している。図5において、LCD表示部115又は116上の表示画面53には、合焦状態表示グラフ51が表示されており、ゲージが右に上がるほど合焦状態の値が高いことを示している。
また、バー52は、これまでの合焦状態の最大値を示している。
In the display form shown in FIG. 5, the in-focus state is displayed as a bar graph. In FIG. 5, an in-focus
A
このような合焦状態表示により、ユーザは、表示画面53を見ながら本実施形態の携帯電話機10を上下に動かして、合焦状態表示グラフ51のゲージが最大になったところがカメラ112の合焦位置であると判断して撮影を行うことができる。
With such focus state display, the user moves the
図6に示す表示形態では、合焦状態をレベルメータにより表示している。図6において、LCD表示部115又は116上の表示画面63には、合焦状態表示レベルメータ61が表示されており、レベルメータの表示レベルがminからmaxに向かって時計回り方向に上がるほど合焦状態の値が高いことを示している。また、バー62は、これまでの合焦状態の最大値を示している。
In the display form shown in FIG. 6, the in-focus state is displayed by a level meter. In FIG. 6, an in-focus state
このような合焦状態表示により、ユーザは、表示画面63を見ながら本実施形態の携帯電話機10を上下に動かして、合焦状態表示レベルメータ61の表示レベルが最大になったところがカメラ112の合焦位置であると判断して撮影を行うことができる。
With such in-focus state display, the user moves the
図7に示す表示形態では、合焦状態を数値により表示している。図7において、LCD表示部115又は116上の表示画面73には、表示ウィンドウ71において合焦状態に対応した数値が表示されており、この数値の値が高いほど合焦状態の値が高いことを示している。また、表示ウィンドウ72には、これまでの合焦状態の最大値が表示されている。
In the display form shown in FIG. 7, the in-focus state is displayed by numerical values. In FIG. 7, a numerical value corresponding to the in-focus state is displayed in the
このような合焦状態表示により、ユーザは、表示画面73を見ながら本実施形態の携帯電話機10を上下に動かして、表示ウィンドウ71に表示される合焦状態に対応した数値が最大になったところがカメラ112の合焦位置であると判断して撮影を行うことができる。
With such in-focus state display, the user moves the
図8に示す表示形態では、合焦状態を図形の個数により表示している。図8において、LCD表示部115又は116上の表示画面83には、合焦状態に対応した個数の図形81が表示されており、この図形81の個数が大きいほど合焦状態の値が高いことを示している。このような表示を行うには、例えば、合焦状態の値を所定の値で割った商の個数分、図形を表示させるようにすればよい。また、図形82は、これまでの合焦状態の最大値に対応する図形の個数を表示している。
In the display form shown in FIG. 8, the in-focus state is displayed by the number of figures. In FIG. 8, the number of figures 81 corresponding to the in-focus state is displayed on the
尚、図8では、例として短冊状の四角形を表示しているが、これ以外にも任意の形状の図形を用いて表示することができる。 In FIG. 8, a strip-like square is displayed as an example, but other shapes can be used for display.
このような合焦状態表示により、ユーザは、表示画面83を見ながら本実施形態の携帯電話機10を上下に動かして、表示される図形81の個数が最大になったところがカメラ112の合焦位置であると判断して撮影を行うことができる。
With such focus state display, the user moves the
図9に示す表示形態では、合焦状態を色の変化により表示している。図9において、LCD表示部115又は116上の表示画面93には、合焦状態に対応した色のブロック91が表示されており、このブロック91の色が合焦状態の値と対応している。
In the display form shown in FIG. 9, the in-focus state is displayed by a color change. In FIG. 9, a
図10は、このときのブロック91の色と合焦状態の値との関係を記録するカラーテーブルの構成例を示す図である。通常、表示画面93に表示されるブロック91の色は、RGBの色要素により決定されるが、これらの色要素の値と合焦状態の値とを関連付けてカラーテーブルに記録しておけばよい。
FIG. 10 is a diagram showing a configuration example of a color table that records the relationship between the color of the
図10に示す例では、ブロック91の色が緑色に近づくほど合焦状態の値が高く、赤色に近づくほど合焦状態の値が低くなるように構成されている。もちろん、本実施形態の合焦状態表示装置による表示形態はこれに限定されるわけではなく、任意の構成のカラーテーブルを利用することができる。
In the example illustrated in FIG. 10, the in-focus state value increases as the color of the
このような合焦状態表示により、ユーザは、表示画面93を見ながら本実施形態の携帯電話機10を上下に動かして、表示されるブロック91の色が最も緑色に近づいたところがカメラ112の合焦位置であると判断して撮影を行うことができる。
With this focus state display, the user moves the
図11に示す表示形態では、合焦状態を表示される文字の濃度により表示している。図11において、LCD表示部115又は116上の表示画面103には、「ピントが合っています。」という文字101が、合焦状態の値に対応した濃度で表示されている。
In the display form shown in FIG. 11, the focused state is displayed by the density of the displayed characters. In FIG. 11, on the
ここで、文字101の濃度は、合焦状態の値に応じて所定の範囲内で変動するように構成されており、例えば、0(黒)〜255(白)の範囲で表示することができる。
Here, the density of the
このような合焦状態表示により、ユーザは、表示画面103を見ながら本実施形態の携帯電話機10を上下に動かして、表示される文字101が最も濃く表示されるところがカメラ112の合焦位置であると判断して撮影を行うことができる。
With such in-focus state display, the user moves the
第2実施形態
本実施形態において、合焦状態表示装置及びこれを備えた携帯電話機10の構成は、図1及び図2に示す第1実施形態のものと同様であるため、説明を省略する。
Second Embodiment In the present embodiment, the configuration of the in-focus state display device and the
第1実施の形態では、図5〜図11に示すように、LCD表示部115及び116の表示画面に合焦状態を表示するよう構成しているが、本発明の第2実施形態では、LCD表示部115及び116上での表示に代えて、あるいはこれに加えて、携帯電話機10に備えたLED113を所定の方法で点滅又は点灯させることにより、合焦状態をユーザに通知することを特徴とする。
In the first embodiment, as shown in FIGS. 5 to 11, the in-focus state is displayed on the display screens of the
上記LED113を所定の方法で点滅させる態様としては、例えば、図2において、合焦状態表示手段31は、所定の値を合焦状態の値で割った値を随時算出し、この値をピッチとしてLED113を点滅させるように構成することができる。これにより、合焦状態の値が高くなるほどLED113の点滅のピッチが早くなり、ユーザはこれをもとにカメラ112の合焦状態を判断することができる。
As a mode for causing the
また、上記LED113を所定の方法で点灯させる態様としては、例えば、図2において、合焦状態表示手段31は、合焦状態の値が所定の値より大きいかどうかを判断し、所定の値より大きい場合には、LED113を点灯させるように構成することができる。これにより、合焦状態の値が所定の値を超えるとLED113が点灯するので、ユーザはこれをもとにカメラ112の合焦状態を判断することができる。
Further, as a mode of lighting the
第3実施の形態
本実施形態において、合焦状態表示装置及びこれを備えた携帯電話機10の構成は、図1及び図2に示す第1実施形態のものと同様であるため、説明を省略する。
Third Embodiment In this embodiment, the configuration of the in-focus state display device and the
第1実施形態では、図5〜図11に示すように、LCD表示部115及び116の表示画面に合焦状態を表示するよう構成しているが、本発明の第3実施形態では、LCD表示部115及び116上での表示に代えて、あるいはこれに加えて、携帯電話機10に備えたスピーカ114又は123に所定の発音をさせることにより、合焦状態をユーザに通知することを特徴とする。
In the first embodiment, as shown in FIGS. 5 to 11, the in-focus state is displayed on the display screens of the
上記スピーカ114又は123に所定の発音をさせる態様としては、例えば、図2において、合焦状態表示手段31は、所定の値を合焦状態の値で割った値を随時算出し、スピーカ114又は123においてこの値に対応する周波数の音を発生させるように構成することができる。これにより、合焦状態の値が高くなるほどスピーカ114又は123により発せられる音の周波数が高くなり、ユーザはこれをもとにカメラ112の合焦状態を判断することができる。
As an aspect for causing the
また、スピーカ114又は123に所定の発音をさせる他の態様としては、例えば、図2において、合焦状態表示手段31は、合焦状態の値が所定の値より大きいかどうかを判断し、所定の値より大きい場合には、スピーカ114又は123に所定の発音をさせるように構成することができる。これにより、合焦状態の値が所定の値を超えるとスピーカ114又は123に所定の発音をするので、ユーザはこれをもとにカメラ112の合焦状態を判断することができる。
As another mode for causing the
第4実施形態
本発明の第4実施形態は、第1実施形態と同様、合焦状態表示装置を備えたカメラ内蔵型携帯電話機である。図12は、この携帯電話機に備えられる合焦状態表示装置の構成を示す機能ブロック図である。図中、図2と同一の符号を付した構成部分は、同一のものを示しており、これらについては説明を省略する。
Fourth Embodiment A fourth embodiment of the present invention is a mobile phone with a built-in camera equipped with an in-focus state display device, as in the first embodiment. FIG. 12 is a functional block diagram showing a configuration of a focus state display device provided in the mobile phone. In the figure, the same reference numerals as those in FIG. 2 denote the same components, and description thereof will be omitted.
図12において、本実施形態の合焦状態表示装置は、図2に示す表示画像合成部32に代えて、画像データ信号の空間周波数成分の高域成分を除去するBPF(バンドパスフィルタ)80(フィルタ手段)を備えている。
In FIG. 12, the in-focus state display device of this embodiment replaces the display
BPF80は、撮像装置20から出力された画像データ信号に対して、8×8、16×16等の画素ブロックごとにFFT(高速フーリエ変換)、DCT(離散コサイン変換)、アダマール変換などの直交変換を適用し、各ブロックの所定範囲の周波数成分のみを用いて逆変換した後、この画像信号データをLCD表示部115及び116に出力することができる。
The
合焦状態表示手段31は、合焦状態判別手段26から出力される合焦状態の値が低くなるほど、BPF80において画像データ信号から除去する周波数成分の範囲(高域成分)を広げるようBPF80を制御する。
The in-focus
上記において、合焦状態の値に応じてBPF80により画像データ信号から除去する周波数成分の範囲を変化させる態様としては、例えば、以下のようにすればよい。
In the above, as a mode of changing the range of the frequency component to be removed from the image data signal by the
合焦状態表示手段31は、合焦状態の値を所定の値で割った値を算出する。BPF80は画像データ信号を画素ブロックごとに直交変換した後、合焦状態表示手段31が算出した上記値を取得し、画像データ信号に含まれる空間周波数成分の全周波数範囲のうち、上記値に対応する割合(パーセンテージ等)を周波数の低い方から取り出し、これを逆変換するとともに、その他の周波数範囲の成分を0にして、LCD表示部115及び116に出力する。
The focus state display means 31 calculates a value obtained by dividing the value of the focus state by a predetermined value. The
このような合焦状態表示により、ユーザは、LCD表示部115及び116の表示画面を見ながら本実施形態の携帯電話機10を上下に動かして、表示される画像のボケが小さいところがカメラ112の合焦位置であると直感的に判断して撮影を行うことができる。
With such in-focus state display, the user moves the
上記各実施形態のカメラ内蔵型携帯電話機及びこれに備えられた合焦状態表示装置によれば、カメラ112から取り込んだ画像データ信号に対して、フォーカス領域抽出部21、エッジ強調処理部22、ヒストグラム処理部23、分散値算出処理部24、時間積算値算出処理部25等において所定の処理を行った後、その合焦状態を合焦状態判別手段26により判別し、合焦状態表示手段31によって、LCD表示部115及び116、LED113、スピーカ114及び123を通じて、ユーザに分かりやすい直感的な方法で合焦状態を表示又は通知することができる。
According to the camera built-in mobile phone of each of the above embodiments and the in-focus state display device provided therein, the focus
これにより、携帯電話機10により画像を撮影しようとするユーザは、視覚的又は聴覚的に表示される合焦状態を参照することにより、容易に合焦の確認及び調節を行うことができる。
Thereby, a user who intends to take an image with the
第5実施形態
本実施の形態において、撮影対象に文字が含まれる。ここでいう「文字」とは、一般的な言語、文字とともに、バーコードなどのコードも含む。要するに、その撮影対象自体が一般的又は普遍的な意味を有するように取り決めされている表示を意味する。
Fifth Embodiment In the present embodiment, characters are included in the shooting target. The “characters” here include codes such as bar codes as well as general languages and characters. In short, it means a display arranged so that the subject itself has a general or universal meaning.
最近、カメラ内蔵型携帯電話機の機能向上は著しいものがあり、例えば、10万画素レベルの画素数を有する携帯電話機も開発が進んでいる。また、画素数の向上により従来は難しかった種々の応用が可能となる。その1つとして携帯電話機にOCR機能を搭載することが考えられる。ところが、従来の携帯電話機では、画素数が10万程度であったため、例えば名刺に記載されている事項、例えば、氏名、会社名、電話・FAX番号やメールアドレスなどの文字を携帯電話機に設けられたカメラにより直接撮影して携帯電話機内に取得することは難しかった。 Recently, there has been a remarkable improvement in the functions of mobile phones with built-in cameras. For example, mobile phones having the number of pixels of the 100,000 pixel level have been developed. In addition, various applications that have been difficult in the past can be achieved by improving the number of pixels. As one of them, it is conceivable to install an OCR function in a mobile phone. However, in the conventional mobile phone, since the number of pixels is about 100,000, for example, items such as name, company name, telephone / fax number, and mail address can be provided on the mobile phone. It was difficult to take a picture directly with a camera and obtain it in a mobile phone.
本実施の形態による携帯電話機は、上記各実施の形態による合焦状態表示装置を適用したものである。カメラ内蔵型の携帯電話機において、デジタルカメラの画素数を100万画素レベルにまで向上させると、小型のデジタルスチルカメラと同等の画素数レベルとなり、ユーザにとって満足できる画質の撮像が可能となる。発明者は、このような高画素化されたカメラ内蔵携帯電話機にOCR機能を設けることにより、従来の携帯電話機では困難であった、例えば名刺に記載されている事項、例えば、氏名、会社名、電話・FAX番号やメールアドレスなどの文字を携帯電話機に設けられたカメラにより直接撮影して携帯電話機内に取得してメモリに記憶させたり、取得した電話番号やメールアドレスに基づいて、直接、電話をかけたりかけ、メールを送ったりすることができると考えた。その際、画素数が大きくなると、合焦距離を離して長い文字列(URLなど)を撮影することが可能になる。但し、長い文字列を一括して認識しようとすると、文字自体は小さくなるため、一般撮影モードから接写モードへの変更が簡単にできるのが好ましいが、従来の装置ではこの点に関する技術的配慮がなかった。また、小さい文字列を良好な状態で撮影しこれを正確に認識させるためには、撮影時における撮像対象である文字列を表示画面上において正確に位置合わせすることが好ましいが、従来の装置ではこの点に関する技術的配慮もなされていない。 The cellular phone according to the present embodiment applies the in-focus state display device according to each of the above embodiments. When the number of pixels of a digital camera is increased to a million pixel level in a camera built-in mobile phone, the pixel number level is equivalent to that of a small digital still camera, and imaging with satisfactory image quality for a user is possible. The inventor has provided an OCR function to such a camera-equipped mobile phone with a high pixel count, which has been difficult with conventional mobile phones, for example, items described on business cards, such as name, company name, Characters such as phone / fax numbers and e-mail addresses are directly captured by the camera provided on the mobile phone and acquired in the mobile phone and stored in the memory, or directly based on the acquired phone number and e-mail address. I thought that I could send and send emails. At this time, when the number of pixels increases, it becomes possible to photograph a long character string (such as a URL) at a distance away from the focusing distance. However, since it is preferable to easily change from the general shooting mode to the close-up mode when trying to recognize long character strings all at once, it is preferable to change the mode from the general shooting mode to the close-up mode. There wasn't. Also, in order to capture a small character string in a good state and accurately recognize it, it is preferable to accurately align the character string that is the imaging target at the time of shooting on the display screen. There is no technical consideration regarding this point.
図32は、名刺上に印刷されているURLなどを本実施の形態によるカメラ内蔵型携帯電話機を用いて撮影する様子を例示的に示した図である。図32に示すように、レンズLSの画角を40°とし、接写状態での合焦状態となる距離Hを10cmとすると、撮像可能な被写体の幅Wは7.28cmであり、この幅であれば、名刺NCに印刷されているURLなどを一括して撮影可能である。但し、表示手段(メインLCD、サブLCDのいずれであっても)に表示される文字列が小さくなるため、合焦状態であるか否かの確認が非常にとりにくくなる。そこで、上記の各実施の形態による合焦状態表示手段を有効に機能させることができる。 FIG. 32 is a diagram exemplarily showing a state in which a URL or the like printed on a business card is photographed using the camera-equipped mobile phone according to the present embodiment. As shown in FIG. 32, when the angle of view of the lens LS is 40 ° and the distance H at which the close-up state is in focus is 10 cm, the width W of the imageable subject is 7.28 cm. If there is, it is possible to photograph the URL printed on the business card NC in a batch. However, since the character string displayed on the display means (whether the main LCD or the sub LCD) is small, it is very difficult to confirm whether or not it is in focus. Therefore, the in-focus state display unit according to each of the above embodiments can function effectively.
以下に、本発明の第5の実施の形態による合焦状態表示装置を備えたカメラ内蔵型携帯電話機について図面を参照しつつ説明を行う。図16から図20までは、本実施の形態による合焦状態表示装置を備えたカメラ内蔵型携帯電話機における処理の流れをOCR機能に焦点を当てて説明したフローチャート図である。図21から図31までは、処理の流れに沿って表示手段に表示される内容を示す図である。 Hereinafter, a camera built-in mobile phone provided with an in-focus state display device according to a fifth embodiment of the present invention will be described with reference to the drawings. FIG. 16 to FIG. 20 are flowcharts illustrating the processing flow in the camera-equipped mobile phone including the in-focus state display device according to the present embodiment, focusing on the OCR function. FIG. 21 to FIG. 31 are diagrams showing contents displayed on the display means along the processing flow.
待受画面301において、カメラモードに設定しステップS1においてカメラ起動処理を行うと、表示画面302にカメラ起動中の表示が行われる(ステップS2)。ステップS3においてカメラ起動が完了すると、表示手段にスルー画像が表示され(図21、303)る。この画面から、シャッタ押下、メニュー表示、キャンセルを選択することができる。ステップS4において撮影画像を第1メモリに上書き保存する。ここで、第1メモリとは、いわゆるバッファメモリのことであり、撮像動作中において撮像対象の画像信号を常に上書きして一時保存している。ステップS5において、第1メモリに保存した撮影画像を表示手段に表示させる(309)。撮影をキャンセルする場合には、キャンセルを選択することにより、ステップS15の待受画面(待受モード)(310)に戻る。ここで実際に通常の撮影を行う場合には、ステップS7をスルーし(メニューボタン押下でNo)、ステップS8においてシャッタボタン押下動作を行う(Yes)。シャッタボタン押下を行うまでは、ステップS4からステップS8までの処理を繰り返す。
When the camera mode is set in the
ステップS8においてシャッタボタンを押下すると、ステップS9において、確認画面が表示される(図21、304)。ここで、キャンセルを選択すると(ステップS10)、ステップS4に戻る。キャンセルを選択せずに、ステップS11において保存を選択すると、保存中の表示が行われる(図21の306、図22の311〜312)。保存中の所定時間内にキャンセルを選択すると(ステップS11のNo)、ステップS9に戻る。保存を選択して所定時間が経過すると、実際に撮影画像全体の画像データを保存することができる。すなわち、ステップS12において第1メモリに保存した撮影画像を例えばJPEG圧縮し、ステップS13において圧縮された画像データを第2メモリ(例えば不揮発性メモリカードなど)に保存する(ステップS13、図22の313〜314)。次いで、ステップS14に進みカメラ機能を停止させると、ステップS15において待受モードとなりその旨の表示がなされる(ステップS15、図21の301、図22の310)。 When the shutter button is pressed in step S8, a confirmation screen is displayed in step S9 (FIG. 21, 304). Here, when cancel is selected (step S10), the process returns to step S4. If save is selected in step S11 without selecting cancel, a display during saving is performed (306 in FIG. 21 and 311 to 312 in FIG. 22). If cancel is selected within the predetermined time during storage (No in step S11), the process returns to step S9. When saving is selected and a predetermined time has elapsed, the image data of the entire captured image can be actually saved. That is, the photographed image stored in the first memory in step S12 is JPEG-compressed, for example, and the compressed image data in step S13 is stored in the second memory (for example, a nonvolatile memory card) (step S13, 313 in FIG. 22). ~ 314). Next, when the camera function is stopped in step S14, the standby mode is set in step S15, and a message to that effect is displayed (step S15, 301 in FIG. 21, 310 in FIG. 22).
ステップS7において、メニューボタン押下を選択すると(Yes)、ステップS16に進み、撮影サブメニュー画面が表示される(図21、305)。サブメニューには、例えば、1)から9)までの撮影に関する項目が表示される。ステップS18において、表示されたサブメニュー中から所望の項目を選択し、ステップS18において撮影モードの切替を行うか否かを決定する。撮影モードの切替を行わない場合には、選択された項目の設定となる。撮影モードの切替を行う場合(Yes)には、ステップS19に進み、撮影モードメニュー画面を表示させる(図21、307)。撮影モードメニューには、例えば1)〜4)までの項目が表示され、いずれを選択し決定処理を行うかにより、ステップS21からステップS24までのいずれかに進むことができる(図16のA〜D)。ステップS22の静止画を選択し、さらにYesを選択すると、ステップS4に戻って処理を行う。 If the menu button is selected to be pressed in step S7 (Yes), the process proceeds to step S16, and the shooting submenu screen is displayed (FIG. 21, 305). For example, items related to shooting from 1) to 9) are displayed in the submenu. In step S18, a desired item is selected from the displayed submenu, and in step S18, it is determined whether to switch the shooting mode. When the shooting mode is not switched, the selected item is set. If the shooting mode is to be switched (Yes), the process proceeds to step S19, and the shooting mode menu screen is displayed (FIG. 21, 307). In the shooting mode menu, for example, items 1) to 4) are displayed. Depending on which item is selected and the determination process is performed, the process can proceed to any of steps S21 to S24 (A to 16 in FIG. 16). D). When the still image in step S22 is selected and Yes is selected, the process returns to step S4 to perform processing.
ステップS23の動画が選択されると、図17に示すようにステップS25に進み、撮影画像を第1メモリに上書き保存する。次に、ステップS26において第1メモリに保存した撮影画像を表示させ、ステップS27においてキャンセルボタンを押下するか否かを判断し、キャンセルボタンを押すと(Yes)ステップS15の待受モードに戻る。キャンセルボタンを押さない場合には(No)、ステップS28に進み、メニューボタンを押下するか否かを判断する。以後、ステップS29からステップS38までは、図16のステップS11からS14までとほぼ同様の処理を動画撮影に関して行うものであり、フローチャート図に沿った説明は省略する。 When the moving image in step S23 is selected, the process proceeds to step S25 as shown in FIG. 17, and the captured image is overwritten and saved in the first memory. Next, the captured image stored in the first memory is displayed in step S26, and it is determined whether or not the cancel button is pressed in step S27. If the cancel button is pressed (Yes), the process returns to the standby mode in step S15. If the cancel button is not pressed (No), the process proceeds to step S28 to determine whether or not the menu button is pressed. Thereafter, from step S29 to step S38, processing similar to that of steps S11 to S14 in FIG. 16 is performed for moving image shooting, and the description along the flowchart is omitted.
ステップS24において文字読取を選択すると(Yes、図23の315)、図18のステップS39に進み、文字読取メニュー画面表示を行う(図23、316)。文字読取の項目としては、1)URL、2)メールアドレス、3)電話番号、4)英数字などが挙げられる。その他の項目が設けられていても良い。 If character reading is selected in step S24 (Yes, 315 in FIG. 23), the process proceeds to step S39 in FIG. 18 to display a character reading menu screen (FIGS. 23 and 316). Items for character reading include 1) URL, 2) mail address, 3) telephone number, 4) alphanumeric characters, and the like. Other items may be provided.
ステップS41において、URLが文字読取対象項目であるか否かを判断し、YesであればステップS42に進み、メモリ内の領域Xに1を格納する。ステップS41においてNoであれば、メールアドレスが文字読取対象項目であるか否かを判断し、YesであればステップS43に進み、メモリ領域Xに2を格納する。ステップS43においてNoであればステップS45に進み、電話番号が文字読取対象項目であるか否かを判断し、YesであればステップS46に進み、メモリ領域Xに3を格納する。ステップS45においてNoであればステップS47に進み、英数字が文字読取対象項目であるか否かを判断し、YesであればステップS48に進み、メモリ領域Xに4を格納する。ステップS47においてNoであればステップS49に進む。 In step S41, it is determined whether or not the URL is a character reading target item. If Yes, the process proceeds to step S42, and 1 is stored in the area X in the memory. If No in step S41, it is determined whether or not the mail address is a character reading target item. If Yes, the process proceeds to step S43 and 2 is stored in the memory area X. If No in step S43, the process proceeds to step S45 to determine whether or not the telephone number is a character reading target item. If Yes, the process proceeds to step S46 and 3 is stored in the memory area X. If No in step S45, the process proceeds to step S47, where it is determined whether or not alphanumeric characters are character reading target items. If Yes, the process proceeds to step S48, and 4 is stored in the memory area X. If No in step S47, the process proceeds to step S49.
ステップS49において撮影画像を第1メモリに上書き保存し、ステップS50において第1メモリに保存した撮影画像を表示手段に表示させる。この際、図23の表示画面317に示すように、例えば、撮影対象であるAbcdefのホームページのURLである“Abcdef.com”をスルー画像として表示されるとともに、合焦バーが表示される。例えば、「合焦バーの色が最も青色に近い時に撮影して下さい。」との表示がなされ、ユーザは、この表示に従って合焦状態を確認することができる。すなわち、ステップS51以下において合焦判定を行い、ステップS52において合焦判定結果を表示する。合焦判定及びその結果表示は、上記の各実施の形態において説明した処理を行えば良い。合焦が確認されれば、シャッタボタンを押下するか否かを判断する(ステップS53)。ステップS53においてNoであれば、ステップS54においてメニューボタン押下を行うか否かを判断する。メニューボタン押下を行う場合には(Yes)、図16のステップS19に戻り、撮影モードメニュー画面表示を行う。メニューボタン押下を行わない場合には(No)、ステップS55において、キャンセルボタンを押下するか否かを判断する。ステップS55においてNoであれば、ステップS49に戻る。Yesであれば、ステップS15に戻り待受モードとなる。
In step S49, the captured image is overwritten and stored in the first memory, and in step S50, the captured image stored in the first memory is displayed on the display means. At this time, as shown in the
ステップS53においてYesであれば、ステップS56に進み、図23の表示画面318に示すように、矩形のエリア318a内に“Abcdef.com”の影画像が表示される。
If Yes in step S53, the process proceeds to step S56, and a shadow image of “Abcdef.com” is displayed in the
次いで、ステップS57においてキャンセルボタンを押下するか否かを判断し、YesであればステップS49に戻る。Noであれば、ステップS58に進み認識ボタン押下を行うか否かを判断し、NoであればステップS56に戻り、YesであればステップS59においてOCR機能により文字認識処理を行い、ステップS60において文字認識結果を表示手段に表示させる。次いで、ステップS61に進み、認識結果に応じて再認識が必要か否かを判断し、YesであればステップS49に、NoであればステップS62に進む。ステップS62においてメニューボタンを押下するか否かを判断し、Yesであれば図19のステップS71に進む。Noであれば、ステップS63に進み、決定ボタンを押下するか否かを判断し、NoであればステップS60に戻り、YesであればステップS64に進む。ステップS64において、上記メモリ領域Xに“1”が格納されているか否かを判断する。Yesであれば、ステップS67のURL入力モードに進む。Noであれば、ステップS65に進み、上記メモリ領域Xに“2”が格納されているか否かを判断する。Yesであれば、ステップS68のメール作成モードに進む。Noであれば、ステップS66に進み上記メモリ領域Xに“3”が格納されているか否かを判断する。Yesであれば、ステップS69の電話発信モードに進む。Noであれば、ステップS70のメモ帳登録モードに進む。 Next, in step S57, it is determined whether or not the cancel button is pressed. If Yes, the process returns to step S49. If No, the process proceeds to step S58 to determine whether or not to press the recognition button. If No, the process returns to step S56. If Yes, the character recognition process is performed by the OCR function in step S59, and the character is determined in step S60. The recognition result is displayed on the display means. Subsequently, it progresses to step S61, it is judged whether re-recognition is required according to a recognition result, if it is Yes, it will progress to step S49, and if it is No, it will progress to step S62. In step S62, it is determined whether or not the menu button is pressed. If Yes, the process proceeds to step S71 in FIG. If it is No, it will progress to step S63, it will be judged whether a determination button is pressed, if it is No, it will return to step S60, and if it is Yes, it will progress to step S64. In step S64, it is determined whether or not “1” is stored in the memory area X. If Yes, the process proceeds to the URL input mode in step S67. If No, the process proceeds to step S65, and it is determined whether or not “2” is stored in the memory area X. If Yes, the process proceeds to the mail creation mode in step S68. If No, the process proceeds to step S66, and it is determined whether or not “3” is stored in the memory area X. If Yes, the process proceeds to the telephone call mode in step S69. If No, the process proceeds to the notepad registration mode in step S70.
図19に示すように、ステップS71において、文字認識サブメニュー画面表示を行う(図23、323)。ステップS72において、文字認識サブメニュー1)〜7)の中からステップS73〜ステップS78で上記1)から6)までのいずれかの項目を選択する。例えば、ステップS73の続き認識において1)続き認識を選択すると、ステップS49に進む。選択しない場合にはステップS74の追加認識において2)追加認識を選択すると、ステップS39に進む。ステップS75の電話帳新規選択において3)電話帳新規登録を選択すると、ステップS79の電話帳登録モードに進む。選択しない場合にはステップS76の電話帳追加登録選択において4)電話帳追加登録を選択すると、ステップS80の電話帳編集モードに進む。選択しない場合にはステップS77のBookmark登録においてBookmark登録を選択するとBookmark登録モードに進む。選択しない場合にはステップS78の編集選択に進み、編集を選択するとステップS82の入力編集モードに進み、編集選択をしない場合には、選択された項目のモードに進む。上記1)から3)までの具体的な処理と表示については後述する。 As shown in FIG. 19, in step S71, a character recognition submenu screen is displayed (FIGS. 23 and 323). In step S72, one of the items 1) to 6) is selected from the character recognition submenus 1) to 7) in steps S73 to S78. For example, when 1) continuous recognition is selected in the continuous recognition in step S73, the process proceeds to step S49. If not selected, if 2) additional recognition is selected in the additional recognition in step S74, the process proceeds to step S39. When 3) New phone book registration is selected in the new phone book selection in step S75, the process proceeds to the phone book registration mode in step S79. If it is not selected, in the telephone directory additional registration selection in step S76, if 4) telephone directory additional registration is selected, the process proceeds to the telephone directory editing mode in step S80. If not selected, if “Bookmark registration” is selected in the Bookmark registration in step S77, the process proceeds to the Bookmark registration mode. If not selected, the process proceeds to edit selection in step S78. If edit is selected, the process proceeds to the input edit mode in step S82. If not selected, the process proceeds to the mode of the selected item. Specific processing and display from the above 1) to 3) will be described later.
図20に示すように、図16のコード読取選択ステップからステップS83において、コード読取メニュー画面表示を行う(図27、352)。項目としては、例えば、1)1次元バーコード、2)2次元バーコード(QRコード)の2通りが例示されている。ステップS85において1次元バーコード読取を選択するか否かを判断する。1次元バーコード読取を選択する場合には、メモリYに“1”を記憶させる。その後、又は、1次元バーコード読取を選択しない場合は、ステップS87に進み、2次元バーコード読取を選択するか否かを判断する。2次元バーコード読取を選択する場合には、ステップS88においてメモリYに“2”を記憶させ、2次元バーコード読取を選択しない場合にはステップS88を経ずに、いずれもステップS89に進む。 As shown in FIG. 20, the code reading menu screen is displayed from the code reading selection step of FIG. 16 to step S83 (FIGS. 27 and 352). Examples of items include two types of 1) one-dimensional barcode and 2) two-dimensional barcode (QR code). In step S85, it is determined whether to select one-dimensional barcode reading. When the one-dimensional barcode reading is selected, “1” is stored in the memory Y. Thereafter, or when the one-dimensional barcode reading is not selected, the process proceeds to step S87, and it is determined whether or not the two-dimensional barcode reading is selected. If two-dimensional barcode reading is selected, “2” is stored in the memory Y in step S88, and if two-dimensional barcode reading is not selected, the process proceeds to step S89 without going through step S88.
次いで、ステップS89において撮影画像を第1メモリに上書き保存し、ステップS90において第1メモリに保存した撮影画像を表示手段に表示させる。ステップS91において合焦判定を行う。ステップS92において合焦しているか否かを判断し、合焦していない場合にはステップS89に戻る。合焦していると判断された場合には、ステップS93に進み、コード認識を行う。OCR機能によるコード認識がうまくいったか否かをステップS94において判定し、コード認識がうまくいっていれば、ステップS95においてコード認識結果を表示し、ステップS96に進む。このように、コード認識が可能な合焦状態においてコード認識処理を実行させることにより、常にコード認識処理を実行させる場合に比べてCPUの処理負担を軽減することができると共に、コード認識処理に伴うフレームレートの低下をも最小限に抑制することができる。 Next, in step S89, the captured image is overwritten and stored in the first memory, and in step S90, the captured image stored in the first memory is displayed on the display unit. In step S91, focus determination is performed. In step S92, it is determined whether or not the subject is in focus. If the subject is not in focus, the process returns to step S89. If it is determined that the subject is in focus, the process proceeds to step S93 to perform code recognition. In step S94, it is determined whether or not the code recognition by the OCR function is successful. If the code recognition is successful, the code recognition result is displayed in step S95, and the process proceeds to step S96. In this way, by executing the code recognition process in a focused state where code recognition is possible, the processing burden on the CPU can be reduced as compared with the case where the code recognition process is always executed, and the code recognition process is accompanied. A decrease in frame rate can also be suppressed to a minimum.
次いで、ステップS96において再認識ボタンを押下するか否かを判断する。すなわち、コード認識がうまくいっていなければ、再認識ボタンを押して(Yes)ステップS89に戻る。表示手段に表示されたコード認識結果がうまくいっていれば(No)、ステップS97に進み、決定ボタンを押下するか否かを判断する。決定ボタンを押下しない場合は、ステップS95に戻る。決定ボタンを押下する場合は、ステップS98に進み、コード認識結果にURLであることを識別する情報が含まれている場合には、ステップS67のURL入力モードに進むことができる。 Next, in step S96, it is determined whether or not the re-recognition button is pressed. That is, if the code recognition is not successful, the re-recognition button is pressed (Yes), and the process returns to step S89. If the code recognition result displayed on the display means is satisfactory (No), the process proceeds to step S97, and it is determined whether or not to press the enter button. If the determination button is not pressed, the process returns to step S95. If the determination button is pressed, the process proceeds to step S98. If the code recognition result includes information identifying the URL, the process can proceed to the URL input mode in step S67.
例えば、ステップS56においては、図23の表示画面317において[ ]内にURLの大まかな位置合わせを行い、合焦バーにより合焦処理を行った後にシャッタを押す処理を行うと、表示画面318に示すように、矩形のエリア318a内に“Abcdef.com”の影画像が表示される。複数行存在する場合には、その中から認識処理の対象となる行を、キー操作などにより選択することができる。認識処理を確定する処理を行うことにより、文字読み取り(URL)のOCR認識処理を行い(319)認識が完了すると、表示画面320に示すように、[URL]の項目に上記の手順により取得したURL“http://Abcdef.com”が表示され、決定ボタンを押すことによりこのURLに対するインターネット接続処理を開始することもできる(322)。
For example, in step S56, when the URL is roughly aligned in [] on the
メールアドレスを作成した場合には、ステップS99からメール作成モード(ステップS68)に進むことができる。例えば、ステップS68においては、図24の表示画面326において[ ]内にメールアドレスの大まかな位置合わせを行い、合焦バーにより合焦処理を行いシャッタを押す処理を行うと、表示画面327に示すように、矩形のエリア327a内に“Taro.○○@abc.com”が影画像が表示される。複数行存在する場合には、その中から認識処理の対象となる行を、キー操作などにより選択することができる。認識処理を確定する処理を行うことにより、文字読み取り(メールアドレス)のOCR認識処理を行い(328)、認識が完了すると、表示画面329に示すように、[メールアドレス]の項目に上記の手順により取得したメールアドレスが表示され、決定ボタンを押すことによりこのメールアドレスを有する相手に対するメール作成画面が表示される(330)。ここで、送信を押すとメールアドレスに対するインターネット接続処理を開始し、電子メールを送信することもできる(331)。
When the e-mail address is created, the process can proceed from step S99 to the e-mail creation mode (step S68). For example, in step S68, when the mail address is roughly aligned within [] on the
電話番号を表示した場合には、ステップS100から電話発信モードS69に進むことができる。さらに、ステップS70のメモ帳登録モードに進むこともできる。 When the telephone number is displayed, the process can proceed from step S100 to the telephone call mode S69. Furthermore, it is possible to proceed to the notepad registration mode in step S70.
例えば、ステップS69においては、図25の表示画面335において[ ]内に電話番号の大まかな位置合わせを行い、合焦バーにより合焦処理を行い、シャッタを押す処理を行うと、表示画面336に示すように、矩形のエリア336a内に“0123456789”のように電話番号の影画像が表示される。複数行存在する場合には、その中から認識処理の対象となる行を、キー操作などにより選択することができる。認識処理を確定する処理を行うことにより、文字読み取り(電話番号)のOCR認識処理を行い(337)、認識が完了すると、表示画面338に示すように、[電話番号]の項目に上記の手順により取得した電話番号が表示され、決定ボタンを押すことによりこの電話番号を有する相手に対する電話発信確認画面が表示される(339)。ここで、発信を押すと電話発信処理を開始する(340)。
For example, in step S69, when the phone number is roughly aligned in [] on the
図26に示す英数字のメモ帳への記録処理も上記の処理と同様の手順により行うことができる(表示画面344〜349)。詳細な説明は省略する。図27に示す1次元バーコードに基づくURL入力(表示画面352〜357)、図28に示す2次元バーコードに基づくURL入力(表示画面360〜366)も同様である。 The recording process to the alphanumeric notepad shown in FIG. 26 can also be performed by the same procedure as the above process (display screens 344 to 349). Detailed description is omitted. The same applies to the URL input (display screens 352 to 357) based on the one-dimensional barcode shown in FIG. 27 and the URL input (display screens 360 to 366) based on the two-dimensional barcode shown in FIG.
次に、URLを入力した場合(図23の321又は図28の364)において、実際には、URLがさらに長い文字列から構成されている場合には、続きの文字列を入力する必要がある。このような場合には、ステップS71において、文字認識サブメニュー画面表示を表示し(図29、符号367)、ここで1)続き認識を選択し決定する。表示画面368に示すように、続きの文字列“today/index.html”を撮像し、合焦バーにより合焦を確認した後にシャッタを押すことで、表示画面369に示すように“today/index.html”の文字列をOCR認識することができる(符号370)。認識が完了すると、表示画面371に示すように、“http://Abcdef.com/today/index.html”と続きの文字列がつなげられた文字列が表示され、ここで内容を確認した後に決定ボタンを押すと、上記URLを携帯電話機内に取得、記憶させることができる(372)。ここで決定ボタンを押すと、上記URLに対してインターネット接続を行うことができる(374)。表示画面372において、メニューの表示をさせると、再度サブメニューを表示させることもできる。
Next, when a URL is input (321 in FIG. 23 or 364 in FIG. 28), if the URL is actually composed of a longer character string, it is necessary to input a subsequent character string. . In such a case, in step S71, a character recognition submenu screen display is displayed (FIG. 29, reference numeral 367), where 1) continuous recognition is selected and determined. As shown in the
次に、URLを取得した後に、サブメニュー表示から2)追加登録を選択することにより、URLの次に1)〜4)までのいずれかの項目を追加登録することができる。例えば、図30における表示画面376からメールアドレスを登録する場合には、2)メールアドレスを選択して決定することにより、表示画面377に示すように、名刺上の○○太郎のメールアドレスを撮像する。この場合にも合焦バーにより合焦状態を確認し、表示画面378に示すように、“Taro.○○@abc.com”を撮影する。この場合もキー操作により選択行を変更することもできる。OCR認識を行わせる選択を行うと認識処理が行われ(379)、メールアドレスとして“Taro.○○@abc.com”を取得することができる(380)。
Next, after acquiring the URL, by selecting 2) additional registration from the submenu display, it is possible to additionally register any one of items 1) to 4) next to the URL. For example, when registering an e-mail address from the
表示画面380において、決定を選択すると新規メール作成画面が表示され(381)、表示画面382に示すようにメールアドレスからURLの行に移動させ、例えばそのURLにインターネット接続することもできる。また、メニュー表示をさせると(表示画面383)、1)〜3)と6)、7)の項目が選択可能な項目として、又4)、5)の項目が選択できない項目として表示される。尚、4)の項目が選択できない項目として表示されている理由は、追加認識が行われたためであり、又5)の項目が選択できない項目として表示されている理由は、メールアドレスが選択された状態でメニュー表示させたためである。
On the display screen 380, when a decision is selected, a new mail creation screen is displayed (381). As shown in the
その後、図31の表示画面384において例えば2)追加認識を選択すると、表示画面385に示すように1)から4)までの文字読みとりのいずれかを選択することができる。ここで、例えば3)の電話番号を選択すると、表示画面386に示すように○○太郎の電話番号“0123456789”が撮像されるとともに、合焦バーが表示される。合焦バーにより合焦状態を確認した後、シャッタを押すことで電話番号を撮影することができる(387)。ここで、複数行を上下に移動させて選択行を変更することも可能である。次いで、OCR認識処理を行うことにより(385)、表示画面389に示すように電話番号の表示位置に取得した電話番号を登録することができる。ここで、決定を選択すると表示画面390に示すように電話発信確認画面が表示され発信を選択すると実際に電話を発信する処理を行うことができる。メニューを選択すると、サブメニューが表示され(391)、電話帳新規登録を選択すると表示画面392に示すように電話番号を登録することができる。表示画面392に示すように、名前、読み、電話番号、メールアドレス、パーソナルURLなどを一覧表示することができるアドレス帳を一枚の名刺から簡単に作成することができる。尚、2)の追加認識機能を利用すると、例えば、URL、メールアドレス、電話番号などを順次認識させた後、認識した全てのデータを一括して電話帳などに登録させることができる。
Thereafter, when 2) additional recognition is selected on the
以上に説明したように、本実施の形態による携帯電話機によれば、名刺などに記載されている文字データをカメラを利用して撮像する際に、合焦手段を用いることでユーザに合焦状態を報知することにより合焦状態を容易に知ることができ、その後に合焦状態で文字データなどを撮像し、良好な状態で撮像された文字データをOCR機能により認識させることにより、名刺などに記載された比較的小さな文字列であって、かつ、長い文字列であるURLやメールアドレスなどを、簡単に携帯電話機内に取得することができる。以上、本発明の合焦状態表示装置及び合焦状態表示方法について、カメラ内蔵型携帯電話機において用いられる各実施形態を例示して説明した。しかしながら、本発明の本発明の合焦状態表示装置及び合焦状態表示方法は、これら実施形態の範囲に限定されるものではない。
当業者であれば、本発明の要旨を逸脱しない範囲内において、本発明の合焦状態表示装置及び合焦状態表示方法に様々な変更・改良を加えることが可能である。
As described above, according to the mobile phone according to the present embodiment, when character data described on a business card or the like is imaged using a camera, a focusing state is used to focus on the user. By informing the user, it is possible to easily know the in-focus state. After that, the character data is captured in the in-focus state, and the character data captured in the good state is recognized by the OCR function, so that it can be used for a business card or the like. A relatively small character string described and a long character string such as a URL or an e-mail address can be easily acquired in the mobile phone. The in-focus state display device and the in-focus state display method of the present invention have been described by exemplifying each embodiment used in a camera built-in mobile phone. However, the focus state display device and the focus state display method of the present invention are not limited to the scope of these embodiments.
Those skilled in the art can make various changes and improvements to the in-focus state display device and in-focus state display method of the present invention without departing from the scope of the present invention.
例えば、色で表示したり、色の濃淡で表示したり、その他のグラフ表示又は文字・絵文字などにより表示したり、音や振動などにより報知したりする場合を含む。 For example, it includes a case of displaying by color, displaying by color shading, displaying by other graph display or characters / pictograms, or notifying by sound or vibration.
尚、上記の各実施形態では、合焦状態表示装置を携帯電話機に適用した例を示しているが、PDA等の携帯情報端末、携帯型パソコン等の情報処理装置など、カメラ(内蔵/外付け)を備えた装置であればどのような装置にも適用可能である。また、撮像対象となる画像データはどのようなものであってもよい。 In each of the above-described embodiments, an example in which the in-focus state display device is applied to a mobile phone is shown. The present invention can be applied to any apparatus as long as the apparatus is equipped with a). Any image data to be imaged may be used.
また、上記の各実施形態では、合焦状態表示装置、携帯電話機という名称を用いたが、これは説明の便宜上であり、ピント状態表示装置、通信端末装置、ピント状態表示方法などの名称を用いてもよいことは勿論である。 In each of the above embodiments, the names of the in-focus state display device and the mobile phone are used. However, this is for convenience of explanation, and names such as the focus state display device, the communication terminal device, and the focus state display method are used. Of course, it may be.
また、上記の各実施形態において、合焦状態の表示又は通知手段として、LCD表示部115及び116における図形、記号、文字等の表示、及びスピーカ114及び123による発音を行う例について説明したが、通知方法にはこれら以外の視覚的、聴覚的その他の方法を用いてもよい。上記携帯電話機及び合焦状態表示装置を構成する各種装置及び各回路部、例えば記憶部や表示部の種類、数及び接続方法などは上記した実施の形態に限定されるものではなく、従来知られている如何なる構成をとってもよい。
Further, in each of the above embodiments, as an in-focus state display or notification means, an example in which graphics, symbols, characters, etc. are displayed on the
本発明の合焦状態表示装置及び合焦状態表示方法、並びにこれを備えた携帯電話機等の装置は、上記した合焦状態表示のための機能を実行させるためのプログラムとしても実現される。このプログラムは、上記各装置内部に予め組み込まれているように構成してもよいが、上記各装置とは別に、コンピュータで読み取り可能な記録媒体に記録しておくこともできる。 The in-focus state display device and in-focus state display method of the present invention, and a device such as a mobile phone equipped with the in-focus state display method are also realized as a program for executing the above-described in-focus state display function. This program may be configured to be incorporated in advance in each of the above apparatuses, but may be recorded on a computer-readable recording medium separately from each of the above apparatuses.
本発明では、この記録媒体として、メインメモリそのものがプログラムメディアであってもよいし、また外部記憶装置としてCD−ROMドライブ等のプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なCD−ROM等のプログラムメディアであってもよい。いずれの場合でも、格納されているプログラムはCPUがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め各装置に格納されているものとする。 In the present invention, the main memory itself may be a program medium as the recording medium, or a program reading device such as a CD-ROM drive is provided as an external storage device, and reading is performed by inserting the recording medium therein. It may be a program medium such as a possible CD-ROM. In any case, the stored program may be configured to be accessed and executed by the CPU, or in any case, the program is read and the read program is stored in a program storage area (not shown). A method of downloading and executing the program may be used. This download program is assumed to be stored in advance in each device.
ここで、上記プログラムメディアは、携帯端末装置又は情報処理装置と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等の磁気ディスクやCD−ROM、CD−R/RW、MO、MD、DVD−ROM、DVD−RAM、DVD−RW等の光ディスクのディスク系、PCカード、コンパクトフラッシュカード(登録商標)、スマートメディア(登録商標)、ICカード、SDカード(登録商標)、メモリースティック(登録商標)等のカード系、あるいはマスクROM、EPROM、EEPROM、フラッシュROM等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。 Here, the program medium is a recording medium configured to be separable from the portable terminal device or the information processing device, and is a magnetic disk such as a magnetic tape or a cassette tape, a CD-ROM, a CD-R / RW, an MO, an MD. , DVD-ROM, DVD-RAM, DVD-RW and other optical disk systems, PC cards, compact flash cards (registered trademark), smart media (registered trademark), IC cards, SD cards (registered trademark), memory sticks (registered) It may be a medium carrying a fixed program including a semiconductor memory such as a card system such as a trademark) or a mask ROM, EPROM, EEPROM, flash ROM or the like.
さらに、インターネット接続プロバイダ又はサーバ端末等の外部の通信ネットワークとの接続が可能な通信接続手段を介して通信ネットワークからプログラムをダウンロードするように、流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め格納しておくか、あるいは別な記録媒体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。 Further, it may be a medium that carries the program in a fluid manner so as to download the program from the communication network via a communication connection means that can be connected to an external communication network such as an Internet connection provider or a server terminal. When the program is downloaded from the communication network as described above, the download program may be stored in advance or may be installed from another recording medium. The content stored in the recording medium is not limited to a program, and may be data.
このように、装置本体と分離可能な記録媒体に上記プログラムを記録しておけば、本発明の合焦状態表示装置及び合焦状態表示方法を備えた各種装置に対して、プログラムのバージョンアップや新たな表示形態を追加するアップデート等を自在に行うことが可能となり、ユーザにとって一層利便性の高い装置を提供することが可能となる。 As described above, if the program is recorded on a recording medium separable from the apparatus main body, the program version can be upgraded for various apparatuses equipped with the in-focus state display device and the in-focus state display method of the present invention. Updates for adding new display modes and the like can be freely performed, and an apparatus more convenient for the user can be provided.
10 カメラ内蔵型携帯電話機
10a 携帯電話機本体部
111 アンテナ
112 カメラ
113 LED点滅点灯装置
114 スピーカ
115, 116 LCD表示部
117 電源キー
118 電話機能キー
119 モードキー
120 カーソルキー
121 シャッターキー
122 ダイヤルキー
123 拡声用スピーカ
124 マイク
20 撮像装置
21 フォーカス領域抽出部
22 エッジ強調処理部
23 ヒストグラム処理部
24 分散値算出処理部
25 時間積算値算出処理部
26 合焦状態判別手段
31 合焦状態表示手段
32 表示画像合成部
41 撮像装置により取り込んだ画像
42 フォーカス領域
53, 63, 73, 83, 93, 103 表示画面
51 合焦状態表示グラフ
52 最大値表示バー
61 合焦状態表示レベルメータ
62 最大値表示バー
71, 72 表示ウィンドウ
81 合焦状態表示図形
82 最大値表示図形
91 合焦状態表示ブロック
101 合焦状態表示文字
80 BPF(バンドパスフィルタ)
10 Mobile phone with built-in camera
10a Mobile phone body
111 Antenna
112 cameras
113 LED blinker
114 Speaker
115, 116 LCD display
117 Power key
118 Telephone function keys
119 Mode key
120 cursor keys
121 Shutter key
122 Dial keys
123 Loudspeaker
124 microphone
20 Imaging device
21 Focus area extraction unit
22 Edge enhancement processor
23 Histogram processing section
24 Variance calculation processing section
25-hour integrated value calculation processing section
26 In-focus state detection means
31 Focus status display means
32 Display image composition part
41 Images captured by the imaging device
42 Focus area
53, 63, 73, 83, 93, 103 Display screen
51 Focus status display graph
52 Maximum value display bar
61 Focus status display level meter
62 Maximum value display bar
71, 72 display window
81 Focus status display figure
82 Maximum value display figure
91 Focus status display block
101 Focus status display character
80 BPF (band pass filter)
Claims (18)
撮像画像を表示する表示手段と、
前記OCR機能モードにおいて撮像された文字又はバーコードのエッジ強調された画像信号に基づいて合焦状態を判定する合焦状態判定手段と、
撮像された前記文字又はバーコードの認識を行う認識手段とを備え、
該認識手段による認識結果を前記表示手段に表示することを特徴とする携帯端末装置。 A shooting target setting means capable of setting a normal mode for shooting an image and an OCR function mode for shooting a character or a barcode;
Display means for displaying a captured image;
In-focus state determination means for determining an in-focus state based on an image signal with edge-enhanced characters or barcodes captured in the OCR function mode;
Recognizing means for recognizing the captured character or barcode,
A portable terminal device characterized in that the recognition result by the recognition means is displayed on the display means.
撮像画像を表示する表示手段と、
前記OCR機能モードにおいて撮像された文字又はバーコードのエッジ強調された画像信号の積算値を処理することにより合焦状態を判定する合焦状態判定手段、
撮像された前記文字又はバーコードの認識を行う認識手段とを備え、
該認識手段による認識結果を前記表示手段に表示することを特徴とする携帯端末装置。 A shooting target setting means capable of setting a normal mode for shooting an image and an OCR function mode for shooting a character or a barcode;
Display means for displaying a captured image;
An in-focus state determination unit that determines an in-focus state by processing an integrated value of an edge-enhanced image signal of a character or barcode imaged in the OCR function mode;
Recognizing means for recognizing the captured character or barcode,
A portable terminal device characterized in that the recognition result by the recognition means is displayed on the display means.
撮像画像を表示する表示手段と、
前記OCR機能モードにおいて撮像された文字又はバーコードのエッジ強調された画像信号に基づいて合焦状態を判定する合焦状態判定手段と、
撮像された前記文字又はバーコードの認識を行う認識手段とを備え、
該認識手段による認識結果を前記表示手段に表示することを特徴とする携帯電話機。 A shooting target setting means capable of setting a normal mode for shooting an image and an OCR function mode for shooting a character or a barcode;
Display means for displaying a captured image;
In-focus state determination means for determining an in-focus state based on an image signal with edge-enhanced characters or barcodes captured in the OCR function mode;
Recognizing means for recognizing the captured character or barcode,
A mobile phone characterized in that a recognition result by the recognition means is displayed on the display means.
撮像画像を表示する表示手段と、
前記OCR機能モードにおいて撮像された文字又はバーコードのエッジ強調された画像信号に基づいて合焦状態を判定する合焦状態判定手段と、
撮像された前記文字又はバーコードの認識を行う認識手段と、
通信を行う通信手段とを備え、
該認識手段による認識結果を前記表示手段に表示することを特徴とする携帯端末装置。 A shooting target setting means capable of setting a normal mode for shooting an image and an OCR function mode for shooting a character or a barcode;
Display means for displaying a captured image;
In-focus state determination means for determining an in-focus state based on an image signal with edge-enhanced characters or barcodes captured in the OCR function mode;
Recognition means for recognizing the captured character or barcode;
Communication means for performing communication,
A portable terminal device characterized in that the recognition result by the recognition means is displayed on the display means.
撮像画像を表示する表示ステップと、
前記OCR機能モードにおいて撮像された文字又はバーコードのエッジ強調された画像信号に基づいて合焦状態を判定する合焦状態判定ステップと、
撮像された前記文字又はバーコードの認識を行う認識ステップとを備え、
該認識ステップによる認識結果を表示することを特徴とする撮像画像認識方法。
A shooting target setting step capable of setting a normal mode for shooting an image and an OCR function mode for shooting a character or a barcode;
A display step for displaying a captured image;
An in-focus state determination step for determining an in-focus state based on an image signal with edge-enhanced characters or barcodes captured in the OCR function mode;
A recognition step for recognizing the captured character or barcode,
A captured image recognition method, characterized by displaying a recognition result in the recognition step.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003031066 | 2003-02-07 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003158476A Division JP2004297751A (en) | 2003-02-07 | 2003-06-03 | Focusing state display device and focusing state display method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP3766433B1 true JP3766433B1 (en) | 2006-04-12 |
JP2006166451A JP2006166451A (en) | 2006-06-22 |
Family
ID=36743341
Family Applications (10)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004296502A Expired - Lifetime JP3704143B2 (en) | 2003-02-07 | 2004-10-08 | Mobile phone |
JP2005326287A Expired - Lifetime JP3766431B1 (en) | 2003-02-07 | 2005-11-10 | Portable terminal device including in-focus state display means and in-focus state display method |
JP2005326274A Expired - Lifetime JP3808087B2 (en) | 2003-02-07 | 2005-11-10 | Portable terminal device and in-focus state display method |
JP2005347920A Expired - Lifetime JP3808088B2 (en) | 2003-02-07 | 2005-12-01 | Focus state display device and focus state display method |
JP2005349402A Expired - Lifetime JP3766432B2 (en) | 2003-02-07 | 2005-12-02 | Mobile terminal device and captured image recognition method |
JP2005349527A Expired - Lifetime JP3766433B1 (en) | 2003-02-07 | 2005-12-02 | Portable terminal device and captured image recognition method |
JP2005349331A Expired - Lifetime JP3808089B2 (en) | 2003-02-07 | 2005-12-02 | Portable terminal device and captured image recognition method |
JP2006066452A Expired - Lifetime JP3856813B2 (en) | 2003-02-07 | 2006-03-10 | Portable terminal device and captured image recognition method |
JP2006066603A Expired - Lifetime JP3799365B1 (en) | 2003-02-07 | 2006-03-10 | Portable terminal device and captured image recognition method |
JP2006066559A Expired - Lifetime JP3799364B2 (en) | 2003-02-07 | 2006-03-10 | Portable terminal device and captured image recognition method |
Family Applications Before (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004296502A Expired - Lifetime JP3704143B2 (en) | 2003-02-07 | 2004-10-08 | Mobile phone |
JP2005326287A Expired - Lifetime JP3766431B1 (en) | 2003-02-07 | 2005-11-10 | Portable terminal device including in-focus state display means and in-focus state display method |
JP2005326274A Expired - Lifetime JP3808087B2 (en) | 2003-02-07 | 2005-11-10 | Portable terminal device and in-focus state display method |
JP2005347920A Expired - Lifetime JP3808088B2 (en) | 2003-02-07 | 2005-12-01 | Focus state display device and focus state display method |
JP2005349402A Expired - Lifetime JP3766432B2 (en) | 2003-02-07 | 2005-12-02 | Mobile terminal device and captured image recognition method |
Family Applications After (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005349331A Expired - Lifetime JP3808089B2 (en) | 2003-02-07 | 2005-12-02 | Portable terminal device and captured image recognition method |
JP2006066452A Expired - Lifetime JP3856813B2 (en) | 2003-02-07 | 2006-03-10 | Portable terminal device and captured image recognition method |
JP2006066603A Expired - Lifetime JP3799365B1 (en) | 2003-02-07 | 2006-03-10 | Portable terminal device and captured image recognition method |
JP2006066559A Expired - Lifetime JP3799364B2 (en) | 2003-02-07 | 2006-03-10 | Portable terminal device and captured image recognition method |
Country Status (2)
Country | Link |
---|---|
JP (10) | JP3704143B2 (en) |
CN (4) | CN100544405C (en) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7565075B2 (en) * | 2005-07-11 | 2009-07-21 | Nokia Corporation | System and method for exhibiting image focus information on a viewfinder |
JP4260215B1 (en) | 2007-08-29 | 2009-04-30 | 任天堂株式会社 | Imaging device |
GB2457867B (en) | 2007-10-08 | 2010-11-03 | Keymed | Electronic camera |
JP4523975B2 (en) * | 2008-01-24 | 2010-08-11 | 東芝テック株式会社 | Data code reader |
JP5044429B2 (en) * | 2008-01-30 | 2012-10-10 | 京セラ株式会社 | Portable electronic device and imaging method |
US8130275B2 (en) | 2008-06-13 | 2012-03-06 | Nintendo Co., Ltd. | Information-processing apparatus, and storage medium storing a photographing application launch program executed by information-processing apparatus |
JP4181211B1 (en) | 2008-06-13 | 2008-11-12 | 任天堂株式会社 | Information processing apparatus and startup program executed therein |
US8359547B2 (en) | 2008-10-01 | 2013-01-22 | Nintendo Co., Ltd. | Movable user interface indicator of at least one parameter that is adjustable with different operations for increasing and decreasing the parameter and/or methods of providing the same |
US8848100B2 (en) | 2008-10-01 | 2014-09-30 | Nintendo Co., Ltd. | Information processing device, information processing system, and launch program and storage medium storing the same providing photographing functionality |
JP5101544B2 (en) | 2009-02-13 | 2012-12-19 | 富士通株式会社 | Imaging device, imaging method, imaging program, and portable terminal device |
JP5430972B2 (en) * | 2009-02-24 | 2014-03-05 | 任天堂株式会社 | Information processing apparatus, information processing system, start program, and storage medium storing the same |
JP4875117B2 (en) | 2009-03-13 | 2012-02-15 | 株式会社東芝 | Image processing device |
CN102202166A (en) * | 2010-03-22 | 2011-09-28 | 英华达(南京)科技有限公司 | Image acquisition apparatus and time adjusting method thereof |
JP2011227543A (en) * | 2010-04-15 | 2011-11-10 | Panasonic Corp | Form processing device and method and recording medium |
KR101145701B1 (en) * | 2010-11-09 | 2012-05-24 | (주)실리콘화일 | A fixed focus camera module built-in auto focusing function |
CN102244736B (en) * | 2011-07-08 | 2013-11-13 | 翔德电子科技(深圳)有限公司 | Focal length positioning method for fixed-focus camera |
JP5915296B2 (en) * | 2012-03-19 | 2016-05-11 | 富士通株式会社 | Code image reading apparatus, operation method of code image reading apparatus, and code image reading program |
JP2013093039A (en) * | 2012-12-25 | 2013-05-16 | Nintendo Co Ltd | Information processing apparatus, information processing system, activation program, and storage medium storing the same |
US9697431B2 (en) | 2013-08-16 | 2017-07-04 | Conduent Business Services, Llc | Mobile document capture assist for optimized text recognition |
CN105338239A (en) * | 2014-08-11 | 2016-02-17 | 中兴通讯股份有限公司 | Prompting method, device and system for shooting status of post camera of intelligent terminal |
US10805592B2 (en) * | 2016-06-30 | 2020-10-13 | Sony Interactive Entertainment Inc. | Apparatus and method for gaze tracking |
US10032053B2 (en) * | 2016-11-07 | 2018-07-24 | Rockwell Automation Technologies, Inc. | Tag based location |
WO2019113746A1 (en) * | 2017-12-11 | 2019-06-20 | 深圳市大疆创新科技有限公司 | Manual-focus prompt method, control apparatus, photography device, and controller |
JP6790185B1 (en) * | 2019-06-28 | 2020-11-25 | キヤノン株式会社 | Display control devices, display control methods, programs, systems, and recording devices |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4685203B2 (en) * | 1998-07-10 | 2011-05-18 | 株式会社ニコン | Imaging equipment |
JP3451025B2 (en) * | 1998-10-29 | 2003-09-29 | アロカ株式会社 | Ultrasound Doppler diagnostic equipment |
JP2001174900A (en) * | 1999-12-16 | 2001-06-29 | Canon Inc | Camera, picture printing device and picture displaying device |
WO2002019688A2 (en) * | 2000-08-28 | 2002-03-07 | 3Gvision Inc. | System and method for providing added utility to a video camera |
JP2002189164A (en) * | 2000-12-21 | 2002-07-05 | Minolta Co Ltd | Optical system controller, optical system control method, and recording medium |
US6750914B2 (en) * | 2001-04-12 | 2004-06-15 | Ricoh Company, Limited | Image pick-up device |
JP2002350958A (en) * | 2001-05-28 | 2002-12-04 | Olympus Optical Co Ltd | Camera |
-
2004
- 2004-01-16 CN CNB2006101433405A patent/CN100544405C/en not_active Expired - Fee Related
- 2004-01-16 CN CNB2004800091679A patent/CN100451803C/en not_active Expired - Fee Related
- 2004-01-16 CN CN200610143352A patent/CN100588230C/en not_active Expired - Fee Related
- 2004-01-16 CN CNB2006101433513A patent/CN100544406C/en not_active Expired - Fee Related
- 2004-10-08 JP JP2004296502A patent/JP3704143B2/en not_active Expired - Lifetime
-
2005
- 2005-11-10 JP JP2005326287A patent/JP3766431B1/en not_active Expired - Lifetime
- 2005-11-10 JP JP2005326274A patent/JP3808087B2/en not_active Expired - Lifetime
- 2005-12-01 JP JP2005347920A patent/JP3808088B2/en not_active Expired - Lifetime
- 2005-12-02 JP JP2005349402A patent/JP3766432B2/en not_active Expired - Lifetime
- 2005-12-02 JP JP2005349527A patent/JP3766433B1/en not_active Expired - Lifetime
- 2005-12-02 JP JP2005349331A patent/JP3808089B2/en not_active Expired - Lifetime
-
2006
- 2006-03-10 JP JP2006066452A patent/JP3856813B2/en not_active Expired - Lifetime
- 2006-03-10 JP JP2006066603A patent/JP3799365B1/en not_active Expired - Lifetime
- 2006-03-10 JP JP2006066559A patent/JP3799364B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
CN1768299A (en) | 2006-05-03 |
JP3799364B2 (en) | 2006-07-19 |
JP3808089B2 (en) | 2006-08-09 |
JP3808088B2 (en) | 2006-08-09 |
JP2006157934A (en) | 2006-06-15 |
CN1964437A (en) | 2007-05-16 |
JP3766432B2 (en) | 2006-04-12 |
JP2006157976A (en) | 2006-06-15 |
JP2006180468A (en) | 2006-07-06 |
CN1956500A (en) | 2007-05-02 |
CN100544406C (en) | 2009-09-23 |
JP3799365B1 (en) | 2006-07-19 |
JP2006166451A (en) | 2006-06-22 |
JP2005094782A (en) | 2005-04-07 |
JP3704143B2 (en) | 2005-10-05 |
JP2006180476A (en) | 2006-07-06 |
JP2006101544A (en) | 2006-04-13 |
CN100588230C (en) | 2010-02-03 |
JP2006246492A (en) | 2006-09-14 |
CN1956499A (en) | 2007-05-02 |
JP3856813B2 (en) | 2006-12-13 |
JP3808087B2 (en) | 2006-08-09 |
CN100451803C (en) | 2009-01-14 |
JP3766431B1 (en) | 2006-04-12 |
JP2006238459A (en) | 2006-09-07 |
JP2006094561A (en) | 2006-04-06 |
CN100544405C (en) | 2009-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3766433B1 (en) | Portable terminal device and captured image recognition method | |
KR100740744B1 (en) | Focus state display apparatus, focus state display method, focus state determination apparatus, focus state determination method, camera, portable terminal device and recording medium | |
KR100696351B1 (en) | Focus state display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20060113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060126 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3766433 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100203 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100203 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110203 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120203 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120203 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130203 Year of fee payment: 7 |
|
SG99 | Written request for registration of restore |
Free format text: JAPANESE INTERMEDIATE CODE: R316G99 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130203 Year of fee payment: 7 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130203 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140203 Year of fee payment: 8 |
|
SG99 | Written request for registration of restore |
Free format text: JAPANESE INTERMEDIATE CODE: R316G99 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |