JP2009188438A

JP2009188438A - Mobile terminal with camera, video processing apparatus, video processing method, and program

Info

Publication number: JP2009188438A
Application number: JP2008022931A
Authority: JP
Inventors: Shuichi Saito; 修一斉藤
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2008-02-01
Filing date: 2008-02-01
Publication date: 2009-08-20

Abstract

<P>PROBLEM TO BE SOLVED: To provide a mobile terminal having a camera, which has an inexpensive magnifying glass function capable of exhibiting sufficient performance, and to provide a video processing apparatus, a video processing method and a program. <P>SOLUTION: The mobile terminal with the camera comprises: a video processing unit which thins out video data of a subject captured by a camera unit; a magnification processing unit which magnifies the video being the output of the video processing unit; and a display unit which displays the output of the magnification processing unit. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、電子的な天眼鏡（拡大鏡）システムに関し、特にカメラ付き携帯端末、映像処理装置、映像処理方法及びプログラムに関する。 The present invention relates to an electronic telescope (magnifying glass) system, and more particularly to a camera-equipped mobile terminal, a video processing apparatus, a video processing method, and a program.

近年の携帯電話機には高解像度のカメラ機能が実装されており、このカメラ機能は様々な方法で利用されており、電子的な拡大鏡として利用することも知られている。 Recent mobile phones are equipped with a high-resolution camera function, and this camera function is used in various ways and is also known to be used as an electronic magnifier.

本発明の関連技術には、携帯電話機のカメラ機能を拡大鏡として使用する際の使いやすいユーザインターフェースを提供するものであり、拡大表示、接写、照明等、２以上の機能の設定処理を可能とすることが特許文献１に提案されている。 The related technology of the present invention provides an easy-to-use user interface when using the camera function of a mobile phone as a magnifying glass, and enables setting processing of two or more functions such as enlarged display, close-up, and illumination. This is proposed in Patent Document 1.

この携帯電話機の拡大表示機能は、拡大したい文字が画面から欠落することなく表示されるように、拡大表示前の表示に対し十字キーにより拡大したい箇所を指定し、拡大表示前の範囲に収まるように当該箇所を拡大表示するものであり、部分的な拡大表示のため拡大前の画像を記憶部に保存して処理する。
ＷＯ２００５−４１５６３号公報（段落0023〜0025、0035、0036） This mobile phone's magnified display function allows you to specify the area you want to zoom in with the cross key so that the characters you want to zoom in are displayed on the screen without missing them, so that they will fit within the range before zoom display. The part is enlarged and displayed, and the image before enlargement is stored in the storage unit and processed for partial enlargement display.
WO 2005-41563 (paragraphs 0023-0025, 0035, 0036)

前記関連技術においては、部分的な拡大表示を可能とするため、画像データを一旦記憶部に記憶した上で、画像処理を行うものであり、動画像処理を行う場合は膨大な画像データを処理する必要がある。 In the related technology, in order to enable partial enlargement display, image data is temporarily stored in a storage unit and then image processing is performed. When moving image processing is performed, a large amount of image data is processed. There is a need to.

この点、最近の携帯端末のハードウエア（ＨＷ）は、ＣＰＵ（Central Processing Unit）のメモリ容量が増大し、処理性能も強化されてきている。 In this regard, recent mobile terminal hardware (HW) has increased CPU (Central Processing Unit) memory capacity and enhanced processing performance.

しかし、携帯端末の拡大鏡機能において映像データをリアルタイムに拡大表示するとなると、データの処理量が極めて膨大であるため、ソフトウェア処理能力を十分にサポートして必要な性能を実現するためには、携帯端末に一層高度なＨＷ装置や高価なＨＷ装置を実装しなければならず、コスト面と性能面からみて実現には困難を伴う。 However, when video data is magnified and displayed in real time using the magnifier function of a mobile terminal, the amount of data processing is extremely large, so in order to fully support the software processing capability and achieve the required performance, A more advanced HW device or an expensive HW device must be mounted on the terminal, which is difficult to realize in terms of cost and performance.

以上のように通常の静止画像処理の方式に比べ、天眼鏡としてリアルタイム性を確保でき、映像データの拡大処理を伴う動画像処理を行う場合、処理量が極端に増大し、装置構成が複雑化、大型化し、低コストで低軽量、且つ充分な性能の天眼鏡を実現することは困難である。 As described above, compared to a normal still image processing method, real-time performance can be ensured as a spectacle, and when performing moving image processing with video data enlargement processing, the processing amount is extremely increased and the device configuration is complicated. It is difficult to realize a large-sized eyeglass that is low in cost, low in weight, and has sufficient performance.

［発明の目的］
本発明の目的は、前記課題を解決したカメラ付き携帯端末、映像処理装置、映像処理方法及びプログラムを提供することにある。 [Object of invention]
The objective of this invention is providing the portable terminal with a camera, the video processing apparatus, the video processing method, and program which solved the said subject.

本発明の第１の天眼鏡機能を有するカメラ付き携帯端末は、カメラ部で撮像した被写体の映像データからデータを間引く映像処理部と、前記映像処理部の出力の映像を拡大する拡大処理部と、前記拡大処理部の出力を表示する表示部と、を備えることを特徴とする。 A mobile terminal with a camera having a first spectacles function of the present invention includes a video processing unit that thins data from video data of a subject imaged by the camera unit, an enlargement processing unit that expands an output video of the video processing unit, And a display unit for displaying the output of the enlargement processing unit.

本発明の第１のカメラ付き携帯端末の映像処理装置は、カメラ部で撮像した被写体の映像データからデータを間引く映像処理部と、前記映像処理部の出力の被写体の映像を拡大する拡大処理部と、を備えることを特徴とする。 A video processing apparatus for a mobile terminal with a camera according to a first aspect of the present invention includes a video processing unit that thins out data from video data of a subject imaged by the camera unit, and an enlargement processing unit that enlarges a subject video output from the video processing unit. And.

本発明の第１の天眼鏡機能を有するカメラ付き携帯端末の映像処理方法は、カメラ部で撮像した被写体の映像データからデータを間引くステップと、被写体の映像の拡大するステップと、からなる。 A video processing method for a mobile terminal with a camera having a first spectacle function according to the present invention includes a step of thinning data from video data of a subject imaged by a camera unit and a step of enlarging the video of the subject.

本発明の第１の天眼鏡機能を有するカメラ付き携帯端末のプログラムは、カメラ部で撮像した被写体の映像データからデータを間引くステップと、前記データを間引いた映像データを入力し被写体の映像を拡大するステップと、拡大した映像を表示するステップと、をコンピュータに実行させる。 A program for a mobile terminal with a camera having a first spectacles function according to the present invention includes a step of thinning data from video data of a subject imaged by a camera unit, and inputting video data obtained by thinning the data to enlarge a video of the subject. Causing the computer to execute a step and a step of displaying the enlarged video.

本発明によれば、映像を注視するという天眼鏡の使用形態を踏まえて、カメラ部で撮像した被写体の映像データからデータを間引くことにより映像の拡大等の処理量を削減でき、身近なカメラ付き携帯端末で手元の文字や細かな映像を充分な性能で拡大表示できる電子的な天眼鏡機能を低コストで実現することが可能であるという顕著な効果を奏する。 According to the present invention, it is possible to reduce the amount of processing such as image enlargement by thinning out data from the video data of the subject imaged by the camera unit based on the usage pattern of the spectacles that gazes at the video. There is a remarkable effect that it is possible to realize an electronic telescope function capable of enlarging and displaying a hand character and a fine image with sufficient performance on a terminal at a low cost.

次に、本発明のカメラ付き携帯端末、映像処理装置、映像処理方法及びプログラムの実施形態について、カメラ付き携帯電話機への適用例により、以下詳細に説明する。 Next, embodiments of the mobile terminal with camera, video processing apparatus, video processing method, and program according to the present invention will be described in detail below with reference to an application example to a mobile phone with camera.

［第１の実施形態］
図１は本発明の第１の実施形態の天眼鏡機能を有するカメラ付き携帯電話機及び映像処理装置の構成を示す図である。 [First Embodiment]
FIG. 1 is a diagram showing a configuration of a camera-equipped cellular phone having a spectacle function and a video processing apparatus according to the first embodiment of the present invention.

携帯電話機１０に内蔵する高解像度のカメラ部１１、カメラ部１１より出力された撮像データからデータ量を削減した映像データを生成する映像処理部１２、映像処理部１２が出力する映像データを入力し、被写体の映像を拡大する拡大処理部１３、拡大処理部１３の出力を表示する表示部１４、映像処理部１２の処理と拡大処理部１３の拡大率等を制御するキー操作部１５により構成される。 A high-resolution camera unit 11 built in the cellular phone 10, a video processing unit 12 that generates video data in which the amount of data is reduced from imaging data output from the camera unit 11, and video data output by the video processing unit 12 are input. , An enlargement processing unit 13 for enlarging the subject image, a display unit 14 for displaying the output of the enlargement processing unit 13, and a key operation unit 15 for controlling the processing of the video processing unit 12, the enlargement ratio of the enlargement processing unit 13, and the like. The

ここで映像処理部１２と拡大処理部１３は本実施形態の映像処理装置を構成する。各部の機能は以下のとおりである。 Here, the video processing unit 12 and the enlargement processing unit 13 constitute a video processing apparatus of the present embodiment. The function of each part is as follows.

カメラ部１１は被写体３０の動画撮影が可能であり、ＣＣＤ（Charge Coupled Device）等の撮像素子によりリアルタイムな撮像データを映像処理部１２に出力する。 The camera unit 11 can shoot a moving image of the subject 30 and outputs real-time imaging data to the video processing unit 12 by an imaging element such as a CCD (Charge Coupled Device).

映像処理部１２は撮像データをデジタルデータとし、露出等の補正処理を行い、映像データを生成して出力し、更にリアルタイムな動画処理を可能とするため、映像データのフレーム処理を行ってデータ量を削減する。 The video processing unit 12 converts the captured image data into digital data, performs exposure correction processing, generates and outputs video data, and performs frame processing of the video data to enable real-time video processing. To reduce.

拡大処理部１３は削減されたデータ量の映像データを拡大する処理を行う。
表示部１４は液晶パネル等で構成され拡大処理が行われた映像データを入力し、拡大された被写体の映像を表示する。 The enlargement processing unit 13 performs processing for enlarging the video data having the reduced data amount.
The display unit 14 is composed of a liquid crystal panel or the like and inputs video data that has been enlarged, and displays the enlarged video of the subject.

キー操作部１５はユーザによる操作が可能であり、映像処理部１２の処理及び拡大処理部１３の拡大率を制御するデータを出力する。 The key operation unit 15 can be operated by the user and outputs data for controlling the processing of the video processing unit 12 and the enlargement ratio of the enlargement processing unit 13.

図２は本発明の第１の実施形態の天眼鏡機能を有するカメラ付き携帯電話機及び映像処理装置の映像処理方法を示す図である。以下、本映像処理方法（手順）について説明する。 FIG. 2 is a diagram showing a video processing method of a camera-equipped cellular phone having a spectacle function and a video processing apparatus according to the first embodiment of the present invention. Hereinafter, this video processing method (procedure) will be described.

ユーザが携帯電話機のキー操作等により天眼鏡モードを起動すると、携帯電話機のカメラ部は撮影モードとなり、撮像素子から被写体の撮像データが出力され、デジタルデータに変換して出力される（ステップｓ１）。次に、前記デジタルデータについてデフォルト値又はキー操作等に応じた露出等の補正処理を行い所定の走査データでなる映像データを生成し、後続の映像処理の処理負担を下げるため、入力した映像データから走査データ単位等でデータを間引く処理を行う（ステップｓ２）。次に、間引いた後の映像データをデフォルト値又はキー操作等により指定された拡大倍率に拡大して出力する（ステップｓ３）。最後に、拡大した映像データを表示部１６に表示することにより、被写体３０に対し所定倍率に拡大された被写体の映像をリアルタイムに表示する（ステップｓ４）。 When the user activates the celestial spectacle mode by a key operation of the cellular phone or the like, the camera unit of the cellular phone enters the imaging mode, and imaging data of the subject is output from the imaging device, converted into digital data, and output (step s1). Next, in order to reduce the processing load of subsequent video processing in order to reduce the processing load of subsequent video processing by performing correction processing such as exposure according to default values or key operations on the digital data, From this, data is thinned out in units of scanning data (step s2). Next, the video data after the thinning is enlarged to the enlargement factor designated by the default value or key operation and outputted (step s3). Finally, by displaying the enlarged video data on the display unit 16, the video of the subject enlarged at a predetermined magnification is displayed on the subject 30 in real time (step s4).

図３は本発明の第１の実施形態の天眼鏡機能を有するカメラ付き携帯電話機及び映像処理装置をコンピュータのプログラムにより実現する装置構成を示す図である。 FIG. 3 is a diagram showing a device configuration for realizing the camera-equipped cellular phone having the spectacle function and the video processing device according to the first embodiment of the present invention by a computer program.

本実施形態は、ＣＰＵ（Central Processing Unit：中央処理装置）１０ａ、ＲＯＭ（Read Only Memory）１０ｂ、ＲＡＭ（Random Access Memory）１０ｃ、表示部１０ｅ及びカメラ部１の出力データを入力するデータ入力部１０ｄがバス接続されて構成され、図１、２に示す処理機能及び映像処理方法を実現する。 In this embodiment, a CPU (Central Processing Unit) 10a, a ROM (Read Only Memory) 10b, a RAM (Random Access Memory) 10c, a display unit 10e, and a data input unit 10d for inputting output data of the camera unit 1 are used. Are connected by a bus to realize the processing function and the video processing method shown in FIGS.

このため、ＲＯＭ１０ｂには前記機能等を実現する制御プログラムが格納され、ＣＰＵ１０ａはＲＯＭ１０ｂから制御プログラムを読み込み、読み込んだ制御プログラムにより制御され、各部を制御する。ＣＰＵ１０ａはＲＡＭ１０ｃを作業領域としてデータ入力部１０ｄから入力するデジタルデータを処理し、映像データの間引き、間引き後の映像データの映像の拡大、及び拡大した被写体の映像を表示部１０ｅに表示させる制御を行い、前述の機能を実現する。 For this reason, the ROM 10b stores a control program for realizing the above functions and the like, and the CPU 10a reads the control program from the ROM 10b and is controlled by the read control program to control each unit. The CPU 10a processes the digital data input from the data input unit 10d using the RAM 10c as a work area, performs control for thinning out the video data, enlarging the video of the video data after the thinning, and displaying the enlarged video of the subject on the display unit 10e. And implement the functions described above.

なお、携帯電話機１０は、基地局との位置登録等の通信、基地局を介する通信制御、通話、メールの送受信、Ｗｅｂサイトへのアクセス、閲覧等、各種の機能を有するものであるが、これらの詳細説明は省略する。 The mobile phone 10 has various functions such as location registration with the base station, communication control via the base station, telephone call, mail transmission / reception, website access, browsing, and the like. The detailed description of is omitted.

［第２の実施形態］
（構成の説明）
次に、本発明の天眼鏡として好適な第２の実施形態について説明する。 [Second Embodiment]
(Description of configuration)
Next, a second embodiment suitable as the spectacles of the present invention will be described.

本実施形態では、リアルタイムの動画像としての映像データの時間的な連続性を確保するとともに、ユーザは天眼鏡の利用においては、拡大された被写体の映像を注視することが通常であり、非常に動きが早い映像として撮影することがないという天眼鏡の典型的な利用形態を考慮して構成したものである。 In the present embodiment, the temporal continuity of video data as a real-time moving image is ensured, and the user usually watches an enlarged subject video when using the spectacles, and is very moving. However, it is configured in consideration of a typical use form of the celestial glasses that does not shoot as an early video.

図４は本発明の第２の実施形態のカメラ付き携帯電話機及び映像処理装置の構成を示す図である。携帯電話機２０に内蔵する高解像度のカメラ部２１、カメラ部２１より出力された撮像データからデータ量を削減した映像データを出力する映像処理部２２、映像処理部２２から出力される映像データを入力し、被写体の映像を拡大する拡大処理部２３、拡大した映像の品質を向上させる補間処理部２４、補間処理部２４の出力を表示する表示部２５、映像処理部２２の処理と拡大処理部２４の拡大率等を制御するキー操作部２６により構成される。 FIG. 4 is a diagram showing a configuration of a camera-equipped mobile phone and a video processing apparatus according to the second embodiment of the present invention. A high-resolution camera unit 21 built in the cellular phone 20, a video processing unit 22 that outputs video data in which the amount of data is reduced from the imaging data output from the camera unit 21, and video data output from the video processing unit 22 are input. Then, an enlargement processing unit 23 that enlarges the video of the subject, an interpolation processing unit 24 that improves the quality of the enlarged video, a display unit 25 that displays the output of the interpolation processing unit 24, and the processing of the video processing unit 22 and the enlargement processing unit 24 The key operation unit 26 controls the enlargement ratio and the like.

ここで映像処理部２２、拡大処理部２３及び拡大処理部２４は本実施形態の映像処理装置を構成する。各部の機能は以下のとおりである。 Here, the video processing unit 22, the enlargement processing unit 23, and the enlargement processing unit 24 constitute the video processing apparatus of the present embodiment. The function of each part is as follows.

カメラ部２１は被写体３０の動画撮影が可能であり、ＣＣＤ（Charge Coupled Device）等の撮像素子によりリアルタイムな撮像データをデジタルデータとして映像処理部２２に出力する。 The camera unit 21 can shoot a moving image of the subject 30 and outputs real-time imaging data to the video processing unit 22 as digital data by an imaging device such as a CCD (Charge Coupled Device).

映像処理部２２はデジタルデータの露出等の補正処理を行い映像データとし、更にリアルタイムな映像処理（動画処理）を可能とするため、映像データのフレーム処理を行ってデータ量を削減する。拡大処理部２３は削減されたデータ量の映像データを拡大する処理を行う。 The video processing unit 22 performs correction processing such as exposure of digital data to generate video data, and further performs real-time video processing (moving image processing) to reduce the amount of data by performing frame processing of the video data. The enlargement processing unit 23 performs processing for enlarging the video data having the reduced data amount.

補間処理部２４は拡大された映像データに補間処理を行いフォーカスとコントラストを補正した映像データとする。 The interpolation processing unit 24 performs interpolation processing on the enlarged video data to obtain video data in which focus and contrast are corrected.

表示部２５は液晶パネル等で構成され補間処理部２４からの映像データを入力し、拡大された被写体の映像を表示する。 The display unit 25 is composed of a liquid crystal panel or the like, and receives video data from the interpolation processing unit 24, and displays an enlarged image of the subject.

キー操作部２６はユーザによる操作が可能であり、映像処理部２２の処理及び拡大処理部２４の拡大率を制御する制御データを出力する。 The key operation unit 26 can be operated by the user, and outputs control data for controlling the processing of the video processing unit 22 and the enlargement ratio of the enlargement processing unit 24.

なお、携帯電話機２０は、基地局との位置登録等の通信、基地局を介する通信制御、通話、メールの送受信、Ｗｅｂサイトへのアクセス、閲覧等、各種の機能を有しているが、これらの詳細説明は省略する。 The mobile phone 20 has various functions such as communication with the base station such as location registration, communication control via the base station, telephone call, mail transmission / reception, access to the website, browsing, etc. The detailed description of is omitted.

図５は第２の実施形態の映像処理部２２の構成例を示す図である。映像処理部２２は、カメラ部２１から入力されるデジタルデータにより映像データを生成する映像データ生成部２２１と、映像データ生成部２２１からの映像データを偶数走査データと奇数走査データに分離するインターレス化処理を行うインターレス部２２２と、インターレス部２２２からのインターレスの映像データに対し、連続する２フレームの前フレームの偶数走査データと後フレームの奇数走査データとの組み合わせを１フレームとして出力し、同様に後続の２フレームの前フレームの偶数走査データと後フレームの奇数走査データとの組み合わせを１フレームとして出力する処理を繰り返し、走査データ単位でデータの間引き処理を行うデータ間引部２２３と、から構成される。 FIG. 5 is a diagram illustrating a configuration example of the video processing unit 22 according to the second embodiment. The video processing unit 22 includes a video data generation unit 221 that generates video data based on digital data input from the camera unit 21, and an interlace that separates the video data from the video data generation unit 221 into even-numbered scan data and odd-numbered scan data. The combination of the even-numbered scan data of the previous two frames and the odd-numbered scan data of the subsequent frame is output as one frame for the interlaced unit 222 that performs the conversion processing and the interlaced video data from the interlaced unit 222 Similarly, the data thinning unit 223 that repeats the process of outputting the combination of the even-numbered scan data of the preceding two frames and the odd-numbered scan data of the subsequent two frames as one frame, and performs the data thinning process in units of scan data. And.

図６は第２の実施形態のデータ間引部２２３の構成例を示す図である。データ間引部２２３は、インターレスの映像データの入力フレームに対し、連続する２フレームの前フレームの偶数走査データを格納するバッファ２２３１と、後フレームの奇数走査データを格納するバッファ２２３２と、各バッファの走査データを合成してノンインターレス（プログレッシブ）の映像データを出力フレームとする合成部２２３３とから構成される。 FIG. 6 is a diagram illustrating a configuration example of the data thinning unit 223 according to the second embodiment. The data thinning unit 223 has a buffer 2231 for storing even-numbered scan data of two consecutive previous frames with respect to an input frame of interlaced video data, a buffer 2232 for storing odd-numbered scan data of subsequent frames, It is composed of a combining unit 2233 that combines the scan data of the buffer and outputs non-interlaced (progressive) video data as an output frame.

（動作の説明）
図７は第２の実施形態の動作を示す図である。図４〜７により本実施の形態の全体の動作について詳細に説明する。 (Description of operation)
FIG. 7 is a diagram illustrating the operation of the second embodiment. The overall operation of the present embodiment will be described in detail with reference to FIGS.

ユーザがキー操作部２６を操作して携帯電話機２０を天眼鏡モードに設定すると、内蔵されたカメラ部２１は撮影モードとなり、カメラ部２１の撮像素子から被写体３０の撮像データがデジタルデータとして出力される（ステップｓ１１）。 When the user operates the key operation unit 26 to set the cellular phone 20 to the celestial mode, the built-in camera unit 21 enters the shooting mode, and the imaging data of the subject 30 is output as digital data from the imaging device of the camera unit 21. (Step s11).

映像データ生成部２２１は、入力したデジタルデータについて、デフォルト値又はキー操作部から入力された値等に応じて露出等の補正処理を行い、所定フレームの走査データでなる映像データとしてインターレス部２２２に出力する（ステップｓ１２）。 The video data generation unit 221 performs correction processing such as exposure on the input digital data in accordance with a default value or a value input from the key operation unit, and the interlace unit 222 as video data including scan data of a predetermined frame. (Step s12).

インターレス部２２２は前記映像データを奇数走査データと偶数走査データでなるインターレス化した映像データとして出力する（ステップｓ１３）。 The interlace unit 222 outputs the video data as interlaced video data composed of odd-numbered scan data and even-numbered scan data (step s13).

データ間引部２２３は、後続の映像処理の処理負担を下げるため、インターレス化した映像データの連続する前後２フレームを単位とし、前フレームの偶数走査データと後フレームの奇数走査データを１フレームとすることで映像データを走査データ単位で間引く処理を行って出力する（ステップｓ１４）。 The data thinning unit 223 uses two consecutive frames before and after the interlaced video data as a unit in order to reduce the processing load of the subsequent video processing, and sets the even scan data of the previous frame and the odd scan data of the subsequent frame as one frame. Thus, the video data is thinned out in units of scanning data and output (step s14).

拡大処理部２３は、デフォルト値又はユーザのキー操作部２６からの指示により指定された拡大倍率に映像データを拡大する処理を行う（ステップｓ１５）。 The enlargement processing unit 23 performs processing for enlarging the video data to an enlargement ratio designated by a default value or an instruction from the user's key operation unit 26 (step s15).

補間処理部２４は拡大処理が行われた映像データについて、ソフトウェアのデジタル処理により拡大前の映像データと拡大後の映像データとによりデジタル補間を行い、フォーカスとコントラストを補正し、映像品質を高めた映像データとして出力する（ステップｓ１６）。 The interpolation processing unit 24 digitally interpolates the video data that has undergone the enlargement process using the digital data of the software by using the video data before the enlargement and the video data after the enlargement, thereby correcting the focus and contrast to improve the video quality. Output as video data (step s16).

最後に、表示部２５は補間処理部２４から入力した映像データを表示することにより、被写体３０に対し所定倍率に拡大された映像をリアルタイムに表示する（ステップｓ１７）。 Finally, the display unit 25 displays the video data input from the interpolation processing unit 24, thereby displaying the video enlarged at a predetermined magnification on the subject 30 in real time (step s17).

以上のように、映像の前後フレームが連続していることを生かし、１フレーム前の走査データを偶数走査データと奇数走査データとに分けるインターレス化を行い、走査データを前フレームの偶数走査データと後（現）フレームの奇数走査データとを合わせて１フレームとして扱うことにより、２フレームにつき１フレーム分のデータ処理で画像処理、拡大、補間、補正等の処理が可能となり、データ量の削減により高速性（リアルタイム性）を実現するとともに、性能向上が実現できる。 As described above, taking advantage of the fact that the preceding and following frames of the video are continuous, the interlaced processing is performed to divide the scan data of the previous frame into even-numbered scan data and odd-numbered scan data, and the scan data is even-numbered scan data of the previous frame. And the odd-numbered scan data of the subsequent (current) frame are combined and handled as one frame, image processing, enlargement, interpolation, correction, etc. can be performed with data processing for one frame per two frames, and the amount of data is reduced. As a result, high speed (real time) can be achieved and performance can be improved.

このように天眼鏡としての利用形態では映像を注視して使用することから、非常に動きが早い映像を忠実に撮影する必要がなく、インターレス方式により見た目のリアルタイム表示をスムーズに見せることを可能とする。 In this way, in the form of use as a spectacle, since the video is watched and used, it is not necessary to faithfully shoot the video with very fast movement, and it is possible to smoothly display the real-time display of the appearance by the interlace method To do.

（第３の実施形態）
以上の実施形態では、前フレームの偶数走査データと現フレームの奇数走査データを１フレームとして処理し、次のフレーム処理時には、現フレームを前フレームとし、次フレームを現フレームとして、偶数走査データと奇数走査データを１フレームとして扱う方式について説明したが、１フレームとする前フレームと現フレームの走査データの組み合わせはそれぞれ偶数と奇数の他に、奇数と偶数の組み合わせとすることが可能である。 (Third embodiment)
In the above embodiment, the even-numbered scan data of the previous frame and the odd-numbered scan data of the current frame are processed as one frame, and at the time of the next frame processing, the current frame is set as the previous frame and the next frame is set as the current frame. Although the method of handling odd-numbered scan data as one frame has been described, the combination of scan data of the previous frame and the current frame as one frame can be a combination of odd and even numbers, in addition to even and odd numbers, respectively.

即ち、インターレス処理における走査データの組み合わせの扱いは、前フレームの奇数走査データと後フレームの偶数走査データとの組み合わせで１フレームとするように構成することができる。 In other words, the combination of the scan data in the interlace processing can be configured to be one frame by combining the odd scan data of the previous frame and the even scan data of the subsequent frame.

これらの処理方式を採用することにより、２フレームのそれぞれのフレームの映像情報を担保できるとともに、２フレームから１フレームへの映像データのデータ削減を可能とし、これまでの携帯電話機等の携帯端末のハードウエア等でも十分な処理性能を得ることを可能とする。 By adopting these processing methods, the video information of each of the two frames can be secured and the video data can be reduced from two frames to one frame. It is possible to obtain sufficient processing performance even with hardware.

つまり、動画像の時間的な連続性をもった映像データの特徴を維持する点と、天眼鏡という映像を注視するような形態で利用され、非常に動きが早い映像を撮影することがないという点と、を考慮した構成としたことにより、ハードウエア等を高度化せずにこれまでの携帯電話でも十分な処理性能を得ることが可能となる。 In other words, it maintains the characteristics of video data with temporal continuity of moving images, and it is used in a form of gazing at a video called a spectacle, and it does not shoot video that moves very quickly. With this configuration, sufficient processing performance can be obtained even with a conventional cellular phone without upgrading hardware and the like.

（他の実施形態）
以上、本発明の好適な実施形態を説明したが、表示部の構成によりインターレスの映像データを直接表示可能な場合は、第３の実施形態のインターレスの映像データをノンインターレス形式に変更する合成部等の構成は省略可能である。 (Other embodiments)
Although the preferred embodiment of the present invention has been described above, when the interlaced video data can be directly displayed by the configuration of the display unit, the interlaced video data of the third embodiment is changed to a non-interlaced format. The configuration of the synthesizing unit and the like to be performed can be omitted.

更に、第２、３の実施形態はプログラム処理で実現可能であることは明らかである。つまり第２、３の実施形態の前述の各部の機能、方法（手順）を実現可能なプログラムを図３に示す天眼鏡機能を有するカメラ付き携帯電話機及び映像処理装置のＲＯＭ１０ｂに格納し、ＣＰＵ１０ａの制御プログラムとすることで実現可能である。 Further, it is obvious that the second and third embodiments can be realized by program processing. That is, a program capable of realizing the functions and methods (procedures) of the above-described units of the second and third embodiments is stored in the ROM 10b of the camera-equipped cellular phone and video processing apparatus shown in FIG. 3 and controlled by the CPU 10a. It can be realized by making a program.

本発明によれば、映像データのデータ量を削減して手元の文字や細かな映像を拡大表示してみることができる電子的な天眼鏡を実現可能とするものであり、携帯電話機に限らずカメラ部を内蔵する情報端末等、各種の携帯端末に適用可能である。 According to the present invention, it is possible to realize an electronic telescope capable of reducing the amount of video data and displaying an enlarged display of characters and small images at hand. The present invention can be applied to various portable terminals such as an information terminal incorporating a unit.

本発明の第１の実施形態の天眼鏡機能を有するカメラ付き携帯電話機及び映像処理装置の構成を示す図である。It is a figure which shows the structure of the mobile telephone with a camera which has the spectacles function of the 1st Embodiment of this invention, and a video processing apparatus. 本発明の第１の実施形態の天眼鏡機能を有するカメラ付き携帯電話機及び映像処理装置の映像処理方法を示すフローチャートである。It is a flowchart which shows the video processing method of the mobile telephone with a camera which has the spectacles function of the 1st Embodiment of this invention, and a video processing apparatus. 本発明の第１の実施形態の天眼鏡機能を有するカメラ付き携帯電話機及び映像処理装置をコンピュータのプログラムにより実現する装置構成を示す図である。It is a figure which shows the apparatus structure which implement | achieves the mobile phone with a camera and video processing apparatus which have the spectacles function of the 1st Embodiment of this invention by the program of a computer. 本発明の第２の実施形態のカメラ付き携帯電話機の構成を示す図である。It is a figure which shows the structure of the mobile telephone with a camera of the 2nd Embodiment of this invention. 第２の実施形態の映像処理部２２の構成例を示す図である。It is a figure which shows the structural example of the video processing part 22 of 2nd Embodiment. 第２の実施形態のデータ間引部２２３の構成例を示す図である。It is a figure which shows the structural example of the data thinning-out part 223 of 2nd Embodiment. 第２の実施形態の動作を示す図である。It is a figure which shows operation | movement of 2nd Embodiment.

符号の説明Explanation of symbols

１０、２０携帯電話機
１１、２１カメラ部
１２、２２映像処理部
１３、２３拡大処理部
２４補間処理部
１４、２５表示部
１５、２６キー操作部
３０被写体 10, 20 Mobile phone 11, 21 Camera unit 12, 22 Video processing unit 13, 23 Enlargement processing unit 24 Interpolation processing unit 14, 25 Display unit 15, 26 Key operation unit 30 Subject

Claims

カメラ部で撮像した被写体の映像データからデータを間引く映像処理部と、前記映像処理部の出力の映像を拡大する拡大処理部と、前記拡大処理部の出力を表示する表示部と、を備えることを特徴とする天眼鏡機能を有するカメラ付き携帯端末。 A video processing unit that thins data from video data of a subject imaged by the camera unit, an enlargement processing unit that enlarges an output video of the video processing unit, and a display unit that displays the output of the enlargement processing unit. A camera-equipped mobile terminal having a celestial eye function.

前記映像処理部は、走査データ単位でデータを間引くことを特徴とする請求項１記載のカメラ付き携帯端末。 The camera-equipped mobile terminal according to claim 1, wherein the video processing unit thins data in units of scanning data.

前記映像処理部は、映像データをインターレス化するインターレス部と、前記インターレス部の出力の連続する２フレーム毎に、前フレームの偶数走査データ又は奇数走査データと、後フレームのそれぞれ奇数走査データ又は偶数走査データとにより１フレームを構成して出力するデータ間引部と、からなることを特徴とする請求項１又は２記載のカメラ付き携帯端末。 The video processing unit includes an interlace unit that interlaces video data, an even-numbered scan data or odd-numbered scan data of the previous frame, and an odd-numbered scan of the subsequent frame for every two consecutive frames output from the interlaced unit. The camera-equipped mobile terminal according to claim 1, further comprising: a data thinning unit that forms and outputs one frame with data or even-numbered scan data.

映像データを補間する補間処理部を備え、前記表示部は補間した映像データを表示することを特徴とする請求項１ないし３の何れかの請求項記載のカメラ付き携帯端末。 The camera-equipped mobile terminal according to any one of claims 1 to 3, further comprising an interpolation processing unit that interpolates video data, wherein the display unit displays the interpolated video data.

カメラ部で撮像した被写体の映像データからデータを間引く映像処理部と、前記映像処理部の出力の被写体の映像を拡大する拡大処理部と、を備えることを特徴とするカメラ付き携帯端末の映像処理装置。 A video processing of a mobile terminal with a camera, comprising: a video processing unit that thins out data from video data of a subject captured by a camera unit; and an enlargement processing unit that expands a video of a subject output from the video processing unit apparatus.

前記映像処理部は、走査データ単位でデータを間引くことを特徴とする請求項５記載のカメラ付き携帯端末の映像処理装置。 6. The video processing apparatus of a camera-equipped mobile terminal according to claim 5, wherein the video processing unit thins data in units of scanning data.

前記映像処理部は、映像データをインターレス化するインターレス部と、前記インターレス部の出力の連続する２フレーム毎に、前フレームの偶数走査データ又は奇数走査データと、後フレームのそれぞれ奇数走査データ又は偶数走査データとにより１フレームを構成して出力するデータ間引部と、からなることを特徴とする請求項５又は６記載のカメラ付き携帯端末の映像処理装置。 The video processing unit includes an interlace unit that interlaces video data, an even-numbered scan data or odd-numbered scan data of the previous frame, and an odd-numbered scan of the subsequent frame for every two consecutive frames output from the interlaced unit. 7. A video processing apparatus for a camera-equipped mobile terminal according to claim 5, further comprising a data thinning unit configured to output one frame of data or even-numbered scan data.

映像データを補間する補間処理部を備えることを特徴とする請求項５ないし７の何れかの請求項記載のカメラ付き携帯端末の映像処理装置。 8. The video processing apparatus for a mobile terminal with a camera according to claim 5, further comprising an interpolation processing unit for interpolating video data.

カメラ部で撮像した被写体の映像データからデータを間引くステップと、被写体の映像を拡大するステップと、からなる天眼鏡機能を有するカメラ付き携帯端末の映像処理方法。 A video processing method for a camera-equipped mobile terminal having a spectacle function, comprising: a step of thinning data from video data of a subject imaged by a camera unit; and a step of enlarging a video of the subject.

前記映像データからデータを間引くステップは、走査データ単位でデータを間引くステップを含むことを特徴とする請求項９記載のカメラ付き携帯端末の映像処理方法。 10. The video processing method for a camera-equipped mobile terminal according to claim 9, wherein the step of thinning data from the video data includes a step of thinning data in units of scan data.

前記映像データからデータを間引くステップは、映像データをインターレス化するステップと、インターレスした出力の連続する２フレーム毎に、前フレームの偶数走査データ又は奇数走査データと、後フレームのそれぞれ奇数走査データ又は偶数走査データとにより１フレームを構成して出力するステップと、を含むことを特徴とする請求項９又は１０記載のカメラ付き携帯端末の映像処理方法。 The steps of thinning out the data from the video data include the step of interlacing the video data, the odd-numbered scan data of the previous frame, and the odd-numbered scan of the subsequent frame for every two consecutive frames of the interlaced output. 11. The video processing method for a camera-equipped mobile terminal according to claim 9 or 10, comprising a step of forming and outputting one frame with data or even-numbered scan data.

被写体の映像を拡大した映像データを補間するステップを含むことを特徴とする請求項９ないし１１の何れかの請求項記載のカメラ付き携帯端末の映像処理方法。 12. The video processing method for a camera-equipped mobile terminal according to claim 9, further comprising a step of interpolating video data obtained by enlarging a video of a subject.

カメラ部で撮像した被写体の映像データからデータを間引くステップと、前記データを間引いた映像データを入力し被写体の映像を拡大するステップと、拡大した映像を表示するステップと、をコンピュータに実行させる天眼鏡機能を有するカメラ付き携帯端末のプログラム。 A spectacle that causes a computer to execute a step of thinning data from video data of a subject imaged by a camera unit, a step of inputting video data obtained by thinning the data and enlarging a video of the subject, and a step of displaying the enlarged video A camera-equipped portable terminal program having a function.

前記映像データからデータを間引くステップは、走査データ単位でデータを間引くステップを含むことを特徴とする請求項１３記載のカメラ付き携帯端末のプログラム。 14. The program for a camera-equipped mobile terminal according to claim 13, wherein the step of thinning data from the video data includes a step of thinning data in units of scan data.

前記映像データからデータを間引くステップは、映像データをインターレス化するステップと、インターレスした出力の連続する２フレーム毎に、前フレームの偶数走査データ又は奇数走査データと、それぞれ後フレームの奇数走査データ又は偶数走査データとにより１フレームを構成して出力するステップと、を含むことを特徴とする請求項１３又は１４記載のカメラ付き携帯端末のプログラム。 The steps of thinning out the data from the video data include the step of interlacing the video data, the even-numbered scan data or odd-numbered scan data of the previous frame, and the odd-numbered scan of the subsequent frame for every two consecutive frames of the interlaced output. 15. The program for a camera-equipped mobile terminal according to claim 13 or 14, further comprising the step of forming and outputting one frame with data or even-numbered scan data.

被写体の映像を拡大した映像データを補間するステップと、補間した映像データを前記表示部に表示するステップと、を含むことを特徴とする請求項１３ないし１５の何れかの請求項記載のカメラ付き携帯端末のプログラム。 The camera-attached device according to any one of claims 13 to 15, further comprising a step of interpolating video data obtained by enlarging an image of a subject, and a step of displaying the interpolated video data on the display unit. Mobile terminal program.