JP2006285475A - Interface technology using digital camera function for multi-dimensional digital image composite processing - Google Patents

Interface technology using digital camera function for multi-dimensional digital image composite processing Download PDF

Info

Publication number
JP2006285475A
JP2006285475A JP2005102581A JP2005102581A JP2006285475A JP 2006285475 A JP2006285475 A JP 2006285475A JP 2005102581 A JP2005102581 A JP 2005102581A JP 2005102581 A JP2005102581 A JP 2005102581A JP 2006285475 A JP2006285475 A JP 2006285475A
Authority
JP
Japan
Prior art keywords
digital camera
image
digital
processing
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005102581A
Other languages
Japanese (ja)
Inventor
Yosuke Nanri
陽介 南里
Masaru Taguchi
大 田口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MIMI KK
Original Assignee
MIMI KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MIMI KK filed Critical MIMI KK
Priority to JP2005102581A priority Critical patent/JP2006285475A/en
Publication of JP2006285475A publication Critical patent/JP2006285475A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a new interface technology which multi-dimensionally executes composite processing such as movement, lamination, processing/amendment and so on while optionally operating various kinds of data, such as a plurality of images and so on, by making use of the movement of an object obtained by a digital camera function equipped with equipment. <P>SOLUTION: The interface technology making use of a digital camera function for multi-dimensional digital image composite processing reflects the relative movement of an image of an object 3, which is picked up by a digital camera 7, to an arrow mark pointer icon 5, which is superposed on data being displayed on monitors 4 and 4a and is displayed, and to the movements of other different image data. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、デジタルカメラ機能によって得られる被写体画像の動きを利用して複数の画像等の各種デジタルデータを任意に操作しながら移動や重ね合わせや加工・修正等の複合的な処理を多次元的に実行する新規なインターフェイス技術を提案するものである。   The present invention multi-dimensionally performs complex processing such as movement, superposition, processing, and correction while arbitrarily manipulating various digital data such as a plurality of images using movement of a subject image obtained by a digital camera function. We propose a new interface technology to be implemented.

コンピュータ技術を用いて複数の画像データを適宜に加工等しながら重ね合わせて新たな画像データを合成する技術等は多種多様なものが提案されている。
また、モニター上で表示している画像データの位置を任意に移動等させるためにマウス等の入力装置を利用することも常識的な技術である。
さらにポインティングディバイスとして用いられる入力装置はコンピュータマウスに代表されるように一般にはモニター上に表示された二次元平面上の任意の位置を指示すのみであり、奥行き方向における位置情報をも併せて３次元的に適切に示すことができるものは殆んど提案されていない。
携帯電話に備付けられたデジタルカメラで取得した画像を切り抜く技術に関しては以下のような文献が見出される。
特開２００４−３２８３１８号公報 A variety of techniques have been proposed for combining a plurality of image data using computer technology while appropriately processing and synthesizing new image data.
In addition, it is a common-sense technique to use an input device such as a mouse to arbitrarily move the position of image data displayed on a monitor.
Further, as represented by a computer mouse, an input device used as a pointing device generally only indicates an arbitrary position on a two-dimensional plane displayed on a monitor, and also includes position information in the depth direction. Few things have been proposed that can be shown appropriately in dimension.
The following documents are found regarding a technique for clipping an image acquired by a digital camera installed in a mobile phone.
JP 2004-328318 A

複数の画像データ同士をコンピュータ技術によって合成する場合には相互の画像データが合成可能な形式でファイルデータ化されている必要があり、例えばデジタルカメラで撮影している画像をそのまま或いは若干の加工を施し、所望の位置決めを行った状態で別の画像データに重ね合わせて合成表示するようなことは行われていない。   When combining a plurality of image data by computer technology, the image data must be converted into file data in a format in which the image data can be combined. For example, an image captured by a digital camera may be processed as it is or with some processing. In the state where the desired positioning has been performed, it is not performed to superimpose on another image data and display it in combination.

マウスの矢印アイコンのようなポインター画像を任意に動かす手段として撮影能力を持ったデジタルカメラ機能を利用し、撮影に際してモニター上に表れる被写体の動きを反映させて所望のポインター移動操作を行おうという発想は従来技術には存在していない。   The idea of using the digital camera function with shooting capability as a means to move the pointer image like the arrow icon of the mouse as desired, and performing the desired pointer movement operation reflecting the movement of the subject appearing on the monitor during shooting Does not exist in the prior art.

特に、デジタルカメラ機能で捕捉される被写体の動きの変化は奥行き方向の動きを含めた３次元的（立体的）なものとして認識可能であり、これをモニター上に表現される仮想の３次元（立体）空間内の任意の位置表示を示す３次元ポインター（３次元マウス）の操作手法に応用可能であるが、このような発想は従来まったくなされていない。
上記文献は切り抜きポイントを指定してサーバー上で処理してデータをダウンロードするもので、デジタルカメラによる画像処理特性を利用して新たなポインティングデバイスを提案するといった技術とは関連が薄い。 In particular, a change in the movement of the subject captured by the digital camera function can be recognized as a three-dimensional (three-dimensional) including a movement in the depth direction, and this can be recognized as a virtual three-dimensional ( Although it can be applied to a method of operating a three-dimensional pointer (three-dimensional mouse) indicating an arbitrary position display in a (three-dimensional) space, such an idea has not been made at all.
The above document specifies a clipping point, downloads data by processing on a server, and is not related to a technique of proposing a new pointing device using image processing characteristics of a digital camera.

本発明は上記したような従来技術における課題を解消すべく検討を重ねて創案されたものであって、デジタルカメラ機能によって得られる被写体画像の動きの変化を利用し更に必要に応じて撮影映像をも使用しながら多様な用途に応用可能なデジタルデータの複合技術を開発したものであって、具体的には以下のとおりである。   The present invention was devised in order to solve the above-described problems in the prior art, and uses a change in the movement of the subject image obtained by the digital camera function to further capture a captured video as necessary. Is a digital data composite technology that can be applied to various applications while using it. Specifically, it is as follows.

（１） 取得画像を複数枚重ね合わせて一枚の画像を作る上で、従来のブルーバックではなく白紙を含めて自由な色の背景色を採用可能とし、余計な背景部分を排除し透明にしたり、単純な実線を星型や他の形状の集合的実線に変えるような線や点の補完など、様々な画像処理・変換を行い、鉛筆画のような微細で淡い描画においても画像取り込み、マーキングポイント認識が可能になることを特徴とするデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。   (1) When creating a single image by superimposing multiple acquired images, it is possible to adopt a free background color including white paper instead of the conventional blue background, eliminating the extra background and making it transparent. Various image processing and conversion, such as complementing lines and points that change a simple solid line into a star-shaped or other shape collective solid line, capture and mark even fine and light drawing like a pencil drawing Interface technology for multidimensional digital image processing using a digital camera function, which makes point recognition possible.

（２） デジタルカメラで捉えている被写体画像の相対的な動きをモニター上の表示中データに重ね合わせて表示する別の画像データの動きに反映させることを特徴とするデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。   (2) A digital camera function that uses the digital camera function to reflect the relative movement of the subject image captured by the digital camera on the movement of another image data to be displayed superimposed on the data being displayed on the monitor. Interface technology for multidimensional digital image processing.

（３） デジタルカメラで捉えている被写体画像の相対的な動きを２次元的なものとして処理することで重ね合わせて表示する別の画像データをモニター上の任意の位置に２次元的に移動させ得ることを特徴とする前記（２）項に記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。   (3) By processing the relative movement of the subject image captured by the digital camera as a two-dimensional image, another image data to be displayed in a superimposed manner is moved two-dimensionally to an arbitrary position on the monitor. An interface technology for multidimensional digital image composite processing using the digital camera function described in the above item (2).

（４） モニター上に重ね合わせて表示する別の画像データとして予め準備した矢印アイコンのようなモニター上の所定位置指示に相応しい形状およびサイズのものを使うことでポインティングディバイスとしての機能を持たせたことを特徴とする前記（２）項または（３）項に記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。   (4) A function as a pointing device is provided by using a shape and size suitable for a predetermined position indication on the monitor such as an arrow icon prepared in advance as another image data to be displayed superimposed on the monitor. An interface technique for multidimensional digital image composite processing using the digital camera function described in the above item (2) or (3).

（５）モニター上に重ね合わせて表示する別の画像データとしてデジタルカメラで捉えている被写体画像またはその一部を抽出して使うことを特徴とする前記（１）項〜（４）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。   (5) Any one of the above items (1) to (4), wherein a subject image captured by a digital camera or a part thereof is extracted and used as another image data to be displayed superimposed on a monitor. Interface technology for multidimensional digital image composite processing using the digital camera function described in any one of the above.

（６） デジタルカメラで捉えている被写体画像の一部を抽出するためにその一部と残部との境界を分ける所定数値以上の明暗度差その他の閾値を利用することを特徴とする前記（２）項〜（５）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。   (6) In order to extract a part of a subject image captured by a digital camera, a difference in brightness and other threshold values that divide the boundary between the part and the remaining part are used. A multi-dimensional digital image composite processing interface technique using the digital camera function according to any one of items (5) to (5).

（７） 別の画像データとして利用するデジタルカメラで捉えている被写体画像に対して適宜に修正、装飾、加工、置換などを施すことを特徴とする前記（２）項〜（６）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。   (7) Any one of the above items (2) to (6), wherein a subject image captured by a digital camera used as another image data is appropriately corrected, decorated, processed, or replaced Interface technology for multidimensional digital image composite processing using the digital camera function described in any one of the above.

（８） 別の画像データとして利用するデジタルカメラでリアルタイムに捉えている被写体画像に対して施す修正、装飾、加工、置換などの結果をリアルタイムに完成してモニター上に表示することを特徴とする前記（２）項〜（７）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。   (8) The present invention is characterized in that the result of correction, decoration, processing, replacement, etc. to be performed on a subject image captured in real time by a digital camera used as another image data is completed in real time and displayed on a monitor. An interface technology for multidimensional digital image composite processing using the digital camera function according to any one of (2) to (7).

（９） デジタルカメラで捉えている被写体画像の相対的な動きが捕捉している画像データの所定の割合以上の領域において共通している場合にのみ別の画像データの動きに反映させることを特徴とする前記（２）項〜（８）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。   (9) Only when the relative movement of the subject image captured by the digital camera is common in an area of a predetermined ratio or more of the captured image data, it is reflected in the movement of another image data. An interface technology for multidimensional digital image composite processing using the digital camera function according to any one of (2) to (8).

（１０） デジタルカメラが被写体に対して相対的に上下左右に移動することで捉えられる被写体画像の動きをモニター上に重ね合わせて表示する別の画像データの上下左右の動きとして反映させることを特徴とする前記（２）項〜（９）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。   (10) The movement of the subject image captured by the digital camera moving up, down, left, and right relative to the subject is reflected as the up, down, left, and right movement of another image data displayed on the monitor. An interface technology for multidimensional digital image composite processing using the digital camera function according to any one of (2) to (9).

（１１） デジタルカメラが被写体に対して近づき又は遠ざかることで捉えられる被写体画像の動きをも組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの平面的な動きに前後奥行きの動きを加えて立体的な動きとして反映させることを特徴とする前記（２）項〜（１０）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。   (11) By combining and synthesizing the movement of the subject image captured when the digital camera approaches or moves away from the subject, the planar movement of another image data to be displayed superimposed on the monitor is obtained. Multidimensional digital image composite processing using the digital camera function according to any one of (2) to (10) above, wherein a motion of depth in the front and back is added and reflected as a three-dimensional motion Interface technology.

（１２） デジタルカメラのズーム機能による被写体画像の動きを組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの立体的な動きとして反映させることを特徴とする前記（２）項〜（１１）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。   (12) The movement of the subject image by the zoom function of the digital camera is combined and combined to be reflected as a three-dimensional movement of another image data to be displayed superimposed on the monitor. (2) A multidimensional digital image composite processing interface technique using the digital camera function according to any one of (2) to (11).

（１３） デジタルカメラのピント合わせ処理に基づく被写体画像の動きを組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの立体的な動きとして反映させることを特徴とする前記（２）項〜（１２）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。   (13) By combining and synthesizing the movement of the subject image based on the focusing process of the digital camera, it is reflected as a three-dimensional movement of another image data to be displayed superimposed on the monitor. An interface technology for multidimensional digital image composite processing using the digital camera function according to any one of (2) to (12).

（１４） デジタルカメラに有線又は無線の通信手段を持たせることで、別機器のモニター上において重ね合わせて表示する別の画像データの動きとして反映させることを特徴とする前記（２）項〜（１３）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。   (14) Items (2) to (2) above, wherein the digital camera is provided with wired or wireless communication means, and is reflected as a movement of another image data to be displayed superimposed on a monitor of another device. An interface technology for multidimensional digital image composite processing using the digital camera function according to any one of items 13).

（１５） 携帯電話のようなモバイル通信情報端末機器に備付けられたデジタルカメラを用いることを特徴とする前記（２）項〜（１４）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。   (15) Using the digital camera function described in any one of (2) to (14) above, wherein a digital camera installed in a mobile communication information terminal device such as a mobile phone is used. Interface technology for multidimensional digital image composite processing.

（１６） デジタルカメラ機能を利用して立体的位置情報を付与しながら立体的な被写体の画像データを取込んで複合処理することを特徴とする前記（２）項〜（１５）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。   (16) Any one of the above items (2) to (15), wherein the three-dimensional object image data is taken in and combined with the three-dimensional position information using the digital camera function, and combined processing is performed. Interface technology for multidimensional digital image composite processing using the digital camera function described in one.

（１７） 取得している画像データの特定箇所をポイントしながら該箇所に対しての記述データを入力し、該特定箇所の位置情報と関連付ける複合処理を行うことで商品サンプル画像に対する意見情報などを結びつけたアンケート用ツールとして用いることを特徴とする前記（２）項〜（１６）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。   (17) Input descriptive data for a specific location while pointing to a specific location in the acquired image data, and perform opinion processing on the product sample image by performing a composite process associated with the location information of the specific location An interface technology for multidimensional digital image composite processing using a digital camera function according to any one of (2) to (16) above, wherein the interface technology is used as a linked questionnaire tool.

（１８） 取得している複数の画像データを所望の位置関係を持たせて重ね合わせ処理することでプリクラ機能を持たせたことを特徴とする前記（２）項〜（１７）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。   (18) Any one of the above items (2) to (17), wherein a plurality of acquired image data are subjected to a superposition process with a desired positional relationship to provide a photokura function. Interface technology for multidimensional digital image composite processing using the digital camera function described in one.

取得画像を複数枚重ね合わせて一枚の画像を作る上で、従来のブルーバックではなく白紙を含めて自由な色の背景色を採用可能とし、余計な背景部分を排除し透明にしたり、単純な実線を星型や他の形状の集合的実線に変えるような線や点の補完など、様々な画像処理・変換を行い、鉛筆画のような微細で淡い描画においても画像取り込み、マーキングポイント認識が可能になることで、デジタルカメラの撮影機能を活用した画像データを含む多様なデジタルデータの多次元的な複合的処理のインターフェイスとしての利用が可能となる。   When creating a single image by superimposing multiple acquired images, it is possible to adopt a free background color including blank paper instead of the conventional blue background, making it unnecessary to remove the extra background and making it transparent or simple Various image processing and conversion, such as complementing lines and points that change a solid line into a star-shaped or other shape collective solid line, and even for fine and light drawing such as pencil drawings, image capture and marking point recognition By making it possible, it becomes possible to use various digital data including image data using the photographing function of the digital camera as an interface for multidimensional complex processing.

デジタルカメラで捉えている被写体画像の相対的な動きをモニター上の表示中データに重ね合わせて表示する別の画像データの動きに反映させることで、通常のデジタルカメラが当然に有している被写体の撮影能力を利用しながらモニター上に表示した各種データの移動その他の処理に活用して多次元的な複合的処理を行うインターフェイス端末とすることが可能となる。
ここで「多次元的複合処理」とは、任意に２次元的・３次元的処理を複合的に行ったり、さらに相互関連性を維持したままでの各種処理が可能な各種パラメーターを適宜に組合せながら実行する複合的なデータ処理のことであり、このような意味において既に実現されている各種の複合処理技術を当然に含んだものである。
また、本発明で言う「画像データ」とは、コンピュータのモニター上に表示し得るデジタルデータのことであり、所謂画像ファイルだけではなく、例えば、各種の文書ファイルであってもそれがモニター上に表示されて複合的処理の対象となり得るものであれば、本発明の「画像データ」に含まれるものである。 Subject that a normal digital camera naturally has by reflecting the relative movement of the subject image captured by the digital camera on the movement of other image data that is displayed superimposed on the data being displayed on the monitor It is possible to make an interface terminal that performs multi-dimensional composite processing by utilizing various image data displayed on the monitor while utilizing the imaging capability.
Here, “multi-dimensional composite processing” is an appropriate combination of various parameters that can be arbitrarily combined with two-dimensional and three-dimensional processing, and can be processed in various ways while maintaining their interrelationships. However, it is a complex data processing to be executed, and naturally includes various complex processing techniques already realized in this sense.
The “image data” in the present invention is digital data that can be displayed on a computer monitor. For example, not only image files but also various document files are displayed on the monitor. Anything that can be displayed and can be subjected to complex processing is included in the “image data” of the present invention.

デジタルカメラで捉えている被写体画像の相対的な動きを２次元的なものとして処理することで重ね合わせて表示する別の画像データをモニター上の任意の位置に２次元的に移動させ得ることで、特にモニター平面上の任意の位置に移動処理しながら様々な多次元的複合処理を実行するインターフェイス装置としてデジタルカメラその物やデジタルカメラ機能を備えた各種機器を利用することができるようになる。   By processing the relative movement of the subject image captured by the digital camera as a two-dimensional image, it is possible to move another image data to be displayed in a two-dimensional manner to any position on the monitor. In particular, the digital camera itself and various devices equipped with a digital camera function can be used as an interface device that executes various multidimensional composite processing while moving to an arbitrary position on the monitor plane.

モニター上に重ね合わせて表示する別の画像データとして予め準備した矢印アイコンのようなモニター上の所定位置指示に相応しい形状およびサイズのものを使うことでポインティングディバイスとしての機能を持たせたことで、デジタルカメラ機能を備えた各種機器をパソコン用マウスと同等の役割を果たすものとして活用することが可能となる。   By having a shape and size suitable for a predetermined position indication on the monitor such as an arrow icon prepared in advance as another image data to be displayed superimposed on the monitor, it has a function as a pointing device, Various devices equipped with digital camera functions can be used to play the same role as a PC mouse.

モニター上に重ね合わせて表示する別の画像データとしてデジタルカメラで捉えている被写体画像またはその一部を抽出して使うことで、デジタルカメラ機能そのもので取得した画像データを活用した各種の多次元的複合処理が可能なものとなる。   By extracting and using the subject image captured by the digital camera or a part of it as another image data to be displayed superimposed on the monitor, various multi-dimensional data utilizing the image data acquired by the digital camera function itself Combined processing is possible.

デジタルカメラで捉えている被写体画像の一部を抽出するためにその一部と残部との境界を分ける所定数値以上の明暗度差その他の閾値を利用することで、取得している画像データの所望部分を自由に切り出して多様な多次元的複合的処理の素材として利用することができるようになる。   In order to extract a part of the subject image captured by the digital camera, the desired image data can be obtained by using a brightness difference or other threshold value that is greater than or equal to a predetermined value that separates the boundary between the part and the rest The part can be freely cut out and used as a material for various multidimensional composite processes.

別の画像データとして利用するデジタルカメラで捉えている被写体画像に対して適宜に修正、装飾、加工、置換などを施すことで、利用者の必要性や好みに応じた様々な変形処理を施した上で画像データ素材となし多次元的複合的処理を加えることが可能となる。   Various modifications were made to the user's needs and preferences by appropriately modifying, decorating, processing, and replacing the subject image captured by the digital camera used as separate image data. It is possible to add multidimensional complex processing without image data material.

別の画像データとして利用するデジタルカメラでリアルタイムに捉えている被写体画像に対して施す修正、装飾、加工、置換などの結果をリアルタイムに完成してモニター上に表示することで、デジタルカメラにより取得中の画像データにダイレクトの所望の加工等を含んだ複合的処理を行い、その結果を即座に反映させながら各種モニター上に表示する従来にない新しい表現形式を実現することが可能となる。   Obtained by the digital camera by completing and displaying on the monitor the results of corrections, decorations, processing, replacements, etc. applied to the subject image captured in real time by the digital camera used as other image data. It is possible to realize an unprecedented new expression format that performs complex processing including direct desired processing on the image data and displays the result on various monitors while immediately reflecting the result.

デジタルカメラで捉えている被写体画像の相対的な動きが捕捉している画像データの所定の割合以上の領域において共通している場合にのみ別の画像データの動きに反映させることで、被写体の部分的な動きの変化に影響されず所望の処理が実行できるようにすることができる。例えば、意図しない小さな動きに反応してしまうと利用者が望んでいる操作を実現できないが、所定の割合以上の大きな動きのみに反応するように制限をすることで意図に沿った操作が実現可能となるのである。   Only when the relative movement of the subject image captured by the digital camera is common in an area of a predetermined ratio or more of the captured image data, it is reflected in the movement of another image data. It is possible to execute a desired process without being influenced by a change in the movement. For example, if the user reacts to an unintended small movement, the operation desired by the user cannot be realized, but the operation according to the intention can be realized by limiting so as to react only to a large movement exceeding a predetermined ratio. It becomes.

デジタルカメラが被写体に対して相対的に上下左右に移動することで捉えられる被写体画像の動きをモニター上に重ね合わせて表示する別の画像データの上下左右の動きとして反映させることで、デジタルカメラの上下左右の２次元的動きをそのままモニター上の矢印アイコンなどの動きに移し変えてパソコン用マウスとまったく同様の操作感を持った機器として使用することが可能となる。   By reflecting the movement of the subject image captured by the digital camera moving up, down, left, and right relative to the subject as an up-down, left-right movement of another image data displayed on the monitor. It can be used as a device with exactly the same operational feeling as a mouse for a personal computer by moving the two-dimensional movement of the top, bottom, left and right to the movement of the arrow icon on the monitor.

デジタルカメラが被写体に対して近づき又は遠ざかることで捉えられる被写体画像の動きをも組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの平面的な動きに前後奥行きの動きを加えて立体的な動きとして反映させることにより、モニター上に表現される立体的映像データなどの３次元的な位置情報を明確に指示することができる３次元マウスの如き従来にない新規なポインティングディバイスを操作感に優れたインターフェイス装置として実現することができるようになる。
すなわち、上下左右の２次元的方向（XY軸方向）の位置表示は既存のパソコン用マウスと同等の操作で行うことができ、前後奥行きの３次元的方向（Z軸方向）の位置表示は本発明の機器を被写体に対して近づけたり遠ざけたりする操作で行うことができるので、人間の自然な感覚にマッチした操作性を実現できるものである。 By combining and synthesizing the movement of the subject image captured when the digital camera approaches or moves away from the subject, the planar movement of the other image data displayed on the monitor is combined with the depth of front and back. By adding the movement and reflecting it as a three-dimensional movement, a new novel such as a three-dimensional mouse that can clearly indicate three-dimensional position information such as three-dimensional video data expressed on a monitor. The pointing device can be realized as an interface device with excellent operational feeling.
In other words, the position display in the two-dimensional direction (up and down, left and right) (XY axis direction) can be performed with the same operation as an existing personal computer mouse, and the position display in the three-dimensional direction (Z axis direction) of the front and rear depth is Since the device of the invention can be operated by moving the device closer to or away from the subject, it is possible to realize operability that matches the natural sense of human beings.

デジタルカメラのズーム機能による被写体画像の動きを組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの立体的な動きとして反映させることで、同様に人間の感性に適合した操作手法による３次元マウスの如きポインティングデバイスを実現することが可能となる。被写体に対してデジタルカメラのズーム機能によって寄ったり離れたりすることを矢印アイコンの如きのZ軸方向の位置表示操作に当てはめることも自然な人間の感性にマッチした処理手法となっているのである。   By combining and synthesizing the movement of the subject image by the zoom function of the digital camera and reflecting it as a three-dimensional movement of another image data that is displayed superimposed on the monitor, it is also adapted to human sensitivity A pointing device such as a three-dimensional mouse can be realized by the operation method described above. Applying to the position display operation in the Z-axis direction, such as an arrow icon, to approach or move away from the subject by the zoom function of the digital camera is also a processing method that matches natural human sensitivity.

デジタルカメラのピント合わせ処理に基づく被写体画像の動きを組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの立体的な動きとして反映させることでも人間の感性にマッチした３次元マウスの如き装置を実現することができる。カメラのピント合わせ操作もある意味で被写体とカメラレンズとの距離を適合化しているものと解釈することができ、これをZ軸方向の位置表示に反映させることも自然な操作性実現に結びつけることができるのである。   By combining and synthesizing the movement of the subject image based on the focusing process of the digital camera, it matches the human sensibility even by reflecting it as a three-dimensional movement of another image data to be displayed superimposed on the monitor A device such as a three-dimensional mouse can be realized. The camera focusing operation can also be interpreted as adapting the distance between the subject and the camera lens in a sense, and reflecting this in the position display in the Z-axis direction also leads to the realization of natural operability. Can do it.

デジタルカメラに有線又は無線の通信手段を持たせることで、別機器のモニター上において重ね合わせて表示する別の画像データの動きとして反映させることで、本発明用機器とは別のコンピュータ装置やその他の表示装置に採用されているモニター上においても本発明用機器を操作用端末としながら適宜なデジタルデータの複合処理やコンピュータ用マウス的操作を実現することが可能となる。
本発明用機器として用いるデジタルカメラ等は通常それ自体としてモニターを備えており、したがってこの備付モニター上において上記してきたようなデータの複合処理やマウスとしてのポインティング操作を行うことができるのであるが、本発明用機器に備えられた有線・無線による通信手段を利用することで別機器のモニター上でも同様の利用が可能となるのである。 By providing the digital camera with a wired or wireless communication means and reflecting it as a movement of another image data to be displayed superimposed on a monitor of another device, a computer device other than the device for the present invention or the like Even on the monitor employed in the display device, it is possible to realize appropriate composite processing of digital data and mouse operation for a computer while using the device of the present invention as an operation terminal.
The digital camera or the like used as the device for the present invention usually has a monitor as such, and therefore, it is possible to perform the combined processing of data as described above and the pointing operation as a mouse on the equipped monitor. By using the wired / wireless communication means provided in the device of the present invention, the same use is possible on a monitor of another device.

携帯電話のようなモバイル通信情報端末機器に備付けられたデジタルカメラを用いることで、原理的には既に市場に普及しているカメラ付携帯電話であれば本発明を実施することができるものとなし得る。すなわち、本発明はデジタルカメラ機能を使って取得しているデジタルデータに対する所望の操作処理を行うものであるから、その殆んどをプログラム処理によって実行することが可能なのである。   By using a digital camera equipped in a mobile communication information terminal device such as a mobile phone, in principle, the present invention can be implemented with any camera-equipped mobile phone that has already spread in the market. obtain. That is, since the present invention performs desired operation processing on digital data acquired using the digital camera function, most of it can be executed by program processing.

デジタルカメラ機能を利用して立体的位置情報を付与しながら立体的な被写体の画像データを取込んで複合処理することで、立体的な被写体についてその立体的な位置情報を付与しながら画像データとして取込み作業を行うことが可能となる。   By using the digital camera function to provide stereoscopic position information and taking image data of a three-dimensional subject and performing composite processing, the three-dimensional subject is given image information while giving the three-dimensional position information. It is possible to perform the uptake operation.

取得している画像データの特定箇所をポイントしながら該箇所に対しての記述データを入力し、該特定箇所の位置情報と関連付ける複合処理を行うことで商品サンプル画像に対する意見情報などを結びつけたアンケート用ツールとして用いることで、画像データの特定箇所についての意見を述べるなどといった、携帯電話等を端末機器として使用する場合に、従来は容易に行うことができなかった手法のアンケート調査などであっても適切に実施することが可能となる。   A questionnaire that links descriptive information to product sample images by inputting descriptive data for the location while pointing to a specific location in the acquired image data, and performing composite processing that associates the location information with the location When using mobile phones as terminal devices, such as stating opinions on specific parts of image data, etc., it is a questionnaire survey of methods that could not be easily performed in the past. Can be implemented appropriately.

取得している複数の画像データを所望の位置関係を持たせて重ね合わせ処理することでプリクラ機能を持たせたことで、複数画像を重ね合わせて合成する所謂プリクラのようなサービスを携帯端末であっても実施することが可能となり、需要者に人気のあるサービス展開として本発明を実施することが可能となる。   By providing a photoprinter function by superimposing a plurality of acquired image data with a desired positional relationship, a service such as a so-called photoprinter that combines and superimposes a plurality of images is provided on a mobile terminal. Even if it exists, it becomes possible to implement, and it becomes possible to implement this invention as a service development popular with a consumer.

本発明においては、カメラ付携帯電話やデジタルカメラ機器そのものを利用してそのデジタルカメラ機能により把握される被写体画像の動きを解析し、これをデジタル画像の複合的処理を行う際の各種操作に反映させることで適宜なインターフェイス装置となし得ることを見出したものである。   In the present invention, the movement of the subject image grasped by the digital camera function is analyzed using the camera-equipped mobile phone or the digital camera device itself, and this is reflected in various operations when performing the composite processing of the digital image. It has been found that an appropriate interface device can be obtained by performing the above.

すなわち、所定の機器に付属したデジタルカメラ機能によって被写体を撮影する際に、例えば、該機器を被写体に対して右から左に移動すると機器のモニターに表示された画像は左から右に流れるように移動し、機器を下から上に移動するとモニター上の画像は上から下に移動するというように、デジタルカメラ機能によって機器と被写体との相対的の位置変化を連続的に把握することが可能である。   That is, when shooting a subject using a digital camera function attached to a predetermined device, for example, if the device is moved from right to left with respect to the subject, the image displayed on the device's monitor flows from left to right. It is possible to continuously grasp the relative position change between the device and the subject with the digital camera function, such as moving and moving the device from bottom to top, the image on the monitor moves from top to bottom. is there.

このような両者間の相対的位置変化は機器を所持した者が自在に操作可能なものであり、これを利用してデジタル画像データの複合的処理を行うインターフェイス端末の操作手法とすることができるのである。   Such a relative position change between the two can be freely operated by a person who possesses the device, and can be used as an operation method of an interface terminal that performs composite processing of digital image data using this. It is.

つまり、例えば、上記したような機器と被写体との相対的な上下左右の移動変化をモニター上に表示したポインターアイコンなどの上下左右の移動として反映させるものとすると、既存のコンピュータ用マウスと同等の機能を持った新たなインターフェイス装置が容易に実現できるのである。   In other words, for example, if the change in relative vertical and horizontal movement between the device and the subject is reflected as the vertical and horizontal movement of the pointer icon displayed on the monitor, it is equivalent to an existing computer mouse. A new interface device with functions can be easily realized.

ここで、機器と被写体との相対的な位置変化をＸＹ平面状の座標データとして厳密に把握させる必要性はそれほど存在しない。モニター上のポインターアイコンの移動はおおよその向きを定めて連続移動的に行うものであり、所望のポイントに着いたことをモニター表示上で確認した上で確定操作等を行うことができれば良いものであるから、厳密な座標データを入手して移動処理を行うといったものではないのである。
したがって、ポインターを移動したいおおよその方向に機器を移動すると設定された速度で該方向にポインターを移動することができるといった程度で十分にコンピュータマウス同等の機能を実現することができるのである。 Here, there is not much need to accurately grasp the relative position change between the device and the subject as XY planar coordinate data. The pointer icon on the monitor is moved continuously with an approximate orientation, and it is only necessary to confirm the arrival at the desired point on the monitor display and perform a confirmation operation. Therefore, it is not a matter of obtaining exact coordinate data and performing a movement process.
Therefore, a function equivalent to a computer mouse can be realized to the extent that when the device is moved in the approximate direction in which the pointer is desired, the pointer can be moved in the direction at the set speed.

このようにコンピュータマウスと同等の機能が実現することで、コンピュータマウスを使用して従来行ってきている各種のデジタル画像データの複合処理はすべて本発明機器をインターフェイス装置として用いても実現することが可能なものとなる。   By realizing the same function as a computer mouse in this way, all the combined processing of various digital image data that has been conventionally performed using a computer mouse can be realized even if the device of the present invention is used as an interface device. It will be possible.

このような本発明を実際に応用した具体的な実施例のいくつかを以下において添付図面等を利用しながら説明する。   Some specific examples of the actual application of the present invention will be described below with reference to the accompanying drawings.

（実施例１）
ここでは、携帯電話１ａを用いて３次元マウスのインターフェイス端末装置１とする技術について説明する。
図１は、本発明のインターフェイス装置１としてデジタルカメラ機能を備えた携帯電話１ａを用いる場合に関しての概括的な説明図面である。
すなわち、携帯電話１ａのデジタルカメラレンズ２により被写体３（ここでは立方体３ａ）を撮影すると、携帯電話１ａのモニター４に被写体３（立方体３ａ）が写し出される。この状態で携帯電話１ａを被写体３に対して上下左右前後に移動すると両者間の相対的な位置関係の変化がモニター４に写し出される画像情報に反映することは容易に理解されるところである。 Example 1
Here, a technique for making the interface terminal device 1 of a three-dimensional mouse using the mobile phone 1a will be described.
FIG. 1 is a schematic explanatory diagram regarding a case where a mobile phone 1a having a digital camera function is used as the interface device 1 of the present invention.
That is, when the subject 3 (cube 3a) is photographed by the digital camera lens 2 of the mobile phone 1a, the subject 3 (cube 3a) is displayed on the monitor 4 of the mobile phone 1a. In this state, when the mobile phone 1a is moved up, down, left and right, back and forth with respect to the subject 3, it is easily understood that changes in the relative positional relationship between the two are reflected in the image information displayed on the monitor 4.

つまり、図示するように、例えば、携帯電話１ａを立方体３ａを写しながら右方向に移動するとモニター４に表示されている立方体３ａの画像はモニター４中を左方向に移動する。同様に携帯電話１ａを左方向や上方向、下方向に移動することがモニター４に表示されている立方体３ａをそれぞれ右方向、下方向、上方向に移動させることは明らかである。   That is, as shown in the figure, for example, when the mobile phone 1a is moved in the right direction while copying the cube 3a, the image of the cube 3a displayed on the monitor 4 is moved in the left direction in the monitor 4. Similarly, moving the mobile phone 1a leftward, upward, or downward will obviously move the cube 3a displayed on the monitor 4 to the right, downward, or upward, respectively.

さらに、携帯電話１ａを奥方向に移動して立方体３ａに近づけるとモニター４に写された立方体３ａの画像は次第に拡大されることとなり、反対に携帯電話１ａを手前方向に移動するとモニター４に写し出される立方体３ａの画像は次第に縮小されることが理解できる。   Further, when the cellular phone 1a is moved in the back direction and is brought close to the cube 3a, the image of the cube 3a projected on the monitor 4 is gradually enlarged. On the contrary, when the cellular phone 1a is moved forward, the image is projected on the monitor 4. It can be understood that the image of the cube 3a is gradually reduced.

つまり、デジタルカメラ機能により被写体３を捉えながら携帯電話１ａを上下左右および前後に移動させることは、モニター４に写し出されている被写体３画像の連続的な動きとして把握することが可能なのである。すなわち、被写体３を捉えながら携帯電話１ａを動かすことにより得られる画像変化を解析することで逆に携帯電話１ａが被写体３に対して上下左右前後どのように動いたかを把握することができるのである。   That is, moving the mobile phone 1a up and down, right and left and back and forth while capturing the subject 3 with the digital camera function can be grasped as a continuous movement of the subject 3 image projected on the monitor 4. That is, by analyzing the image change obtained by moving the mobile phone 1 a while capturing the subject 3, it is possible to grasp how the mobile phone 1 a has moved up and down, left and right and back and forth with respect to the subject 3. .

このようにして把握された上下左右前後の動きをモニター４上に表示した矢印状のポインターアイコン５の動きとして表現し直すことで、上下左右といった平面的位置情報だけではなく前後奥行き方向の立体的位置情報をも適切に指示することができる３次元マウスが実現されるのであり、その作動手法も人間の自然な動作をそのまま反映させたものとなるので感覚的にも違和感がなく優れたインターフェイス装置１を実現することが可能となるものである。   By re-expressing the vertical / left / right / front / rear movement thus grasped as the movement of the arrow-shaped pointer icon 5 displayed on the monitor 4, not only the planar position information such as up / down / left / right, but also the three-dimensional in the front / rear depth direction A three-dimensional mouse that can properly indicate position information is realized, and its operation method reflects the natural movement of humans as it is, so there is no sense of incongruity and an excellent interface device. 1 can be realized.

また、図２に示すように有線・無線等の適当な手段によって携帯電話１ａと他のコンピュータ装置６とを接続してやることで、コンピュータ装置６のモニター４ａ上で矢印状のポインターアイコン５を操作してやることも当然に可能である。すなわち、携帯電話１ａをコンピュータ装置６に付属した３次元マウス機能を果たすインターフェイス装置１として取扱うことができるのである。   Further, as shown in FIG. 2, the mobile phone 1a is connected to another computer device 6 by appropriate means such as wired or wireless, so that the arrow-shaped pointer icon 5 is operated on the monitor 4a of the computer device 6. Of course it is also possible. That is, the cellular phone 1 a can be handled as the interface device 1 that performs the three-dimensional mouse function attached to the computer device 6.

ここで、３次元マウス機能を実現するために必要なのはデジタルカメラ機能そのものであることから、コンピュータ装置６に接続可能なデジタルカメラ自体を本発明のインターフェイス装置１となし得ることも理解されるべきである。また、３次元マウス機能には当然に通常のマウス機能（２次元マウス機能）も含まれているものであり、例えば、前後奥行き方向の動きをポインターアイコン５に反映させないようにすることで従来一般のマウスと同様の機能は容易に実現できるものである。   Here, since what is necessary for realizing the three-dimensional mouse function is the digital camera function itself, it should be understood that the digital camera itself connectable to the computer device 6 can be used as the interface device 1 of the present invention. is there. The 3D mouse function naturally includes a normal mouse function (2D mouse function). For example, the 3D mouse function does not reflect the movement in the front / rear depth direction on the pointer icon 5 in the past. Functions similar to those of the mouse can be easily realized.

３次元ポインタ５のモニター４、４ａ上における動き、特に前後奥行き方向の動きを判り易く表現するためには適宜に斜め方向からなどの視点変更を可能なものとし、立体的な位置情報の把握を行い易いものとするように配慮することも必要である。   In order to express the movement of the three-dimensional pointer 5 on the monitors 4 and 4a, particularly the movement in the front-rear and depth directions, it is possible to change the viewpoint appropriately from an oblique direction, etc., and to grasp the three-dimensional position information. Care must also be taken to make it easy to do.

（実施例２）
次いで、本発明のインターフェイス装置１、特にコンピュータ操作用マウスとしては、図３のようにコンピュータ装置６に固定的に取付けたデジタルカメラ７を用いることも可能である。
この場合、図示のように小型のデジタルカメラ７をモニター４ａ上端部などに取付けた上でコンピュータ装置６との接続設定を行っておく。すなわち、カメラ７のレンズ２を介して得られる撮影画像の動きを実施例１の場合と同様に矢印のポインターアイコン５の動作に反映させて任意なコンピュータ操作に利用することができるのである。 (Example 2)
Next, as the interface device 1 of the present invention, particularly as a computer operating mouse, it is possible to use a digital camera 7 fixedly attached to the computer device 6 as shown in FIG.
In this case, as shown in the figure, a small digital camera 7 is attached to the upper end of the monitor 4a or the like, and then connection setting with the computer device 6 is performed. That is, the movement of the captured image obtained through the lens 2 of the camera 7 can be reflected in the operation of the arrow pointer icon 5 as in the case of the first embodiment and used for any computer operation.

例えば、操作者がカメラ７の前に手をかざして撮影されながら右方向に手を動かすとモニター４ａ上のポインターアイコン５も右方向に動き、同様に左方向や上下方向に手を動かすとポインターアイコン５も同じ方向に移動するように処理できる。
もちろん、カメラ７に手を近づけると奥方向へ、遠ざけると手前方向へポインターアイコン５を動かすようにすることで上記のような３次元マウス的に使用することも可能である。 For example, when the operator moves his hand in the right direction while holding his hand in front of the camera 7, the pointer icon 5 on the monitor 4 a also moves in the right direction. Similarly, when the operator moves his hand in the left direction or the vertical direction, the pointer The icon 5 can also be processed to move in the same direction.
Of course, by moving the pointer icon 5 toward the back when the hand is brought closer to the camera 7 and toward the front when the hand is moved away, it can be used as a three-dimensional mouse as described above.

ここで、デジタルカメラ機能を持った端末機器自体を被写体に対して動かす場合（実施例１）と端末機器自体は固定しておいて被写体（手のひらなど）の方を動かす場合（実施例２）とではモニター４ａ上で動かすポインターアイコン５の動作関係が異なることになるが、これは端末機器と被写体との相対的な位置関係の変化を抽出して利用することに基因しているものである。
ただし、相対的にどちらを動かしてどちらを固定しているかが明らかであれば、モード切換えといった手段によって適切に利用可能なインターフェイス端末装置１とすることができるものである。 Here, when the terminal device itself having a digital camera function is moved relative to the subject (Example 1), and when the terminal device itself is fixed and the subject (palm etc.) is moved (Example 2), Then, the operation relationship of the pointer icon 5 moved on the monitor 4a is different, but this is based on extracting and using the change in the relative positional relationship between the terminal device and the subject.
However, if it is clear which is relatively moved and which is fixed, the interface terminal device 1 can be appropriately used by means such as mode switching.

また、ポインターアイコン５の動きに反映させるべき被写体の画像変化としては、カメラ７を介して取得される画像の動作をすべて拾っているとかえって操作者の意思を適切に実行することができない可能性が高い。つまり操作者の意思とは無関係な背景物体等の動きまで反映したアイコン５の動作となると、パソコン操作用マウスとして使うことができなくなるのである。   In addition, as an image change of the subject to be reflected in the movement of the pointer icon 5, there is a possibility that the operator's intention cannot be appropriately executed because all the movements of the image acquired via the camera 7 are picked up. Is expensive. In other words, if the operation of the icon 5 reflects even the movement of a background object or the like unrelated to the operator's intention, it cannot be used as a personal computer operating mouse.

そこで、カメラ７が捉えている画像中の所定サイズを越える被写体が同一方向に移動する動きのみを抽出してポインターアイコン５の動きに反映させることが必要である。例えば、捕捉されている画像中の３０％を越える面積を占めている被写体が上下左右前後など一定方向に動いている場合のみこれをアイコン５の動きに変換するものである。図３に示す場合には、操作者がカメラ７の２０〜３０ｃｍ前に手をかざして上下左右に動かすことでアイコン５を意のままに操作するといったことが可能となるものである。   Therefore, it is necessary to extract only the movement of the subject exceeding the predetermined size in the image captured by the camera 7 in the same direction and reflect it in the movement of the pointer icon 5. For example, the movement of the icon 5 is converted only when a subject occupying an area of more than 30% in the captured image moves in a certain direction such as up, down, left, and right. In the case shown in FIG. 3, the operator can operate the icon 5 at will by moving his / her hand up and down, left and right 20-30 cm in front of the camera 7.

また、前後奥行き方向の動きを反映させたポインターアイコン５の動作は必ずしも実際にカメラ７と被写体３との相対的位置関係を変化させなくても実現可能である。
すなわち、奥行き方向へアイコン５を移動させるのは被写体画像が次第に大きくなっていくという画像変化を利用するもので、逆に手前方向にアイコン５を移動させるのは被写体画像が次第に小さくなっていく画像変化を利用するものである。
とすれば、このような被写体画像の変化が実現すればそれをアイコン５の動作に反映せしめることが可能となるので、例えば、デジタルカメラ機能に付随するズーム機能やピント合わせ機能を働かせることで取得される被写体画像に関する拡大・縮小変化を利用してアイコン５の前後奥行き方向への移動に応用させることは容易なことである。 In addition, the operation of the pointer icon 5 reflecting the movement in the front-rear depth direction can be realized without actually changing the relative positional relationship between the camera 7 and the subject 3.
That is, moving the icon 5 in the depth direction uses an image change in which the subject image gradually increases, and conversely moving the icon 5 in the front direction causes the subject image to gradually decrease. It uses change.
Then, if such a change in the subject image is realized, it can be reflected in the operation of the icon 5. For example, it is acquired by using a zoom function or a focusing function associated with the digital camera function. It is easy to apply the change in the forward / backward depth direction of the icon 5 using the enlargement / reduction change related to the subject image to be performed.

このようなズーム機能やピント合わせ機能を利用して前後奥行き方向へのアイコン５の移動を制御する技術は、インターフェイス端末装置１として携帯電話１ａを用いる場合にもデジタルカメラ7を用いる場合にも共通して応用可能なものである。
また、何れにしても携帯電話１ａやデジタルカメラ７をコンピュータマウスとして利用するために用いているのはその標準的なカメラ機能により取得される被写体画像の連続的な画像変化だけであるから、既存の標準的な携帯電話１ａやデジタルカメラ７に加えて新たなハードウェアが必要となるわけではなく、プログラム的処理を行うことだけで原理的には実現可能なものである。 The technique for controlling the movement of the icon 5 in the front-rear and depth directions using such a zoom function and a focusing function is common when the mobile phone 1a is used as the interface terminal device 1 and when the digital camera 7 is used. And can be applied.
In any case, since the mobile phone 1a and the digital camera 7 are used only as a computer mouse for the continuous image change of the subject image acquired by the standard camera function, In addition to the standard mobile phone 1a and the digital camera 7, no new hardware is required, and it can be realized in principle only by performing program processing.

（実施例３）
本発明のインターフェイス端末装置１は備えられたデジタルカメラ機能を用いて被写体３の画像撮影を行いその中から所望部分を切取りし、他のデジタルデータ上に合成するといった複合的処理に用いることもできるものである。
すなわち、図４に撮影した画像データから適宜な部分を抽出するための代表的な手法に関する処理手順をフローチャートとして示す。 (Example 3)
The interface terminal device 1 of the present invention can also be used for complex processing such as taking an image of the subject 3 using the provided digital camera function, cutting out a desired portion from the image, and synthesizing it on other digital data. Is.
That is, FIG. 4 is a flowchart showing a processing procedure related to a representative method for extracting an appropriate part from captured image data.

つまり、カメラ機能により取得した画像データを画素毎に解析しその画素の色データが所定の閾値と比較して区分し、以後同様に隣接する画素毎に閾値との比較による区分けを繰り返すことで切出そうとする画像とその背景とを分けるものである。例えば、明度に関する閾値として所定の数値を指定することでこれを基準とした画像データのみを抽出することが可能となるのである。明度以外にも適当な色情報その他に関する所定数値を閾値として利用させることが可能で、適切な選択を行うことで所望の画像データ部分のみを抽出できるものである。   In other words, the image data acquired by the camera function is analyzed for each pixel, the color data of the pixel is compared with a predetermined threshold value, and thereafter, the segmentation by comparing with the threshold value is repeated for each adjacent pixel. It separates the image to be output from its background. For example, it is possible to extract only image data based on this by specifying a predetermined numerical value as a threshold value relating to brightness. In addition to lightness, a predetermined numerical value relating to appropriate color information and the like can be used as a threshold value, and only a desired image data portion can be extracted by performing an appropriate selection.

取得した画像データ中の所望部分のみを切出す手段としては、上記以外にも既存の様々な技術を利用して構わない。登録された所定形状の枠組みによって任意な切出しを行っても良いし、特に本発明の端末装置１がポインティングデバイスとしての機能を備えていることから、カーソルアイコン５などを切出し作業用に用いるものとして任意部分の抽出を行うことも可能である。   In addition to the above, various existing techniques may be used as means for cutting out only a desired portion in the acquired image data. Arbitrary clipping may be performed by a registered frame of a predetermined shape, and in particular, the terminal device 1 of the present invention has a function as a pointing device, so that the cursor icon 5 or the like is used for clipping work. It is also possible to extract an arbitrary part.

本発明のインターフェイス端末装置１のデジタルカメラ機能によって取得された画像データやそこから切出された所望の部分的画像データは何れもデジタルデータであることから、これらを自在に移動させたり、拡大縮小、色変換や形状変換その他の加工修正することは適宜なソフトウェアを利用して当然に可能なことである。また、これらの作業にはマウス等のインターフェイス装置のカーソルアイコン５を利用して行うが、本発明の端末装置１は画像データの取得と加工等の上記各作業をそれのみで実行することができるのである。取得して加工等した画像データをカーソルアイコン５の代用とするようなこともできるのである。   Since the image data acquired by the digital camera function of the interface terminal device 1 of the present invention and the desired partial image data cut out therefrom are digital data, they can be freely moved or enlarged / reduced. Naturally, color conversion, shape conversion, and other processing corrections can be made using appropriate software. These operations are performed using the cursor icon 5 of an interface device such as a mouse. However, the terminal device 1 of the present invention can execute the above-described operations such as acquisition and processing of image data by itself. It is. Image data obtained and processed can be used as a substitute for the cursor icon 5.

また、破線のように非連続の線によって表現された画像データの所望箇所を自動的に切出すには図４のような処理では足りない。このような場合には例えば図５に示すような手順で処理を行うことで破線等により表現された部分画像であっても適切に切出して取得することが可能である。つまり、色等のデータ有りとされた画素を適当に太らせた上で加算して破線表現であっても連続的なものと把握処理し、その後さらに太らせた画素をやせさせてすべて加算し直すことで破線表現を復元して蓄積等させるのである。   Further, the process shown in FIG. 4 is not sufficient to automatically cut out a desired portion of image data expressed by a discontinuous line such as a broken line. In such a case, for example, a partial image represented by a broken line or the like can be appropriately cut out and acquired by performing processing according to the procedure shown in FIG. In other words, the pixels with data such as color are properly fattened and added, and even if it is represented by a broken line, it is grasped as continuous, and then the fattened pixels are thinned and all are added. By correcting it, the broken line representation is restored and stored.

さらに、線画による連続的表現をされた画像データを適宜な形状のパターンが連続する画像データに置換するような処理も可能である。つまり図６に示すような手順の処理を施せば連続的な線画表現が適当な間隔を採って連続する所定のパターン形状に置き換えられるのである。例えば、線画表現された三角形がハート型や星型のパターン形状の連続する三角形に変換されるといった加工もソフトウェアによる処理で簡単に実現できるのである。   Furthermore, it is possible to perform processing in which image data that is continuously expressed by line drawing is replaced with image data in which patterns of appropriate shapes are continuous. In other words, if the processing of the procedure as shown in FIG. 6 is performed, the continuous line drawing expression is replaced with a predetermined pattern shape continuous at an appropriate interval. For example, processing such that a triangle represented by a line drawing is converted into a continuous triangle having a heart-shaped or star-shaped pattern shape can be easily realized by software processing.

（その他）
このように本発明のインターフェイス装置１はポインティングデバイスとして機能すると同時にカメラ機能により画像を取得し該画像やその任意の部分を適宜に加工等し、さらにこれらの画像データ同士を複合的に合成したり、他のデジタルデータとの複合処理などを自在に行わせることが可能である。つまり、モニター４、４ａ上に表示されるものであれば複数の画像データその他のデジタルデータ同士を可能な手法によって複合的に処理することができるのである。 (Other)
As described above, the interface device 1 of the present invention functions as a pointing device and simultaneously acquires an image by a camera function, appropriately processes the image or any part thereof, and further combines these image data in a composite manner. It is possible to freely perform composite processing with other digital data. In other words, as long as it is displayed on the monitors 4 and 4a, a plurality of image data and other digital data can be processed in a complex manner.

また、上記してきたように前後奥行き方向における位置情報をも処理させることができる３次元マウスとしても機能することから、取得してモニター４上に表示されている立体的な被写体３についての画像データに適切に３次元的位置情報を付与しながら取り込むことも可能である。
すなわち、ある立体的な被写体３について、実際には平面的なデータとして撮影されている過ぎない該被写体３についての複数の画像データにそれぞれ適切な３次元的位置情報を付与した上で取得し、これらを適切に合成処理することで、相対的に正確な３次元的位置情報を含んだ実質的な立体画像データを取得することが可能となるものである。 In addition, as described above, it also functions as a three-dimensional mouse that can process position information in the front-rear and depth directions, so image data about the three-dimensional subject 3 acquired and displayed on the monitor 4 It is also possible to capture the information while appropriately assigning the three-dimensional position information.
That is, a certain three-dimensional subject 3 is acquired after giving appropriate three-dimensional position information to a plurality of image data of the subject 3 that is actually only taken as planar data, By appropriately combining these, it is possible to obtain substantial stereoscopic image data including relatively accurate three-dimensional position information.

また、前後奥行き方向の位置関係に即した操作ができることから、例えば、多層構造化されたデータを人間の感覚に合致した手法で処理したい場合に本発明のインターフェイス装置１を利用することは望ましいことであると理解される。   Further, since the operation can be performed in accordance with the positional relationship in the front-rear and depth directions, it is desirable to use the interface device 1 of the present invention when, for example, it is desired to process multi-layered data by a method that matches human senses. It is understood that.

以上説明してきたように、本発明によればデジタルカメラ機能を有する携帯電話やデジタルカメラそのものがそのカメラ機能を利用して通常のコンピュータ操作用マウスと同等のインターフェイス装置になると共に更に前後奥行き方向の位置情報をも処理して立体的処理を行う３次元マウスとしても活用することが可能となる。   As described above, according to the present invention, a mobile phone having a digital camera function or a digital camera itself uses the camera function to become an interface device equivalent to a normal computer operation mouse, and further in the longitudinal and depth directions. It can also be used as a three-dimensional mouse that processes position information and performs three-dimensional processing.

さらにそのカメラ機能により取得される撮影画像データの複合的加工処理等にも同時に付属するモニターを使って実行できることは勿論、適宜に接続された他のコンピュータ装置等を利用して行うことも可能となるものである。   Furthermore, it can be performed using a monitor that is also attached to the combined processing of the captured image data acquired by the camera function at the same time, and can also be performed using other computer devices connected as appropriate. It will be.

さらに適宜なインターフェイス装置としてデジタルデータ相互の複合処理を行うための端末機器として利用したり、３次元的位置情報を付与しながら画像データを取得することで立体的な位置情報を含んだ従来にない新規な画像データを合成して得ることが可能となるものである。   Furthermore, it can be used as an appropriate interface device as a terminal device for performing combined processing of digital data, or by acquiring image data while providing three-dimensional position information, and including three-dimensional position information. It is possible to obtain new image data by combining them.

したがって、本発明は、デジタル画像データに新たな意義を与えて従来にはない新規な用途や応用分野を開拓するものであって、関連分野において多くの需要を産み出す可能性を秘めたものと理解されるので、その産業上の利用可能性において高い評価を受けるべき発明である。   Therefore, the present invention provides new meaning to digital image data and pioneers new uses and application fields that have not existed before, and has the potential to generate a lot of demand in related fields. As it is understood, the invention should be highly evaluated for its industrial applicability.

本発明のインターフェイス装置としてデジタルカメラ機能を備えた携帯電話を用いる場合に関しての概括的な説明図面である。It is general explanatory drawing about the case where the mobile telephone provided with the digital camera function is used as an interface apparatus of this invention. 有線・無線等の適当な接続手段によって携帯電話と他のコンピュータ装置とを連結して用いる場合を概括的に表現した説明図面である。It is explanatory drawing which expressed generally the case where a mobile telephone and another computer apparatus are connected and used by suitable connection means, such as wired and wireless. コンピュータ装置に固定的に取付けたデジタルカメラを本発明のインターフェイス装置として用いる場合の一例を示した説明図である。It is explanatory drawing which showed an example in the case of using the digital camera fixedly attached to the computer apparatus as an interface apparatus of this invention. 適宜な閾値を利用して所望の画像データを抽出するための手順を示したフローチャート図面である。It is the flowchart figure which showed the procedure for extracting desired image data using a suitable threshold value. 非連続な破線などにより表現された画像部分を抽出するための手順を示したフローチャート図面である。It is the flowchart figure which showed the procedure for extracting the image part expressed by the discontinuous broken line etc. 線画表現された図形等の画像データを所定のパターン形状を複数個並べた画像表現に置換するための手順を示したフローチャート図面である。It is a flow chart showing a procedure for replacing image data such as a figure represented by a line drawing with an image representation in which a plurality of predetermined pattern shapes are arranged.

符号の説明Explanation of symbols

１ 本発明のインターフェイス装置
１ａ インターフェイス装置としての携帯電話
２ デジタルカメラレンズ
３ 被写体
３ａ 立方体（被写体）
４ 携帯電話モニター
４ａ コンピュータ装置モニター
５ 矢印ポインターアイコン
６ コンピュータ装置
７ デジタルカメラ
DESCRIPTION OF SYMBOLS 1 Interface device of the present invention 1a Mobile phone as interface device 2 Digital camera lens 3 Subject 3a Cube (subject)
4 Mobile phone monitor 4a Computer device monitor 5 Arrow pointer icon 6 Computer device 7 Digital camera

Claims (18)

取得画像を複数枚重ね合わせて一枚の画像を作る上で、従来のブルーバックではなく白紙を含めて自由な色の背景色を採用可能とし、余計な背景部分を排除し透明にしたり、単純な実線を星型や他の形状の集合的実線に変えるような線や点の補完など、様々な画像処理・変換を行い、鉛筆画のような微細で淡い描画においても画像取り込み、マーキングポイント認識が可能になることを特徴とするデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 When creating a single image by superimposing multiple acquired images, it is possible to adopt a free background color including blank paper instead of the conventional blue background, making it unnecessary to remove the extra background and making it transparent or simple Various image processing and conversion, such as complementing lines and points that change a solid line into a star-shaped or other shape collective solid line, and even for fine and light drawing such as pencil drawings, image capture and marking point recognition Interface technology for multidimensional digital image composite processing using a digital camera function, which is made possible. デジタルカメラで捉えている被写体画像の相対的な動きをモニター上の表示中データに重ね合わせて表示する別の画像データの動きに反映させることを特徴とするデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 Multi-dimensional digital using the digital camera function, which reflects the relative movement of the subject image captured by the digital camera on the movement of other image data that is superimposed on the displayed data on the monitor Interface technology for complex image processing. デジタルカメラで捉えている被写体画像の相対的な動きを２次元的なものとして処理することで重ね合わせて表示する別の画像データをモニター上の任意の位置に２次元的に移動させ得ることを特徴とする請求項２に記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 By processing the relative movement of the subject image captured by the digital camera as a two-dimensional image, it is possible to move another image data to be displayed in a two-dimensional manner to any position on the monitor. The multi-dimensional digital image composite processing interface technology using the digital camera function according to claim 2. モニター上に重ね合わせて表示する別の画像データとして予め準備した矢印アイコンのようなモニター上の所定位置指示に相応しい形状およびサイズのものを使うことでポインティングディバイスとしての機能を持たせたことを特徴とする請求項２または請求項３に記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 It has a function as a pointing device by using another image data that has a shape and size suitable for a predetermined position indication on the monitor such as an arrow icon prepared in advance as another image data to be displayed superimposed on the monitor. An interface technology for multidimensional digital image composite processing using the digital camera function according to claim 2. モニター上に重ね合わせて表示する別の画像データとしてデジタルカメラで捉えている被写体画像またはその一部を抽出して使うことを特徴とする請求項１〜請求項４の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 5. The subject image captured by the digital camera or a part of the subject image is extracted and used as another image data to be displayed superimposed on the monitor. 5. Interface technology for multi-dimensional digital image processing using digital camera functions. デジタルカメラで捉えている被写体画像の一部を抽出するためにその一部と残部との境界を分ける所定数値以上の明暗度差その他の閾値を利用することを特徴とする請求項２〜請求項５の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 2. A brightness difference or other threshold value greater than or equal to a predetermined value that separates a boundary between a part and a remaining part in order to extract a part of a subject image captured by a digital camera. 5. An interface technology for multidimensional digital image composite processing using the digital camera function described in any one of 5 above. 別の画像データとして利用するデジタルカメラで捉えている被写体画像に対して適宜に修正、装飾、加工、置換などを施すことを特徴とする請求項２〜請求項６の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 7. The subject image captured by a digital camera used as another image data is appropriately corrected, decorated, processed, replaced, etc., according to any one of claims 2 to 6. Interface technology for multi-dimensional digital image processing using digital camera functions. 別の画像データとして利用するデジタルカメラでリアルタイムに捉えている被写体画像に対して施す修正、装飾、加工、置換などの結果をリアルタイムに完成してモニター上に表示することを特徴とする請求項２〜請求項７の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 3. The result of correction, decoration, processing, replacement, etc. to be performed on a subject image captured in real time by a digital camera used as another image data is completed in real time and displayed on a monitor. An interface technology for multidimensional digital image composite processing using the digital camera function according to claim 7. デジタルカメラで捉えている被写体画像の相対的な動きが捕捉している画像データの所定の割合以上の領域において共通している場合にのみ別の画像データの動きに反映させることを特徴とする請求項２〜請求項８の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 The present invention is characterized in that only when the relative movement of a subject image captured by a digital camera is common in an area of a predetermined ratio or more of captured image data, it is reflected in the movement of another image data. An interface technology for multidimensional digital image composite processing using the digital camera function according to any one of Items 2 to 8. デジタルカメラが被写体に対して相対的に上下左右に移動することで捉えられる被写体画像の動きをモニター上に重ね合わせて表示する別の画像データの上下左右の動きとして反映させることを特徴とする請求項２〜請求項９の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 The movement of the subject image captured by the digital camera moving up, down, left, and right relative to the subject is reflected as the up, down, left, and right movement of another image data to be displayed superimposed on the monitor. An interface technology for multidimensional digital image composite processing using the digital camera function according to any one of Items 2 to 9. デジタルカメラが被写体に対して近づき又は遠ざかることで捉えられる被写体画像の動きをも組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの平面的な動きに前後奥行きの動きを加えて立体的な動きとして反映させることを特徴とする請求項２〜請求項１０の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 By combining and synthesizing the movement of the subject image captured when the digital camera approaches or moves away from the subject, the planar movement of the other image data displayed on the monitor is combined with the depth of front and back. The interface technology for multidimensional digital image composite processing using a digital camera function according to any one of claims 2 to 10, wherein the motion is reflected as a three-dimensional motion. デジタルカメラのズーム機能による被写体画像の動きを組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの立体的な動きとして反映させることを特徴とする請求項２〜請求項１１の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 A combination of movements of a subject image by a zoom function of a digital camera is combined to be reflected as a three-dimensional movement of another image data to be displayed superimposed on a monitor. Item 12. An interface technology for multidimensional digital image composite processing using the digital camera function according to any one of Items 11. デジタルカメラのピント合わせ処理に基づく被写体画像の動きを組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの立体的な動きとして反映させることを特徴とする請求項１〜請求項１２の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 2. The movement of the subject image based on the focusing process of the digital camera is combined and synthesized to reflect the movement as a three-dimensional movement of another image data displayed superimposed on the monitor. An interface technology for multidimensional digital image composite processing using the digital camera function according to claim 12. デジタルカメラに有線又は無線の通信手段を持たせることで、別機器のモニター上において重ね合わせて表示する別の画像データの動きとして反映させることを特徴とする請求項２〜請求項１３の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 The digital camera is provided with wired or wireless communication means, and is reflected as a movement of another image data displayed in a superimposed manner on a monitor of another device. Interface technology for multidimensional digital image composite processing using the digital camera function described in one. 携帯電話のようなモバイル通信情報端末機器に備付けられたデジタルカメラを用いることを特徴とする請求項２〜請求項１４の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 15. A multi-dimensional digital image composite using a digital camera function according to claim 2, wherein a digital camera equipped in a mobile communication information terminal device such as a cellular phone is used. Processing interface technology. デジタルカメラ機能を利用して立体的位置情報を付与しながら立体的な被写体の画像データを取込んで複合処理することを特徴とする請求項２〜請求項１５の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 The digital image processing apparatus according to any one of claims 2 to 15, wherein the digital camera function is used to perform stereoscopic processing while capturing stereoscopic image data while providing stereoscopic position information. Interface technology for multi-dimensional digital image processing using camera functions. 取得している画像データの特定箇所をポイントしながら該箇所に対しての記述データを入力し、該特定箇所の位置情報と関連付ける複合処理を行うことで商品サンプル画像に対する意見情報などを結びつけたアンケート用ツールとして用いることを特徴とする請求項２〜請求項１６の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 A questionnaire that links descriptive information to product sample images by inputting descriptive data for the location while pointing to a specific location in the acquired image data, and performing composite processing that associates the location information with the location 17. An interface technology for multidimensional digital image composite processing using a digital camera function according to any one of claims 2 to 16, wherein the interface technology is used as a tool for image processing. 取得している複数の画像データを所望の位置関係を持たせて重ね合わせ処理することでプリクラ機能を持たせたことを特徴とする請求項２〜請求項１７の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。
The digital image processing apparatus according to any one of claims 2 to 17, wherein a plurality of pieces of acquired image data are subjected to a superposition process with a desired positional relationship so as to have a photokura function. Interface technology for multi-dimensional digital image processing using camera functions.
JP2005102581A 2005-03-31 2005-03-31 Interface technology using digital camera function for multi-dimensional digital image composite processing Pending JP2006285475A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005102581A JP2006285475A (en) 2005-03-31 2005-03-31 Interface technology using digital camera function for multi-dimensional digital image composite processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005102581A JP2006285475A (en) 2005-03-31 2005-03-31 Interface technology using digital camera function for multi-dimensional digital image composite processing

Publications (1)

Publication Number Publication Date
JP2006285475A true JP2006285475A (en) 2006-10-19

Family

ID=37407358

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005102581A Pending JP2006285475A (en) 2005-03-31 2005-03-31 Interface technology using digital camera function for multi-dimensional digital image composite processing

Country Status (1)

Country Link
JP (1) JP2006285475A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008075900A1 (en) * 2006-12-21 2008-06-26 Moon Key Lee 3d mouse using camera
JP2009064409A (en) * 2007-03-26 2009-03-26 Avago Technologies Ecbu Ip (Singapore) Pte Ltd System and method for tracking input device using display screen in captured frames of image data
FR2925705A1 (en) * 2007-12-20 2009-06-26 Thomson Licensing Sas IMAGE CAPTURE ASSISTING DEVICE
JP2010519866A (en) * 2007-02-27 2010-06-03 アクセンチュア グローバル サービスィズ ゲーエムベーハー Device control using video calls
JP2010136242A (en) * 2008-12-08 2010-06-17 National Institute Of Advanced Industrial Science & Technology Digital camera for emphasizing contrast
CN104272431A (en) * 2012-07-03 2015-01-07 东京毅力科创株式会社 Fabrication equipment monitoring device and monitoring method
EP2849156A2 (en) 2013-09-13 2015-03-18 Fujitsu Limited Augmented reality method and information processing device

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008075900A1 (en) * 2006-12-21 2008-06-26 Moon Key Lee 3d mouse using camera
JP2010519866A (en) * 2007-02-27 2010-06-03 アクセンチュア グローバル サービスィズ ゲーエムベーハー Device control using video calls
US8467778B2 (en) 2007-02-27 2013-06-18 Accenture Global Services Limited Video call device control
JP2009064409A (en) * 2007-03-26 2009-03-26 Avago Technologies Ecbu Ip (Singapore) Pte Ltd System and method for tracking input device using display screen in captured frames of image data
FR2925705A1 (en) * 2007-12-20 2009-06-26 Thomson Licensing Sas IMAGE CAPTURE ASSISTING DEVICE
WO2009080639A2 (en) * 2007-12-20 2009-07-02 Thomson Licensing Device for helping the capture of images
WO2009080639A3 (en) * 2007-12-20 2009-10-01 Thomson Licensing Device for helping the capture of images
JP2010136242A (en) * 2008-12-08 2010-06-17 National Institute Of Advanced Industrial Science & Technology Digital camera for emphasizing contrast
CN104272431A (en) * 2012-07-03 2015-01-07 东京毅力科创株式会社 Fabrication equipment monitoring device and monitoring method
EP2849156A2 (en) 2013-09-13 2015-03-18 Fujitsu Limited Augmented reality method and information processing device
US10078914B2 (en) 2013-09-13 2018-09-18 Fujitsu Limited Setting method and information processing device

Similar Documents

Publication Publication Date Title
US10095458B2 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
CN107251101B (en) Scene modification for augmented reality using markers with parameters
JP2020535509A (en) Methods, devices and systems for automatically annotating target objects in images
JP2006285475A (en) Interface technology using digital camera function for multi-dimensional digital image composite processing
JP6178048B2 (en) Image processing apparatus, image processing method, and program
US20140118396A1 (en) Image processing device, image processing method, and computer program product
WO2013054462A1 (en) User interface control device, user interface control method, computer program, and integrated circuit
EP3262505B1 (en) Interactive system control apparatus and method
CN109218630B (en) Multimedia information processing method and device, terminal and storage medium
KR20120033246A (en) Image processing apparatus, image processing method, and computer program
KR101811042B1 (en) Method and system for processing composited images
US20140085330A1 (en) Image processing device, image processing method, computer readable medium
CN105808035B (en) Icon display method and device
CN108038916B (en) Augmented reality display method
CN111813214A (en) Virtual content processing method and device, terminal equipment and storage medium
KR101638550B1 (en) Virtual Reality System using of Mixed reality, and thereof implementation method
JP6376591B2 (en) Data output device, data output method, and three-dimensional object manufacturing system
JP5048736B2 (en) Image processing system, image processing method, and image processing program
JP6011092B2 (en) Image processing apparatus, image tone conversion method, and program
US20150206282A1 (en) Image processing device, image processing method, and image processing program
US20070040763A1 (en) Image display system
CN112817437B (en) Colored visual indicia for variable use
KR101319260B1 (en) Apparatus and Method for image restoration, stereo-scopic image conversion apparatus and method usig that
EP3714351B1 (en) Method and head-mounted device for assisting a colorist in color grading a virtual reality video content , and system for color grading a virtual reality video content
WO2017147826A1 (en) Image processing method for use in smart device, and device

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070803