JP2006285475A - Interface technology using digital camera function for multi-dimensional digital image composite processing - Google Patents
Interface technology using digital camera function for multi-dimensional digital image composite processing Download PDFInfo
- Publication number
- JP2006285475A JP2006285475A JP2005102581A JP2005102581A JP2006285475A JP 2006285475 A JP2006285475 A JP 2006285475A JP 2005102581 A JP2005102581 A JP 2005102581A JP 2005102581 A JP2005102581 A JP 2005102581A JP 2006285475 A JP2006285475 A JP 2006285475A
- Authority
- JP
- Japan
- Prior art keywords
- digital camera
- image
- digital
- processing
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、デジタルカメラ機能によって得られる被写体画像の動きを利用して複数の画像等の各種デジタルデータを任意に操作しながら移動や重ね合わせや加工・修正等の複合的な処理を多次元的に実行する新規なインターフェイス技術を提案するものである。 The present invention multi-dimensionally performs complex processing such as movement, superposition, processing, and correction while arbitrarily manipulating various digital data such as a plurality of images using movement of a subject image obtained by a digital camera function. We propose a new interface technology to be implemented.
コンピュータ技術を用いて複数の画像データを適宜に加工等しながら重ね合わせて新たな画像データを合成する技術等は多種多様なものが提案されている。
また、モニター上で表示している画像データの位置を任意に移動等させるためにマウス等の入力装置を利用することも常識的な技術である。
さらにポインティングディバイスとして用いられる入力装置はコンピュータマウスに代表されるように一般にはモニター上に表示された二次元平面上の任意の位置を指示すのみであり、奥行き方向における位置情報をも併せて3次元的に適切に示すことができるものは殆んど提案されていない。
携帯電話に備付けられたデジタルカメラで取得した画像を切り抜く技術に関しては以下のような文献が見出される。
In addition, it is a common-sense technique to use an input device such as a mouse to arbitrarily move the position of image data displayed on a monitor.
Further, as represented by a computer mouse, an input device used as a pointing device generally only indicates an arbitrary position on a two-dimensional plane displayed on a monitor, and also includes position information in the depth direction. Few things have been proposed that can be shown appropriately in dimension.
The following documents are found regarding a technique for clipping an image acquired by a digital camera installed in a mobile phone.
複数の画像データ同士をコンピュータ技術によって合成する場合には相互の画像データが合成可能な形式でファイルデータ化されている必要があり、例えばデジタルカメラで撮影している画像をそのまま或いは若干の加工を施し、所望の位置決めを行った状態で別の画像データに重ね合わせて合成表示するようなことは行われていない。 When combining a plurality of image data by computer technology, the image data must be converted into file data in a format in which the image data can be combined. For example, an image captured by a digital camera may be processed as it is or with some processing. In the state where the desired positioning has been performed, it is not performed to superimpose on another image data and display it in combination.
マウスの矢印アイコンのようなポインター画像を任意に動かす手段として撮影能力を持ったデジタルカメラ機能を利用し、撮影に際してモニター上に表れる被写体の動きを反映させて所望のポインター移動操作を行おうという発想は従来技術には存在していない。 The idea of using the digital camera function with shooting capability as a means to move the pointer image like the arrow icon of the mouse as desired, and performing the desired pointer movement operation reflecting the movement of the subject appearing on the monitor during shooting Does not exist in the prior art.
特に、デジタルカメラ機能で捕捉される被写体の動きの変化は奥行き方向の動きを含めた3次元的(立体的)なものとして認識可能であり、これをモニター上に表現される仮想の3次元(立体)空間内の任意の位置表示を示す3次元ポインター(3次元マウス)の操作手法に応用可能であるが、このような発想は従来まったくなされていない。
上記文献は切り抜きポイントを指定してサーバー上で処理してデータをダウンロードするもので、デジタルカメラによる画像処理特性を利用して新たなポインティングデバイスを提案するといった技術とは関連が薄い。
In particular, a change in the movement of the subject captured by the digital camera function can be recognized as a three-dimensional (three-dimensional) including a movement in the depth direction, and this can be recognized as a virtual three-dimensional ( Although it can be applied to a method of operating a three-dimensional pointer (three-dimensional mouse) indicating an arbitrary position display in a (three-dimensional) space, such an idea has not been made at all.
The above document specifies a clipping point, downloads data by processing on a server, and is not related to a technique of proposing a new pointing device using image processing characteristics of a digital camera.
本発明は上記したような従来技術における課題を解消すべく検討を重ねて創案されたものであって、デジタルカメラ機能によって得られる被写体画像の動きの変化を利用し更に必要に応じて撮影映像をも使用しながら多様な用途に応用可能なデジタルデータの複合技術を開発したものであって、具体的には以下のとおりである。 The present invention was devised in order to solve the above-described problems in the prior art, and uses a change in the movement of the subject image obtained by the digital camera function to further capture a captured video as necessary. Is a digital data composite technology that can be applied to various applications while using it. Specifically, it is as follows.
(1) 取得画像を複数枚重ね合わせて一枚の画像を作る上で、従来のブルーバックではなく白紙を含めて自由な色の背景色を採用可能とし、余計な背景部分を排除し透明にしたり、単純な実線を星型や他の形状の集合的実線に変えるような線や点の補完など、様々な画像処理・変換を行い、鉛筆画のような微細で淡い描画においても画像取り込み、マーキングポイント認識が可能になることを特徴とするデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 (1) When creating a single image by superimposing multiple acquired images, it is possible to adopt a free background color including white paper instead of the conventional blue background, eliminating the extra background and making it transparent. Various image processing and conversion, such as complementing lines and points that change a simple solid line into a star-shaped or other shape collective solid line, capture and mark even fine and light drawing like a pencil drawing Interface technology for multidimensional digital image processing using a digital camera function, which makes point recognition possible.
(2) デジタルカメラで捉えている被写体画像の相対的な動きをモニター上の表示中データに重ね合わせて表示する別の画像データの動きに反映させることを特徴とするデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 (2) A digital camera function that uses the digital camera function to reflect the relative movement of the subject image captured by the digital camera on the movement of another image data to be displayed superimposed on the data being displayed on the monitor. Interface technology for multidimensional digital image processing.
(3) デジタルカメラで捉えている被写体画像の相対的な動きを2次元的なものとして処理することで重ね合わせて表示する別の画像データをモニター上の任意の位置に2次元的に移動させ得ることを特徴とする前記(2)項に記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 (3) By processing the relative movement of the subject image captured by the digital camera as a two-dimensional image, another image data to be displayed in a superimposed manner is moved two-dimensionally to an arbitrary position on the monitor. An interface technology for multidimensional digital image composite processing using the digital camera function described in the above item (2).
(4) モニター上に重ね合わせて表示する別の画像データとして予め準備した矢印アイコンのようなモニター上の所定位置指示に相応しい形状およびサイズのものを使うことでポインティングディバイスとしての機能を持たせたことを特徴とする前記(2)項または(3)項に記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 (4) A function as a pointing device is provided by using a shape and size suitable for a predetermined position indication on the monitor such as an arrow icon prepared in advance as another image data to be displayed superimposed on the monitor. An interface technique for multidimensional digital image composite processing using the digital camera function described in the above item (2) or (3).
(5)モニター上に重ね合わせて表示する別の画像データとしてデジタルカメラで捉えている被写体画像またはその一部を抽出して使うことを特徴とする前記(1)項〜(4)項の何れか1つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 (5) Any one of the above items (1) to (4), wherein a subject image captured by a digital camera or a part thereof is extracted and used as another image data to be displayed superimposed on a monitor. Interface technology for multidimensional digital image composite processing using the digital camera function described in any one of the above.
(6) デジタルカメラで捉えている被写体画像の一部を抽出するためにその一部と残部との境界を分ける所定数値以上の明暗度差その他の閾値を利用することを特徴とする前記(2)項〜(5)項の何れか1つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 (6) In order to extract a part of a subject image captured by a digital camera, a difference in brightness and other threshold values that divide the boundary between the part and the remaining part are used. A multi-dimensional digital image composite processing interface technique using the digital camera function according to any one of items (5) to (5).
(7) 別の画像データとして利用するデジタルカメラで捉えている被写体画像に対して適宜に修正、装飾、加工、置換などを施すことを特徴とする前記(2)項〜(6)項の何れか1つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 (7) Any one of the above items (2) to (6), wherein a subject image captured by a digital camera used as another image data is appropriately corrected, decorated, processed, or replaced Interface technology for multidimensional digital image composite processing using the digital camera function described in any one of the above.
(8) 別の画像データとして利用するデジタルカメラでリアルタイムに捉えている被写体画像に対して施す修正、装飾、加工、置換などの結果をリアルタイムに完成してモニター上に表示することを特徴とする前記(2)項〜(7)項の何れか1つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 (8) The present invention is characterized in that the result of correction, decoration, processing, replacement, etc. to be performed on a subject image captured in real time by a digital camera used as another image data is completed in real time and displayed on a monitor. An interface technology for multidimensional digital image composite processing using the digital camera function according to any one of (2) to (7).
(9) デジタルカメラで捉えている被写体画像の相対的な動きが捕捉している画像データの所定の割合以上の領域において共通している場合にのみ別の画像データの動きに反映させることを特徴とする前記(2)項〜(8)項の何れか1つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 (9) Only when the relative movement of the subject image captured by the digital camera is common in an area of a predetermined ratio or more of the captured image data, it is reflected in the movement of another image data. An interface technology for multidimensional digital image composite processing using the digital camera function according to any one of (2) to (8).
(10) デジタルカメラが被写体に対して相対的に上下左右に移動することで捉えられる被写体画像の動きをモニター上に重ね合わせて表示する別の画像データの上下左右の動きとして反映させることを特徴とする前記(2)項〜(9)項の何れか1つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 (10) The movement of the subject image captured by the digital camera moving up, down, left, and right relative to the subject is reflected as the up, down, left, and right movement of another image data displayed on the monitor. An interface technology for multidimensional digital image composite processing using the digital camera function according to any one of (2) to (9).
(11) デジタルカメラが被写体に対して近づき又は遠ざかることで捉えられる被写体画像の動きをも組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの平面的な動きに前後奥行きの動きを加えて立体的な動きとして反映させることを特徴とする前記(2)項〜(10)項の何れか1つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 (11) By combining and synthesizing the movement of the subject image captured when the digital camera approaches or moves away from the subject, the planar movement of another image data to be displayed superimposed on the monitor is obtained. Multidimensional digital image composite processing using the digital camera function according to any one of (2) to (10) above, wherein a motion of depth in the front and back is added and reflected as a three-dimensional motion Interface technology.
(12) デジタルカメラのズーム機能による被写体画像の動きを組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの立体的な動きとして反映させることを特徴とする前記(2)項〜(11)項の何れか1つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 (12) The movement of the subject image by the zoom function of the digital camera is combined and combined to be reflected as a three-dimensional movement of another image data to be displayed superimposed on the monitor. (2) A multidimensional digital image composite processing interface technique using the digital camera function according to any one of (2) to (11).
(13) デジタルカメラのピント合わせ処理に基づく被写体画像の動きを組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの立体的な動きとして反映させることを特徴とする前記(2)項〜(12)項の何れか1つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 (13) By combining and synthesizing the movement of the subject image based on the focusing process of the digital camera, it is reflected as a three-dimensional movement of another image data to be displayed superimposed on the monitor. An interface technology for multidimensional digital image composite processing using the digital camera function according to any one of (2) to (12).
(14) デジタルカメラに有線又は無線の通信手段を持たせることで、別機器のモニター上において重ね合わせて表示する別の画像データの動きとして反映させることを特徴とする前記(2)項〜(13)項の何れか1つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 (14) Items (2) to (2) above, wherein the digital camera is provided with wired or wireless communication means, and is reflected as a movement of another image data to be displayed superimposed on a monitor of another device. An interface technology for multidimensional digital image composite processing using the digital camera function according to any one of items 13).
(15) 携帯電話のようなモバイル通信情報端末機器に備付けられたデジタルカメラを用いることを特徴とする前記(2)項〜(14)項の何れか1つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 (15) Using the digital camera function described in any one of (2) to (14) above, wherein a digital camera installed in a mobile communication information terminal device such as a mobile phone is used. Interface technology for multidimensional digital image composite processing.
(16) デジタルカメラ機能を利用して立体的位置情報を付与しながら立体的な被写体の画像データを取込んで複合処理することを特徴とする前記(2)項〜(15)項の何れか1つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 (16) Any one of the above items (2) to (15), wherein the three-dimensional object image data is taken in and combined with the three-dimensional position information using the digital camera function, and combined processing is performed. Interface technology for multidimensional digital image composite processing using the digital camera function described in one.
(17) 取得している画像データの特定箇所をポイントしながら該箇所に対しての記述データを入力し、該特定箇所の位置情報と関連付ける複合処理を行うことで商品サンプル画像に対する意見情報などを結びつけたアンケート用ツールとして用いることを特徴とする前記(2)項〜(16)項の何れか1つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 (17) Input descriptive data for a specific location while pointing to a specific location in the acquired image data, and perform opinion processing on the product sample image by performing a composite process associated with the location information of the specific location An interface technology for multidimensional digital image composite processing using a digital camera function according to any one of (2) to (16) above, wherein the interface technology is used as a linked questionnaire tool.
(18) 取得している複数の画像データを所望の位置関係を持たせて重ね合わせ処理することでプリクラ機能を持たせたことを特徴とする前記(2)項〜(17)項の何れか1つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。 (18) Any one of the above items (2) to (17), wherein a plurality of acquired image data are subjected to a superposition process with a desired positional relationship to provide a photokura function. Interface technology for multidimensional digital image composite processing using the digital camera function described in one.
取得画像を複数枚重ね合わせて一枚の画像を作る上で、従来のブルーバックではなく白紙を含めて自由な色の背景色を採用可能とし、余計な背景部分を排除し透明にしたり、単純な実線を星型や他の形状の集合的実線に変えるような線や点の補完など、様々な画像処理・変換を行い、鉛筆画のような微細で淡い描画においても画像取り込み、マーキングポイント認識が可能になることで、デジタルカメラの撮影機能を活用した画像データを含む多様なデジタルデータの多次元的な複合的処理のインターフェイスとしての利用が可能となる。 When creating a single image by superimposing multiple acquired images, it is possible to adopt a free background color including blank paper instead of the conventional blue background, making it unnecessary to remove the extra background and making it transparent or simple Various image processing and conversion, such as complementing lines and points that change a solid line into a star-shaped or other shape collective solid line, and even for fine and light drawing such as pencil drawings, image capture and marking point recognition By making it possible, it becomes possible to use various digital data including image data using the photographing function of the digital camera as an interface for multidimensional complex processing.
デジタルカメラで捉えている被写体画像の相対的な動きをモニター上の表示中データに重ね合わせて表示する別の画像データの動きに反映させることで、通常のデジタルカメラが当然に有している被写体の撮影能力を利用しながらモニター上に表示した各種データの移動その他の処理に活用して多次元的な複合的処理を行うインターフェイス端末とすることが可能となる。
ここで「多次元的複合処理」とは、任意に2次元的・3次元的処理を複合的に行ったり、さらに相互関連性を維持したままでの各種処理が可能な各種パラメーターを適宜に組合せながら実行する複合的なデータ処理のことであり、このような意味において既に実現されている各種の複合処理技術を当然に含んだものである。
また、本発明で言う「画像データ」とは、コンピュータのモニター上に表示し得るデジタルデータのことであり、所謂画像ファイルだけではなく、例えば、各種の文書ファイルであってもそれがモニター上に表示されて複合的処理の対象となり得るものであれば、本発明の「画像データ」に含まれるものである。
Subject that a normal digital camera naturally has by reflecting the relative movement of the subject image captured by the digital camera on the movement of other image data that is displayed superimposed on the data being displayed on the monitor It is possible to make an interface terminal that performs multi-dimensional composite processing by utilizing various image data displayed on the monitor while utilizing the imaging capability.
Here, “multi-dimensional composite processing” is an appropriate combination of various parameters that can be arbitrarily combined with two-dimensional and three-dimensional processing, and can be processed in various ways while maintaining their interrelationships. However, it is a complex data processing to be executed, and naturally includes various complex processing techniques already realized in this sense.
The “image data” in the present invention is digital data that can be displayed on a computer monitor. For example, not only image files but also various document files are displayed on the monitor. Anything that can be displayed and can be subjected to complex processing is included in the “image data” of the present invention.
デジタルカメラで捉えている被写体画像の相対的な動きを2次元的なものとして処理することで重ね合わせて表示する別の画像データをモニター上の任意の位置に2次元的に移動させ得ることで、特にモニター平面上の任意の位置に移動処理しながら様々な多次元的複合処理を実行するインターフェイス装置としてデジタルカメラその物やデジタルカメラ機能を備えた各種機器を利用することができるようになる。 By processing the relative movement of the subject image captured by the digital camera as a two-dimensional image, it is possible to move another image data to be displayed in a two-dimensional manner to any position on the monitor. In particular, the digital camera itself and various devices equipped with a digital camera function can be used as an interface device that executes various multidimensional composite processing while moving to an arbitrary position on the monitor plane.
モニター上に重ね合わせて表示する別の画像データとして予め準備した矢印アイコンのようなモニター上の所定位置指示に相応しい形状およびサイズのものを使うことでポインティングディバイスとしての機能を持たせたことで、デジタルカメラ機能を備えた各種機器をパソコン用マウスと同等の役割を果たすものとして活用することが可能となる。 By having a shape and size suitable for a predetermined position indication on the monitor such as an arrow icon prepared in advance as another image data to be displayed superimposed on the monitor, it has a function as a pointing device, Various devices equipped with digital camera functions can be used to play the same role as a PC mouse.
モニター上に重ね合わせて表示する別の画像データとしてデジタルカメラで捉えている被写体画像またはその一部を抽出して使うことで、デジタルカメラ機能そのもので取得した画像データを活用した各種の多次元的複合処理が可能なものとなる。 By extracting and using the subject image captured by the digital camera or a part of it as another image data to be displayed superimposed on the monitor, various multi-dimensional data utilizing the image data acquired by the digital camera function itself Combined processing is possible.
デジタルカメラで捉えている被写体画像の一部を抽出するためにその一部と残部との境界を分ける所定数値以上の明暗度差その他の閾値を利用することで、取得している画像データの所望部分を自由に切り出して多様な多次元的複合的処理の素材として利用することができるようになる。 In order to extract a part of the subject image captured by the digital camera, the desired image data can be obtained by using a brightness difference or other threshold value that is greater than or equal to a predetermined value that separates the boundary between the part and the rest The part can be freely cut out and used as a material for various multidimensional composite processes.
別の画像データとして利用するデジタルカメラで捉えている被写体画像に対して適宜に修正、装飾、加工、置換などを施すことで、利用者の必要性や好みに応じた様々な変形処理を施した上で画像データ素材となし多次元的複合的処理を加えることが可能となる。 Various modifications were made to the user's needs and preferences by appropriately modifying, decorating, processing, and replacing the subject image captured by the digital camera used as separate image data. It is possible to add multidimensional complex processing without image data material.
別の画像データとして利用するデジタルカメラでリアルタイムに捉えている被写体画像に対して施す修正、装飾、加工、置換などの結果をリアルタイムに完成してモニター上に表示することで、デジタルカメラにより取得中の画像データにダイレクトの所望の加工等を含んだ複合的処理を行い、その結果を即座に反映させながら各種モニター上に表示する従来にない新しい表現形式を実現することが可能となる。 Obtained by the digital camera by completing and displaying on the monitor the results of corrections, decorations, processing, replacements, etc. applied to the subject image captured in real time by the digital camera used as other image data. It is possible to realize an unprecedented new expression format that performs complex processing including direct desired processing on the image data and displays the result on various monitors while immediately reflecting the result.
デジタルカメラで捉えている被写体画像の相対的な動きが捕捉している画像データの所定の割合以上の領域において共通している場合にのみ別の画像データの動きに反映させることで、被写体の部分的な動きの変化に影響されず所望の処理が実行できるようにすることができる。例えば、意図しない小さな動きに反応してしまうと利用者が望んでいる操作を実現できないが、所定の割合以上の大きな動きのみに反応するように制限をすることで意図に沿った操作が実現可能となるのである。 Only when the relative movement of the subject image captured by the digital camera is common in an area of a predetermined ratio or more of the captured image data, it is reflected in the movement of another image data. It is possible to execute a desired process without being influenced by a change in the movement. For example, if the user reacts to an unintended small movement, the operation desired by the user cannot be realized, but the operation according to the intention can be realized by limiting so as to react only to a large movement exceeding a predetermined ratio. It becomes.
デジタルカメラが被写体に対して相対的に上下左右に移動することで捉えられる被写体画像の動きをモニター上に重ね合わせて表示する別の画像データの上下左右の動きとして反映させることで、デジタルカメラの上下左右の2次元的動きをそのままモニター上の矢印アイコンなどの動きに移し変えてパソコン用マウスとまったく同様の操作感を持った機器として使用することが可能となる。 By reflecting the movement of the subject image captured by the digital camera moving up, down, left, and right relative to the subject as an up-down, left-right movement of another image data displayed on the monitor. It can be used as a device with exactly the same operational feeling as a mouse for a personal computer by moving the two-dimensional movement of the top, bottom, left and right to the movement of the arrow icon on the monitor.
デジタルカメラが被写体に対して近づき又は遠ざかることで捉えられる被写体画像の動きをも組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの平面的な動きに前後奥行きの動きを加えて立体的な動きとして反映させることにより、モニター上に表現される立体的映像データなどの3次元的な位置情報を明確に指示することができる3次元マウスの如き従来にない新規なポインティングディバイスを操作感に優れたインターフェイス装置として実現することができるようになる。
すなわち、上下左右の2次元的方向(XY軸方向)の位置表示は既存のパソコン用マウスと同等の操作で行うことができ、前後奥行きの3次元的方向(Z軸方向)の位置表示は本発明の機器を被写体に対して近づけたり遠ざけたりする操作で行うことができるので、人間の自然な感覚にマッチした操作性を実現できるものである。
By combining and synthesizing the movement of the subject image captured when the digital camera approaches or moves away from the subject, the planar movement of the other image data displayed on the monitor is combined with the depth of front and back. By adding the movement and reflecting it as a three-dimensional movement, a new novel such as a three-dimensional mouse that can clearly indicate three-dimensional position information such as three-dimensional video data expressed on a monitor. The pointing device can be realized as an interface device with excellent operational feeling.
In other words, the position display in the two-dimensional direction (up and down, left and right) (XY axis direction) can be performed with the same operation as an existing personal computer mouse, and the position display in the three-dimensional direction (Z axis direction) of the front and rear depth is Since the device of the invention can be operated by moving the device closer to or away from the subject, it is possible to realize operability that matches the natural sense of human beings.
デジタルカメラのズーム機能による被写体画像の動きを組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの立体的な動きとして反映させることで、同様に人間の感性に適合した操作手法による3次元マウスの如きポインティングデバイスを実現することが可能となる。被写体に対してデジタルカメラのズーム機能によって寄ったり離れたりすることを矢印アイコンの如きのZ軸方向の位置表示操作に当てはめることも自然な人間の感性にマッチした処理手法となっているのである。 By combining and synthesizing the movement of the subject image by the zoom function of the digital camera and reflecting it as a three-dimensional movement of another image data that is displayed superimposed on the monitor, it is also adapted to human sensitivity A pointing device such as a three-dimensional mouse can be realized by the operation method described above. Applying to the position display operation in the Z-axis direction, such as an arrow icon, to approach or move away from the subject by the zoom function of the digital camera is also a processing method that matches natural human sensitivity.
デジタルカメラのピント合わせ処理に基づく被写体画像の動きを組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの立体的な動きとして反映させることでも人間の感性にマッチした3次元マウスの如き装置を実現することができる。カメラのピント合わせ操作もある意味で被写体とカメラレンズとの距離を適合化しているものと解釈することができ、これをZ軸方向の位置表示に反映させることも自然な操作性実現に結びつけることができるのである。 By combining and synthesizing the movement of the subject image based on the focusing process of the digital camera, it matches the human sensibility even by reflecting it as a three-dimensional movement of another image data to be displayed superimposed on the monitor A device such as a three-dimensional mouse can be realized. The camera focusing operation can also be interpreted as adapting the distance between the subject and the camera lens in a sense, and reflecting this in the position display in the Z-axis direction also leads to the realization of natural operability. Can do it.
デジタルカメラに有線又は無線の通信手段を持たせることで、別機器のモニター上において重ね合わせて表示する別の画像データの動きとして反映させることで、本発明用機器とは別のコンピュータ装置やその他の表示装置に採用されているモニター上においても本発明用機器を操作用端末としながら適宜なデジタルデータの複合処理やコンピュータ用マウス的操作を実現することが可能となる。
本発明用機器として用いるデジタルカメラ等は通常それ自体としてモニターを備えており、したがってこの備付モニター上において上記してきたようなデータの複合処理やマウスとしてのポインティング操作を行うことができるのであるが、本発明用機器に備えられた有線・無線による通信手段を利用することで別機器のモニター上でも同様の利用が可能となるのである。
By providing the digital camera with a wired or wireless communication means and reflecting it as a movement of another image data to be displayed superimposed on a monitor of another device, a computer device other than the device for the present invention or the like Even on the monitor employed in the display device, it is possible to realize appropriate composite processing of digital data and mouse operation for a computer while using the device of the present invention as an operation terminal.
The digital camera or the like used as the device for the present invention usually has a monitor as such, and therefore, it is possible to perform the combined processing of data as described above and the pointing operation as a mouse on the equipped monitor. By using the wired / wireless communication means provided in the device of the present invention, the same use is possible on a monitor of another device.
携帯電話のようなモバイル通信情報端末機器に備付けられたデジタルカメラを用いることで、原理的には既に市場に普及しているカメラ付携帯電話であれば本発明を実施することができるものとなし得る。すなわち、本発明はデジタルカメラ機能を使って取得しているデジタルデータに対する所望の操作処理を行うものであるから、その殆んどをプログラム処理によって実行することが可能なのである。 By using a digital camera equipped in a mobile communication information terminal device such as a mobile phone, in principle, the present invention can be implemented with any camera-equipped mobile phone that has already spread in the market. obtain. That is, since the present invention performs desired operation processing on digital data acquired using the digital camera function, most of it can be executed by program processing.
デジタルカメラ機能を利用して立体的位置情報を付与しながら立体的な被写体の画像データを取込んで複合処理することで、立体的な被写体についてその立体的な位置情報を付与しながら画像データとして取込み作業を行うことが可能となる。 By using the digital camera function to provide stereoscopic position information and taking image data of a three-dimensional subject and performing composite processing, the three-dimensional subject is given image information while giving the three-dimensional position information. It is possible to perform the uptake operation.
取得している画像データの特定箇所をポイントしながら該箇所に対しての記述データを入力し、該特定箇所の位置情報と関連付ける複合処理を行うことで商品サンプル画像に対する意見情報などを結びつけたアンケート用ツールとして用いることで、画像データの特定箇所についての意見を述べるなどといった、携帯電話等を端末機器として使用する場合に、従来は容易に行うことができなかった手法のアンケート調査などであっても適切に実施することが可能となる。 A questionnaire that links descriptive information to product sample images by inputting descriptive data for the location while pointing to a specific location in the acquired image data, and performing composite processing that associates the location information with the location When using mobile phones as terminal devices, such as stating opinions on specific parts of image data, etc., it is a questionnaire survey of methods that could not be easily performed in the past. Can be implemented appropriately.
取得している複数の画像データを所望の位置関係を持たせて重ね合わせ処理することでプリクラ機能を持たせたことで、複数画像を重ね合わせて合成する所謂プリクラのようなサービスを携帯端末であっても実施することが可能となり、需要者に人気のあるサービス展開として本発明を実施することが可能となる。 By providing a photoprinter function by superimposing a plurality of acquired image data with a desired positional relationship, a service such as a so-called photoprinter that combines and superimposes a plurality of images is provided on a mobile terminal. Even if it exists, it becomes possible to implement, and it becomes possible to implement this invention as a service development popular with a consumer.
本発明においては、カメラ付携帯電話やデジタルカメラ機器そのものを利用してそのデジタルカメラ機能により把握される被写体画像の動きを解析し、これをデジタル画像の複合的処理を行う際の各種操作に反映させることで適宜なインターフェイス装置となし得ることを見出したものである。 In the present invention, the movement of the subject image grasped by the digital camera function is analyzed using the camera-equipped mobile phone or the digital camera device itself, and this is reflected in various operations when performing the composite processing of the digital image. It has been found that an appropriate interface device can be obtained by performing the above.
すなわち、所定の機器に付属したデジタルカメラ機能によって被写体を撮影する際に、例えば、該機器を被写体に対して右から左に移動すると機器のモニターに表示された画像は左から右に流れるように移動し、機器を下から上に移動するとモニター上の画像は上から下に移動するというように、デジタルカメラ機能によって機器と被写体との相対的の位置変化を連続的に把握することが可能である。 That is, when shooting a subject using a digital camera function attached to a predetermined device, for example, if the device is moved from right to left with respect to the subject, the image displayed on the device's monitor flows from left to right. It is possible to continuously grasp the relative position change between the device and the subject with the digital camera function, such as moving and moving the device from bottom to top, the image on the monitor moves from top to bottom. is there.
このような両者間の相対的位置変化は機器を所持した者が自在に操作可能なものであり、これを利用してデジタル画像データの複合的処理を行うインターフェイス端末の操作手法とすることができるのである。 Such a relative position change between the two can be freely operated by a person who possesses the device, and can be used as an operation method of an interface terminal that performs composite processing of digital image data using this. It is.
つまり、例えば、上記したような機器と被写体との相対的な上下左右の移動変化をモニター上に表示したポインターアイコンなどの上下左右の移動として反映させるものとすると、既存のコンピュータ用マウスと同等の機能を持った新たなインターフェイス装置が容易に実現できるのである。 In other words, for example, if the change in relative vertical and horizontal movement between the device and the subject is reflected as the vertical and horizontal movement of the pointer icon displayed on the monitor, it is equivalent to an existing computer mouse. A new interface device with functions can be easily realized.
ここで、機器と被写体との相対的な位置変化をXY平面状の座標データとして厳密に把握させる必要性はそれほど存在しない。モニター上のポインターアイコンの移動はおおよその向きを定めて連続移動的に行うものであり、所望のポイントに着いたことをモニター表示上で確認した上で確定操作等を行うことができれば良いものであるから、厳密な座標データを入手して移動処理を行うといったものではないのである。
したがって、ポインターを移動したいおおよその方向に機器を移動すると設定された速度で該方向にポインターを移動することができるといった程度で十分にコンピュータマウス同等の機能を実現することができるのである。
Here, there is not much need to accurately grasp the relative position change between the device and the subject as XY planar coordinate data. The pointer icon on the monitor is moved continuously with an approximate orientation, and it is only necessary to confirm the arrival at the desired point on the monitor display and perform a confirmation operation. Therefore, it is not a matter of obtaining exact coordinate data and performing a movement process.
Therefore, a function equivalent to a computer mouse can be realized to the extent that when the device is moved in the approximate direction in which the pointer is desired, the pointer can be moved in the direction at the set speed.
このようにコンピュータマウスと同等の機能が実現することで、コンピュータマウスを使用して従来行ってきている各種のデジタル画像データの複合処理はすべて本発明機器をインターフェイス装置として用いても実現することが可能なものとなる。 By realizing the same function as a computer mouse in this way, all the combined processing of various digital image data that has been conventionally performed using a computer mouse can be realized even if the device of the present invention is used as an interface device. It will be possible.
このような本発明を実際に応用した具体的な実施例のいくつかを以下において添付図面等を利用しながら説明する。 Some specific examples of the actual application of the present invention will be described below with reference to the accompanying drawings.
(実施例1)
ここでは、携帯電話1aを用いて3次元マウスのインターフェイス端末装置1とする技術について説明する。
図1は、本発明のインターフェイス装置1としてデジタルカメラ機能を備えた携帯電話1aを用いる場合に関しての概括的な説明図面である。
すなわち、携帯電話1aのデジタルカメラレンズ2により被写体3(ここでは立方体3a)を撮影すると、携帯電話1aのモニター4に被写体3(立方体3a)が写し出される。この状態で携帯電話1aを被写体3に対して上下左右前後に移動すると両者間の相対的な位置関係の変化がモニター4に写し出される画像情報に反映することは容易に理解されるところである。
Example 1
Here, a technique for making the
FIG. 1 is a schematic explanatory diagram regarding a case where a
That is, when the subject 3 (
つまり、図示するように、例えば、携帯電話1aを立方体3aを写しながら右方向に移動するとモニター4に表示されている立方体3aの画像はモニター4中を左方向に移動する。同様に携帯電話1aを左方向や上方向、下方向に移動することがモニター4に表示されている立方体3aをそれぞれ右方向、下方向、上方向に移動させることは明らかである。
That is, as shown in the figure, for example, when the
さらに、携帯電話1aを奥方向に移動して立方体3aに近づけるとモニター4に写された立方体3aの画像は次第に拡大されることとなり、反対に携帯電話1aを手前方向に移動するとモニター4に写し出される立方体3aの画像は次第に縮小されることが理解できる。
Further, when the
つまり、デジタルカメラ機能により被写体3を捉えながら携帯電話1aを上下左右および前後に移動させることは、モニター4に写し出されている被写体3画像の連続的な動きとして把握することが可能なのである。すなわち、被写体3を捉えながら携帯電話1aを動かすことにより得られる画像変化を解析することで逆に携帯電話1aが被写体3に対して上下左右前後どのように動いたかを把握することができるのである。
That is, moving the
このようにして把握された上下左右前後の動きをモニター4上に表示した矢印状のポインターアイコン5の動きとして表現し直すことで、上下左右といった平面的位置情報だけではなく前後奥行き方向の立体的位置情報をも適切に指示することができる3次元マウスが実現されるのであり、その作動手法も人間の自然な動作をそのまま反映させたものとなるので感覚的にも違和感がなく優れたインターフェイス装置1を実現することが可能となるものである。
By re-expressing the vertical / left / right / front / rear movement thus grasped as the movement of the arrow-shaped
また、図2に示すように有線・無線等の適当な手段によって携帯電話1aと他のコンピュータ装置6とを接続してやることで、コンピュータ装置6のモニター4a上で矢印状のポインターアイコン5を操作してやることも当然に可能である。すなわち、携帯電話1aをコンピュータ装置6に付属した3次元マウス機能を果たすインターフェイス装置1として取扱うことができるのである。
Further, as shown in FIG. 2, the
ここで、3次元マウス機能を実現するために必要なのはデジタルカメラ機能そのものであることから、コンピュータ装置6に接続可能なデジタルカメラ自体を本発明のインターフェイス装置1となし得ることも理解されるべきである。また、3次元マウス機能には当然に通常のマウス機能(2次元マウス機能)も含まれているものであり、例えば、前後奥行き方向の動きをポインターアイコン5に反映させないようにすることで従来一般のマウスと同様の機能は容易に実現できるものである。
Here, since what is necessary for realizing the three-dimensional mouse function is the digital camera function itself, it should be understood that the digital camera itself connectable to the
3次元ポインタ5のモニター4、4a上における動き、特に前後奥行き方向の動きを判り易く表現するためには適宜に斜め方向からなどの視点変更を可能なものとし、立体的な位置情報の把握を行い易いものとするように配慮することも必要である。
In order to express the movement of the three-
(実施例2)
次いで、本発明のインターフェイス装置1、特にコンピュータ操作用マウスとしては、図3のようにコンピュータ装置6に固定的に取付けたデジタルカメラ7を用いることも可能である。
この場合、図示のように小型のデジタルカメラ7をモニター4a上端部などに取付けた上でコンピュータ装置6との接続設定を行っておく。すなわち、カメラ7のレンズ2を介して得られる撮影画像の動きを実施例1の場合と同様に矢印のポインターアイコン5の動作に反映させて任意なコンピュータ操作に利用することができるのである。
(Example 2)
Next, as the
In this case, as shown in the figure, a small
例えば、操作者がカメラ7の前に手をかざして撮影されながら右方向に手を動かすとモニター4a上のポインターアイコン5も右方向に動き、同様に左方向や上下方向に手を動かすとポインターアイコン5も同じ方向に移動するように処理できる。
もちろん、カメラ7に手を近づけると奥方向へ、遠ざけると手前方向へポインターアイコン5を動かすようにすることで上記のような3次元マウス的に使用することも可能である。
For example, when the operator moves his hand in the right direction while holding his hand in front of the
Of course, by moving the
ここで、デジタルカメラ機能を持った端末機器自体を被写体に対して動かす場合(実施例1)と端末機器自体は固定しておいて被写体(手のひらなど)の方を動かす場合(実施例2)とではモニター4a上で動かすポインターアイコン5の動作関係が異なることになるが、これは端末機器と被写体との相対的な位置関係の変化を抽出して利用することに基因しているものである。
ただし、相対的にどちらを動かしてどちらを固定しているかが明らかであれば、モード切換えといった手段によって適切に利用可能なインターフェイス端末装置1とすることができるものである。
Here, when the terminal device itself having a digital camera function is moved relative to the subject (Example 1), and when the terminal device itself is fixed and the subject (palm etc.) is moved (Example 2), Then, the operation relationship of the
However, if it is clear which is relatively moved and which is fixed, the
また、ポインターアイコン5の動きに反映させるべき被写体の画像変化としては、カメラ7を介して取得される画像の動作をすべて拾っているとかえって操作者の意思を適切に実行することができない可能性が高い。つまり操作者の意思とは無関係な背景物体等の動きまで反映したアイコン5の動作となると、パソコン操作用マウスとして使うことができなくなるのである。
In addition, as an image change of the subject to be reflected in the movement of the
そこで、カメラ7が捉えている画像中の所定サイズを越える被写体が同一方向に移動する動きのみを抽出してポインターアイコン5の動きに反映させることが必要である。例えば、捕捉されている画像中の30%を越える面積を占めている被写体が上下左右前後など一定方向に動いている場合のみこれをアイコン5の動きに変換するものである。図3に示す場合には、操作者がカメラ7の20〜30cm前に手をかざして上下左右に動かすことでアイコン5を意のままに操作するといったことが可能となるものである。
Therefore, it is necessary to extract only the movement of the subject exceeding the predetermined size in the image captured by the
また、前後奥行き方向の動きを反映させたポインターアイコン5の動作は必ずしも実際にカメラ7と被写体3との相対的位置関係を変化させなくても実現可能である。
すなわち、奥行き方向へアイコン5を移動させるのは被写体画像が次第に大きくなっていくという画像変化を利用するもので、逆に手前方向にアイコン5を移動させるのは被写体画像が次第に小さくなっていく画像変化を利用するものである。
とすれば、このような被写体画像の変化が実現すればそれをアイコン5の動作に反映せしめることが可能となるので、例えば、デジタルカメラ機能に付随するズーム機能やピント合わせ機能を働かせることで取得される被写体画像に関する拡大・縮小変化を利用してアイコン5の前後奥行き方向への移動に応用させることは容易なことである。
In addition, the operation of the
That is, moving the
Then, if such a change in the subject image is realized, it can be reflected in the operation of the
このようなズーム機能やピント合わせ機能を利用して前後奥行き方向へのアイコン5の移動を制御する技術は、インターフェイス端末装置1として携帯電話1aを用いる場合にもデジタルカメラ7を用いる場合にも共通して応用可能なものである。
また、何れにしても携帯電話1aやデジタルカメラ7をコンピュータマウスとして利用するために用いているのはその標準的なカメラ機能により取得される被写体画像の連続的な画像変化だけであるから、既存の標準的な携帯電話1aやデジタルカメラ7に加えて新たなハードウェアが必要となるわけではなく、プログラム的処理を行うことだけで原理的には実現可能なものである。
The technique for controlling the movement of the
In any case, since the
(実施例3)
本発明のインターフェイス端末装置1は備えられたデジタルカメラ機能を用いて被写体3の画像撮影を行いその中から所望部分を切取りし、他のデジタルデータ上に合成するといった複合的処理に用いることもできるものである。
すなわち、図4に撮影した画像データから適宜な部分を抽出するための代表的な手法に関する処理手順をフローチャートとして示す。
(Example 3)
The
That is, FIG. 4 is a flowchart showing a processing procedure related to a representative method for extracting an appropriate part from captured image data.
つまり、カメラ機能により取得した画像データを画素毎に解析しその画素の色データが所定の閾値と比較して区分し、以後同様に隣接する画素毎に閾値との比較による区分けを繰り返すことで切出そうとする画像とその背景とを分けるものである。例えば、明度に関する閾値として所定の数値を指定することでこれを基準とした画像データのみを抽出することが可能となるのである。明度以外にも適当な色情報その他に関する所定数値を閾値として利用させることが可能で、適切な選択を行うことで所望の画像データ部分のみを抽出できるものである。 In other words, the image data acquired by the camera function is analyzed for each pixel, the color data of the pixel is compared with a predetermined threshold value, and thereafter, the segmentation by comparing with the threshold value is repeated for each adjacent pixel. It separates the image to be output from its background. For example, it is possible to extract only image data based on this by specifying a predetermined numerical value as a threshold value relating to brightness. In addition to lightness, a predetermined numerical value relating to appropriate color information and the like can be used as a threshold value, and only a desired image data portion can be extracted by performing an appropriate selection.
取得した画像データ中の所望部分のみを切出す手段としては、上記以外にも既存の様々な技術を利用して構わない。登録された所定形状の枠組みによって任意な切出しを行っても良いし、特に本発明の端末装置1がポインティングデバイスとしての機能を備えていることから、カーソルアイコン5などを切出し作業用に用いるものとして任意部分の抽出を行うことも可能である。
In addition to the above, various existing techniques may be used as means for cutting out only a desired portion in the acquired image data. Arbitrary clipping may be performed by a registered frame of a predetermined shape, and in particular, the
本発明のインターフェイス端末装置1のデジタルカメラ機能によって取得された画像データやそこから切出された所望の部分的画像データは何れもデジタルデータであることから、これらを自在に移動させたり、拡大縮小、色変換や形状変換その他の加工修正することは適宜なソフトウェアを利用して当然に可能なことである。また、これらの作業にはマウス等のインターフェイス装置のカーソルアイコン5を利用して行うが、本発明の端末装置1は画像データの取得と加工等の上記各作業をそれのみで実行することができるのである。取得して加工等した画像データをカーソルアイコン5の代用とするようなこともできるのである。
Since the image data acquired by the digital camera function of the
また、破線のように非連続の線によって表現された画像データの所望箇所を自動的に切出すには図4のような処理では足りない。このような場合には例えば図5に示すような手順で処理を行うことで破線等により表現された部分画像であっても適切に切出して取得することが可能である。つまり、色等のデータ有りとされた画素を適当に太らせた上で加算して破線表現であっても連続的なものと把握処理し、その後さらに太らせた画素をやせさせてすべて加算し直すことで破線表現を復元して蓄積等させるのである。 Further, the process shown in FIG. 4 is not sufficient to automatically cut out a desired portion of image data expressed by a discontinuous line such as a broken line. In such a case, for example, a partial image represented by a broken line or the like can be appropriately cut out and acquired by performing processing according to the procedure shown in FIG. In other words, the pixels with data such as color are properly fattened and added, and even if it is represented by a broken line, it is grasped as continuous, and then the fattened pixels are thinned and all are added. By correcting it, the broken line representation is restored and stored.
さらに、線画による連続的表現をされた画像データを適宜な形状のパターンが連続する画像データに置換するような処理も可能である。つまり図6に示すような手順の処理を施せば連続的な線画表現が適当な間隔を採って連続する所定のパターン形状に置き換えられるのである。例えば、線画表現された三角形がハート型や星型のパターン形状の連続する三角形に変換されるといった加工もソフトウェアによる処理で簡単に実現できるのである。 Furthermore, it is possible to perform processing in which image data that is continuously expressed by line drawing is replaced with image data in which patterns of appropriate shapes are continuous. In other words, if the processing of the procedure as shown in FIG. 6 is performed, the continuous line drawing expression is replaced with a predetermined pattern shape continuous at an appropriate interval. For example, processing such that a triangle represented by a line drawing is converted into a continuous triangle having a heart-shaped or star-shaped pattern shape can be easily realized by software processing.
(その他)
このように本発明のインターフェイス装置1はポインティングデバイスとして機能すると同時にカメラ機能により画像を取得し該画像やその任意の部分を適宜に加工等し、さらにこれらの画像データ同士を複合的に合成したり、他のデジタルデータとの複合処理などを自在に行わせることが可能である。つまり、モニター4、4a上に表示されるものであれば複数の画像データその他のデジタルデータ同士を可能な手法によって複合的に処理することができるのである。
(Other)
As described above, the
また、上記してきたように前後奥行き方向における位置情報をも処理させることができる3次元マウスとしても機能することから、取得してモニター4上に表示されている立体的な被写体3についての画像データに適切に3次元的位置情報を付与しながら取り込むことも可能である。
すなわち、ある立体的な被写体3について、実際には平面的なデータとして撮影されている過ぎない該被写体3についての複数の画像データにそれぞれ適切な3次元的位置情報を付与した上で取得し、これらを適切に合成処理することで、相対的に正確な3次元的位置情報を含んだ実質的な立体画像データを取得することが可能となるものである。
In addition, as described above, it also functions as a three-dimensional mouse that can process position information in the front-rear and depth directions, so image data about the three-
That is, a certain three-
また、前後奥行き方向の位置関係に即した操作ができることから、例えば、多層構造化されたデータを人間の感覚に合致した手法で処理したい場合に本発明のインターフェイス装置1を利用することは望ましいことであると理解される。
Further, since the operation can be performed in accordance with the positional relationship in the front-rear and depth directions, it is desirable to use the
以上説明してきたように、本発明によればデジタルカメラ機能を有する携帯電話やデジタルカメラそのものがそのカメラ機能を利用して通常のコンピュータ操作用マウスと同等のインターフェイス装置になると共に更に前後奥行き方向の位置情報をも処理して立体的処理を行う3次元マウスとしても活用することが可能となる。 As described above, according to the present invention, a mobile phone having a digital camera function or a digital camera itself uses the camera function to become an interface device equivalent to a normal computer operation mouse, and further in the longitudinal and depth directions. It can also be used as a three-dimensional mouse that processes position information and performs three-dimensional processing.
さらにそのカメラ機能により取得される撮影画像データの複合的加工処理等にも同時に付属するモニターを使って実行できることは勿論、適宜に接続された他のコンピュータ装置等を利用して行うことも可能となるものである。 Furthermore, it can be performed using a monitor that is also attached to the combined processing of the captured image data acquired by the camera function at the same time, and can also be performed using other computer devices connected as appropriate. It will be.
さらに適宜なインターフェイス装置としてデジタルデータ相互の複合処理を行うための端末機器として利用したり、3次元的位置情報を付与しながら画像データを取得することで立体的な位置情報を含んだ従来にない新規な画像データを合成して得ることが可能となるものである。 Furthermore, it can be used as an appropriate interface device as a terminal device for performing combined processing of digital data, or by acquiring image data while providing three-dimensional position information, and including three-dimensional position information. It is possible to obtain new image data by combining them.
したがって、本発明は、デジタル画像データに新たな意義を与えて従来にはない新規な用途や応用分野を開拓するものであって、関連分野において多くの需要を産み出す可能性を秘めたものと理解されるので、その産業上の利用可能性において高い評価を受けるべき発明である。 Therefore, the present invention provides new meaning to digital image data and pioneers new uses and application fields that have not existed before, and has the potential to generate a lot of demand in related fields. As it is understood, the invention should be highly evaluated for its industrial applicability.
1 本発明のインターフェイス装置
1a インターフェイス装置としての携帯電話
2 デジタルカメラレンズ
3 被写体
3a 立方体(被写体)
4 携帯電話モニター
4a コンピュータ装置モニター
5 矢印ポインターアイコン
6 コンピュータ装置
7 デジタルカメラ
DESCRIPTION OF
4
Claims (18)
The digital image processing apparatus according to any one of claims 2 to 17, wherein a plurality of pieces of acquired image data are subjected to a superposition process with a desired positional relationship so as to have a photokura function. Interface technology for multi-dimensional digital image processing using camera functions.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005102581A JP2006285475A (en) | 2005-03-31 | 2005-03-31 | Interface technology using digital camera function for multi-dimensional digital image composite processing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005102581A JP2006285475A (en) | 2005-03-31 | 2005-03-31 | Interface technology using digital camera function for multi-dimensional digital image composite processing |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006285475A true JP2006285475A (en) | 2006-10-19 |
Family
ID=37407358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005102581A Pending JP2006285475A (en) | 2005-03-31 | 2005-03-31 | Interface technology using digital camera function for multi-dimensional digital image composite processing |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006285475A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008075900A1 (en) * | 2006-12-21 | 2008-06-26 | Moon Key Lee | 3d mouse using camera |
JP2009064409A (en) * | 2007-03-26 | 2009-03-26 | Avago Technologies Ecbu Ip (Singapore) Pte Ltd | System and method for tracking input device using display screen in captured frames of image data |
FR2925705A1 (en) * | 2007-12-20 | 2009-06-26 | Thomson Licensing Sas | IMAGE CAPTURE ASSISTING DEVICE |
JP2010519866A (en) * | 2007-02-27 | 2010-06-03 | アクセンチュア グローバル サービスィズ ゲーエムベーハー | Device control using video calls |
JP2010136242A (en) * | 2008-12-08 | 2010-06-17 | National Institute Of Advanced Industrial Science & Technology | Digital camera for emphasizing contrast |
CN104272431A (en) * | 2012-07-03 | 2015-01-07 | 东京毅力科创株式会社 | Fabrication equipment monitoring device and monitoring method |
EP2849156A2 (en) | 2013-09-13 | 2015-03-18 | Fujitsu Limited | Augmented reality method and information processing device |
-
2005
- 2005-03-31 JP JP2005102581A patent/JP2006285475A/en active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008075900A1 (en) * | 2006-12-21 | 2008-06-26 | Moon Key Lee | 3d mouse using camera |
JP2010519866A (en) * | 2007-02-27 | 2010-06-03 | アクセンチュア グローバル サービスィズ ゲーエムベーハー | Device control using video calls |
US8467778B2 (en) | 2007-02-27 | 2013-06-18 | Accenture Global Services Limited | Video call device control |
JP2009064409A (en) * | 2007-03-26 | 2009-03-26 | Avago Technologies Ecbu Ip (Singapore) Pte Ltd | System and method for tracking input device using display screen in captured frames of image data |
FR2925705A1 (en) * | 2007-12-20 | 2009-06-26 | Thomson Licensing Sas | IMAGE CAPTURE ASSISTING DEVICE |
WO2009080639A2 (en) * | 2007-12-20 | 2009-07-02 | Thomson Licensing | Device for helping the capture of images |
WO2009080639A3 (en) * | 2007-12-20 | 2009-10-01 | Thomson Licensing | Device for helping the capture of images |
JP2010136242A (en) * | 2008-12-08 | 2010-06-17 | National Institute Of Advanced Industrial Science & Technology | Digital camera for emphasizing contrast |
CN104272431A (en) * | 2012-07-03 | 2015-01-07 | 东京毅力科创株式会社 | Fabrication equipment monitoring device and monitoring method |
EP2849156A2 (en) | 2013-09-13 | 2015-03-18 | Fujitsu Limited | Augmented reality method and information processing device |
US10078914B2 (en) | 2013-09-13 | 2018-09-18 | Fujitsu Limited | Setting method and information processing device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10095458B2 (en) | Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system | |
CN107251101B (en) | Scene modification for augmented reality using markers with parameters | |
JP2020535509A (en) | Methods, devices and systems for automatically annotating target objects in images | |
JP2006285475A (en) | Interface technology using digital camera function for multi-dimensional digital image composite processing | |
JP6178048B2 (en) | Image processing apparatus, image processing method, and program | |
US20140118396A1 (en) | Image processing device, image processing method, and computer program product | |
WO2013054462A1 (en) | User interface control device, user interface control method, computer program, and integrated circuit | |
EP3262505B1 (en) | Interactive system control apparatus and method | |
CN109218630B (en) | Multimedia information processing method and device, terminal and storage medium | |
KR20120033246A (en) | Image processing apparatus, image processing method, and computer program | |
KR101811042B1 (en) | Method and system for processing composited images | |
US20140085330A1 (en) | Image processing device, image processing method, computer readable medium | |
CN105808035B (en) | Icon display method and device | |
CN108038916B (en) | Augmented reality display method | |
CN111813214A (en) | Virtual content processing method and device, terminal equipment and storage medium | |
KR101638550B1 (en) | Virtual Reality System using of Mixed reality, and thereof implementation method | |
JP6376591B2 (en) | Data output device, data output method, and three-dimensional object manufacturing system | |
JP5048736B2 (en) | Image processing system, image processing method, and image processing program | |
JP6011092B2 (en) | Image processing apparatus, image tone conversion method, and program | |
US20150206282A1 (en) | Image processing device, image processing method, and image processing program | |
US20070040763A1 (en) | Image display system | |
CN112817437B (en) | Colored visual indicia for variable use | |
KR101319260B1 (en) | Apparatus and Method for image restoration, stereo-scopic image conversion apparatus and method usig that | |
EP3714351B1 (en) | Method and head-mounted device for assisting a colorist in color grading a virtual reality video content , and system for color grading a virtual reality video content | |
WO2017147826A1 (en) | Image processing method for use in smart device, and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070803 |