JP2010072840A - Image display method, image display device, and operation device using the same - Google Patents

Image display method, image display device, and operation device using the same Download PDF

Info

Publication number
JP2010072840A
JP2010072840A JP2008238274A JP2008238274A JP2010072840A JP 2010072840 A JP2010072840 A JP 2010072840A JP 2008238274 A JP2008238274 A JP 2008238274A JP 2008238274 A JP2008238274 A JP 2008238274A JP 2010072840 A JP2010072840 A JP 2010072840A
Authority
JP
Japan
Prior art keywords
image
finger
point
wrist
fingertip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008238274A
Other languages
Japanese (ja)
Inventor
Takeshi Kawashima
毅 川島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2008238274A priority Critical patent/JP2010072840A/en
Publication of JP2010072840A publication Critical patent/JP2010072840A/en
Pending legal-status Critical Current

Links

Landscapes

  • Input From Keyboards Or The Like (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image display device surely displaying an image showing an individual finger in a form thinner than that of an original finger image regardless of the state of the original finger image on image data acquired by photographing or the like. <P>SOLUTION: The position of a fingertip portion of the original finger image FI in the acquired image data is specified as an image fingertip point, and a pointer image SF relatively narrower than the original finger image FI is displayed by use of pointer image data different from the image data of the original finger image FI. The original finger image FI is used only for the specification of the pointer position by a user, and the separately prepared pointer image SF is pasted to and displayed on a screen area. According to this, regardless of the state of the original finger image FI on the image data, the pointer image SF showing an individual finger can be surely displayed on a screen in a form thinner than that of the original finger image FI, and incompatibility caused by display of a finger image in an excessively thick form. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、画像表示方法、画像表示装置及びそれを用いた操作装置に関する。   The present invention relates to an image display method, an image display device, and an operation device using the same.

特開２０００−３３５３３０号公報JP 2000-335330 A 特開２０００− ６６８７号公報Japanese Unexamined Patent Publication No. 2000-6687 特開２００４− ２６０４６号公報Japanese Patent Laid-Open No. 2004-26046

従来、カーナビゲーション装置のような車載機器の操作装置として、操作者の手をカメラで撮影し、その撮影データから指画像を抽出し、抽出した指画像域を車載機器のＧＵＩ入力画面（例えば、ナビ画面など）に重畳表示するタイプのものが提案されている。例えば、特許文献１には、車体の天井に取り付けたカメラを用いて、座席手元のスイッチパネルを操作する手の様子を撮影し、撮影した手とスイッチパネルとを、操作者の前方に対向配置された液晶パネルに表示する構成が開示されている。また、特許文献２には、車両のルーフに配置されたビデオカメラを用いてドライバの手を撮影して輪郭抽出し、表示器上のソフトボタンにその輪郭画像を重畳表示する構成が開示されている。さらに、特許文献３には、スイッチマトリックス上の操作ボタンと手とを撮像し、タッチセンサによりスイッチマトリックスに手が近づいたことを検出して、手画像をスーパーインポーズして表示する構成が開示されている。   Conventionally, as an operation device for an in-vehicle device such as a car navigation device, an operator's hand is photographed with a camera, a finger image is extracted from the photographed data, and the extracted finger image area is displayed on a GUI input screen of the in-vehicle device (for example, A type of display that is superimposed on a navigation screen) has been proposed. For example, in Patent Document 1, a camera attached to the ceiling of a vehicle body is used to photograph the state of a hand operating a switch panel at the seat, and the photographed hand and the switch panel are placed opposite to the front of the operator. A configuration for displaying on a liquid crystal panel is disclosed. Patent Document 2 discloses a configuration in which a driver's hand is photographed using a video camera arranged on the roof of a vehicle to extract a contour, and the contour image is superimposed on a soft button on a display. Yes. Furthermore, Patent Document 3 discloses a configuration in which an operation button and a hand on a switch matrix are imaged, a touch sensor detects that the hand has approached the switch matrix, and a hand image is superimposed and displayed. Has been.

上記従来の操作システムにおいては、車両への搭載スペースの節約や、操作時の手指移動量の低減を目的として、操作面寸法の小型化が進んでいる。この場合、次のような問題が生じる。すなわち、操作面と入力画面（画面領域）とは、指による操作面上の入力位置と画面上の指示位置とが幾何学的に対応するよう、一義的な座標関係が定められている。その結果、操作面上で撮影される操作者の手（指）の画像を入力画面上に重畳表示する場合、操作面寸法が画面寸法に対して相対的に縮小すると、手の表示寸法が入力画面上で拡大されてしまい、指が過度に太く表示されて違和感を生ずる問題がある。   In the above-described conventional operation system, the size of the operation surface has been reduced for the purpose of saving the mounting space on the vehicle and reducing the amount of finger movement during operation. In this case, the following problem occurs. That is, the operation surface and the input screen (screen region) have a unique coordinate relationship such that the input position on the operation surface by the finger and the indicated position on the screen correspond geometrically. As a result, when the operator's hand (finger) image captured on the operation surface is displayed superimposed on the input screen, if the operation surface size is reduced relative to the screen size, the hand display size is input. There is a problem that the image is enlarged on the screen, and the finger is displayed excessively thick, causing a sense of incongruity.

図１４は、操作面上に重ね配置されたタッチパネルによる、入力画面１５上のソフトボタンへの仮想的な指操作入力を、画面１５上に重畳表示される手画像ＳＦにより支援する事例を示している。操作面１０２ａは、横幅約１２０ｍｍであり、普通の大人の広げた掌のうち、親指を除く４本の指の全体が包含される程度のサイズとなっている。対応する画面１５にはキーワード入力用上の日本語五十音キーボードが表示されており、上記操作面と手の寸法関係を想定し、指一本の画像幅に対しソフトボタンの配列個数が高々２個程度となるように、個々のボタンの表示寸法及び配列間隔が調整されている。手画像ＳＦの指先部分に対するボタンの密集感がそれほど生じておらず、違和感のない入力が可能となっている。   FIG. 14 shows an example in which a virtual finger operation input to a soft button on the input screen 15 by a touch panel arranged on the operation surface is supported by a hand image SF superimposed on the screen 15. Yes. The operation surface 102a has a width of about 120 mm, and has a size that can accommodate the entire four fingers excluding the thumb among the palm of an ordinary adult. The corresponding screen 15 displays a Japanese syllable keyboard for keyword input, and the number of soft buttons arranged at most with respect to the image width of one finger, assuming the above-mentioned relationship between the operation surface and the hand. The display dimensions and arrangement intervals of the individual buttons are adjusted so that there are about two. The denseness of the buttons with respect to the fingertip portion of the hand image SF does not occur so much, and input without a sense of incongruity is possible.

一方、図１５は、画面１５の寸法を変えずに、操作面１０２ａの横幅を７０ｍｍに小型化した場合の表示例を示すものである。図１４の場合と異なり、操作面１０２ａ上に収まっている指ＦＩの本数は２本程度であり、これが画面１５上に相対的に拡大されて表示される。その結果、指一本の画像幅に対応するソフトボタンの配列個数が３個を超え、手画像ＳＦに対するボタンの密集感が格段に増していることがわかる。これでは、画面上に複数配置されたボタンのどれを操作しているのかが非常にわかりにくく、操作性の悪化は必至であり、狙ったボタンの隣を押し違えたりするといった不具合も当然生じやすくなる。もちろん、入力画面がキーボードではなく、例えばポインタによる位置指定入力が可能な地図画面等であっても、操作性が悪化する事情は全く同じである。   On the other hand, FIG. 15 shows a display example when the width of the operation surface 102a is reduced to 70 mm without changing the dimensions of the screen 15. Unlike the case of FIG. 14, the number of fingers FI that are accommodated on the operation surface 102 a is about two, and these are relatively enlarged and displayed on the screen 15. As a result, it can be seen that the number of soft buttons corresponding to the image width of one finger exceeds three, and the denseness of the buttons with respect to the hand image SF is remarkably increased. This makes it very difficult to understand which of the multiple buttons on the screen is being operated, and it is inevitable that the operability will be deteriorated. Become. Of course, even if the input screen is not a keyboard, for example, a map screen or the like on which a position designation input with a pointer can be performed, the operability is exactly the same.

この場合、指画像に合わせて入力画面の表示内容（例えば前述のソフトボタン等）も拡大することが考えられるが、モニタ寸法を拡大することは、表示装置の大型化や取付レイアウト変更（特に、はめ込み取り付けの場合は、インパネ等、はめ込み先となる内装樹脂成型品の設計変更も余儀なくされる）を招き、コストアップが避けがたい。他方、モニタ寸法を変えずに表示内容のみを拡大すると、それまで１画面に収まっていた入力画面内容の分割やスクロールが必要となり、操作性の悪化や表示アプリケーションの内容変更など、余分な開発工数が必要となる。   In this case, it is conceivable that the display content of the input screen (for example, the above-described soft button) is enlarged in accordance with the finger image. However, the enlargement of the monitor size may increase the size of the display device or change the mounting layout (particularly, In the case of mounting, it is necessary to change the design of the interior resin molded product that is the mounting destination, such as an instrument panel, and it is difficult to avoid an increase in cost. On the other hand, if only the display contents are expanded without changing the monitor dimensions, it will be necessary to divide and scroll the input screen contents that were previously contained in one screen, which will lead to unnecessary development man-hours such as deterioration in operability and changes in display application contents. Is required.

そこで、撮影された指画像を実際よりも細くなるように加工して入力画面に重畳表示す方式が考えられる。このような細指化加工の具体的な方法としては、例えば、画像の収縮処理に基づく方法を例示できる。これは、例えば、二値画像の場合、画面上の閉じた処理対象領域内の全ての画素が同じ値（例えば「１」）に設定されている場合、着目画素と一定の隣接関係にある画素（例えば、左右又は上下の２画素、上下左右の４画素、さらには、斜め隣接する４画素をこれに加えた８画素など）に、着目画素と値が反転関係にある画素が１個でも含まれていれば、当該着目画素の値を反転設定する処理である。こうした条件を満たす画素は通常、領域の輪郭線を構成する画素だから、輪郭線に沿った画素が一律に反転処理されることで、処理対象領域を内側に１画素分だけ一様に収縮させることができる。   Therefore, a method of processing a photographed finger image so as to be thinner than actual and superimposing it on an input screen is conceivable. As a specific method of such a fingering process, for example, a method based on image shrinkage processing can be exemplified. For example, in the case of a binary image, when all the pixels in the closed processing target area on the screen are set to the same value (for example, “1”), the pixel having a certain adjacent relationship with the target pixel (For example, 2 pixels on the left and right or top and bottom, 4 pixels on the top, bottom, left, and right, and 8 pixels including 4 pixels diagonally adjacent to this) includes even one pixel whose value is in an inverted relationship with the pixel of interest. If so, this is a process of inverting the value of the pixel of interest. Since the pixels that satisfy these conditions are usually pixels that form the contour line of the region, the pixels along the contour line are uniformly inverted so that the region to be processed shrinks uniformly by one pixel inside. Can do.

上記のような収縮処理では、図１５のように、互いに分離された指画像が得られる場合は、個々の指を独立して細指化できる。しかし、図１６に示すように、指と指とが密着した状態では、指輪郭のコントラストを形成する背景領域の画素が密着区間で不在となり、当該区間では２本の指が一体の領域として認識されてしまうため、個別の細指化加工ができない問題がある。また、指と指とを分離認識できる輪郭区間が断続的に生ずるような緩い密着状態では、分離認識された輪郭区間でのみ画像収縮が不均一に進む形となり、指の密着区間では両指間に非反転画素領域が橋渡し状に残存して、くっついた部分と離れた部分とが混在した不自然な細指化結果しか得られない問題がある。   In the contraction process as described above, when finger images separated from each other are obtained as shown in FIG. 15, individual fingers can be finely divided independently. However, as shown in FIG. 16, in the state where the fingers are in close contact with each other, the pixels in the background area that form the contrast of the finger outline are absent in the close contact section, and in this section, two fingers are recognized as an integrated area. Therefore, there is a problem that individual fine fingering cannot be performed. In addition, in a loose contact state in which a contour section in which fingers and fingers can be separately recognized is intermittently formed, image shrinkage proceeds non-uniformly only in the separated and recognized contour sections. However, there is a problem that the non-inverted pixel region remains in a bridging manner, and only an unnatural fingering result in which the sticking portion and the distant portion are mixed is obtained.

本発明の課題は、撮影等により取得した画像データ上での原指像の状態とは無関係に、個々の指を示す画像を該原指像よりも細くした形で画面上に確実に表示できる方法及び装置と、それを用いた操作装置とを提供することにある。   An object of the present invention is to reliably display an image showing an individual finger on a screen in a form narrower than the original finger image regardless of the state of the original finger image on image data acquired by photographing or the like. A method and apparatus and an operation apparatus using the method and apparatus are provided.

課題を解決する手段及び発明の効果Means for solving the problems and effects of the invention

上記の課題を解決するために、本発明の画像表示方法は、
人の指の像を原指像として含む画像データを取得し、
画像データ上にて原指像の指先位置を画像指先点として特定し、
表示装置の、画像データとの間に一義的な座標対応関係を有する画面領域において、画像指先点に対応する位置に、原指像よりも相対的に狭幅となる指示体画像を、画像データとは別に用意された指示体画像データに基づいて表示することを特徴とする。 In order to solve the above problems, an image display method of the present invention includes:
Obtain image data that contains the image of a human finger as the original finger image,
Specify the fingertip position of the original finger image as the image fingertip point on the image data,
An indicator image that is relatively narrower than the original finger image at a position corresponding to the image fingertip point in the screen area having a unique coordinate correspondence with the image data of the display device, The display is based on indicator image data prepared separately.

また、本発明の画像表示装置は、
人の指の像を原指像として含む画像データを取得する画像データ取得手段と、
画像データ上にて原指像の指先部分の位置を画像指先点として特定する画像指先点特定手段と、
画像データとの間に一義的な座標対応関係を有する画面領域を備えた表示装置と、
画面領域の画像指先点に対応する位置に、原指像よりも相対的に狭幅となる指示体画像を、画像データとは別に用意された指示体画像データに基づいて表示する指示体画像表示手段と、を備えたことを特徴とする。 Moreover, the image display device of the present invention includes:
Image data acquisition means for acquiring image data including an image of a human finger as an original finger image;
Image fingertip point specifying means for specifying the position of the fingertip portion of the original finger image as the image fingertip point on the image data;
A display device having a screen area having a unique coordinate correspondence with image data;
Indicator image display that displays an indicator image that is relatively narrower than the original finger image at a position corresponding to the image fingertip point of the screen area based on indicator image data prepared separately from the image data Means.

上記本発明によると、取得した画像データにおける原指像の指先部分の位置を画像指先点として特定し、表示装置の画面領域上にてその画像指先点に対応する位置に、原指像よりも相対的に狭幅となる指示体画像を、原指像の画像データとは別の指示体画像データを用いて表示する。すなわち、原指像はあくまでユーザーによる指示位置特定にのみ用い、画面領域上には、別に用意された指示体画像を貼り付け表示する。これにより、画像データ上での原指像の状態とは無関係に、個々の指を示す指示体画像を該原指像よりも細くした形で画面上に確実に表示することができ、ひいては指像が過度に太く表示されることによる違和感の発生を防止することができる。   According to the present invention, the position of the fingertip portion of the original finger image in the acquired image data is specified as the image fingertip point, and the position corresponding to the image fingertip point on the screen area of the display device is greater than the original finger image. The indicator image having a relatively narrow width is displayed using indicator image data different from the image data of the original finger image. That is, the original finger image is used only for specifying the user's designated position, and a separately prepared indicator image is pasted and displayed on the screen area. As a result, regardless of the state of the original finger image on the image data, the indicator image indicating each finger can be reliably displayed on the screen in a form narrower than the original finger image. It is possible to prevent a sense of incongruity caused by the image being displayed excessively thick.

画像指先点特定手段は、画像データに複数本の原指像が含まれている場合に、該複数の原指像について画像指先点を特定するように構成できる。この場合、指示体画像表示手段は、画面領域にて複数の原指像の各画像指先点に対応する位置に、それぞれ指示体画像を表示するものとして構成できる。画像データ上に複数の原指像が表れている場合にも、複数の指示体画像を組み合わせて代替表示することにより、複数の指同士が密着して画像データ上で複数の原指像への分離が困難な場合にも、表示上はその細指化を問題なく図ることができる。   The image fingertip point specifying means can be configured to specify an image fingertip point for the plurality of original finger images when the image data includes a plurality of original finger images. In this case, the indicator image display means can be configured to display the indicator images at positions corresponding to the image fingertip points of the plurality of original finger images in the screen area. Even when a plurality of original finger images appear on the image data, by combining and displaying a plurality of indicator images, a plurality of fingers are brought into close contact with each other, and a plurality of original finger images are displayed on the image data. Even when separation is difficult, it is possible to achieve fine fingering on the display without any problem.

撮影距離規制手段は、手撮影カメラに対し一定の位置関係を充足するように固定配置され、撮影対象となる手を一方の板面側にて支持する透明支持板を有するものとして構成できる。手撮影カメラは、透明支持板の他方の板面側から該透明支持板を介して手を撮影するものとして構成できる。透明支持板上に撮影すべき手を載置することにより、手撮影カメラまでの撮影距離を常に一定に保つことができる。   The photographing distance restricting means can be configured to have a transparent support plate that is fixedly arranged so as to satisfy a certain positional relationship with respect to the hand photographing camera and supports the hand to be photographed on one plate surface side. The hand photographing camera can be configured to photograph a hand from the other plate surface side of the transparent support plate through the transparent support plate. By placing the hand to be photographed on the transparent support plate, the photographing distance to the hand photographing camera can always be kept constant.

この透明支持板は、手撮影カメラの撮影範囲に対応した入力操作面が板面に設定された位置入力装置をなすものとして構成でき、表示装置は、指示体画像により、入力座標系に対応する画面領域上での入力位置を指示表示するものとして構成できる。   The transparent support plate can be configured as a position input device in which the input operation surface corresponding to the photographing range of the hand-photographed camera is set to the plate surface, and the display device corresponds to the input coordinate system by the indicator image. The input position on the screen area can be indicated and displayed.

また、本発明の操作装置は、
操作者の指先によるタッチ操作を一方の板面側にて支持しつつ受け付ける透明入力支持板を有し、画面領域に対応した入力座標系が該透明入力支持板の板面に沿って設定されるとともに、タッチ操作による入力位置を検出してその座標情報を出力する位置入力装置と、
透明入力支持板の他方の板面側から該透明入力支持板を介して、手撮影カメラにより操作者の指を含む手の画像データを撮影取得する画像データ取得手段と、
画像データ上にて指の像である原指像の指先部分の位置を画像指先点として特定する画像指先点特定手段と、
画面領域の画像指先点に対応する位置に、原指像よりも相対的に狭幅となる指示体画像を表示する指示体画像表示手段と、を備えたことを特徴とする。 The operating device of the present invention is
It has a transparent input support plate that accepts a touch operation by the fingertip of the operator while supporting it on one plate surface side, and an input coordinate system corresponding to the screen area is set along the plate surface of the transparent input support plate A position input device that detects an input position by a touch operation and outputs the coordinate information;
Image data acquisition means for capturing and acquiring image data of a hand including an operator's finger from the other plate surface side of the transparent input support plate via the transparent input support plate,
Image fingertip point specifying means for specifying the position of the fingertip portion of the original finger image that is an image of the finger on the image data as an image fingertip point;
An indicator image display means for displaying an indicator image that is relatively narrower than the original finger image is provided at a position corresponding to the image fingertip point of the screen area.

これにより、操作者は、画面上の指示体画像により入力操作面上の指位置を把握でき、画面表示内容に従った入力操作を的確に実施できる。特に、表示装置の画面領域（画面）が操作者に対し、該操作者が入力操作面上の指を直視する向きから外れて配置されている構成（例えば、カーナビゲーションシステム等の車載用電子機器の操作装置の場合、操作者の着座する座席の左右脇（ないしその斜め前方）に入力操作面が配置され、表示装置の画面が該入力操作面よりも上方にて、操作者の前方ないし斜め前方に対向配置される構成）では、操作を行なう手元と画面との双方を同時に直視できないので、操作者は画面上の指示体画像は手元操作位置を把握するための唯一の情報源となる。そして、本発明の採用により、入力操作面（手撮影カメラの撮影範囲）の面積が画面領域の面積に対して相対的に縮小された構成においても、撮影された原指像がそのまま太く拡大表示されて操作性に支障をきたす課題を、効果的に解決することができる。   Thereby, the operator can grasp the finger position on the input operation surface from the indicator image on the screen, and can accurately perform the input operation according to the screen display content. In particular, a configuration in which the screen area (screen) of the display device is arranged with respect to the operator so as to be out of the direction in which the operator directly looks at the finger on the input operation surface (for example, an in-vehicle electronic device such as a car navigation system) In this case, the input operation surface is disposed on the left and right sides (or diagonally forward) of the seat on which the operator is seated, and the screen of the display device is above the input operation surface and forward or diagonally to the operator. In the configuration facing the front), both the hand performing the operation and the screen cannot be directly viewed at the same time. Therefore, the indicator image on the screen is the only information source for grasping the hand operation position. Further, by adopting the present invention, even in a configuration in which the area of the input operation surface (shooting range of the hand-held camera) is reduced relative to the area of the screen area, the photographed original finger image is enlarged and displayed as it is. Thus, it is possible to effectively solve the problems that hinder operability.

表示装置は、位置入力装置の入力操作面上に設定されたボタン操作領域に対応するソフトボタン画像を、画面領域の対応する座標位置に表示するものとして構成できる。本発明の採用により、太く拡大された原指像によるソフトボタンの指示位置が不明確となる不具合を効果的に解消することができる。例えば、画像データ上の原指像を、画面領域上の対応する位置に座標上の寸法を保存しつつ仮想的に投影したとき、該原指像の仮想投影領域に対しソフトボタン画像が、指幅方向に複数包含される寸法ならびに配列間隔にて表示形成される構成を採用することができる。本発明では、画面上に表示されるのが原指像よりも狭幅化された指示体画像であるから、指示体画像と重なるソフトボタンの配列個数が、原指像をそのまま採用する場合と比較して減じられ、指示体画像先端近傍のボタンの密集感が軽減され、画面上に複数配置されたソフトボタンのどれを操作しているのかを容易に把握できる。その結果、狙ったボタンの隣を押し違えたりするといった不具合も生じにくくなり、操作性が格段に向上する。   The display device can be configured to display a soft button image corresponding to the button operation area set on the input operation surface of the position input device at a corresponding coordinate position in the screen area. By adopting the present invention, it is possible to effectively solve the problem that the position of the soft button indicated by the thickly enlarged original finger image is unclear. For example, when the original finger image on the image data is virtually projected while saving the coordinate dimension at the corresponding position on the screen area, the soft button image is displayed in the finger width direction on the virtual projection area of the original finger image. It is possible to adopt a configuration in which a plurality of dimensions are included in the display area and the arrangement interval. In the present invention, since the indicator image narrower than the original finger image is displayed on the screen, the number of soft buttons overlapping the indicator image adopts the original finger image as it is. Compared to this, the density of the buttons near the tip of the indicator image is reduced, and it is possible to easily grasp which of a plurality of soft buttons arranged on the screen is being operated. As a result, it is less likely to cause a problem such as pressing the button next to the target button, and the operability is greatly improved.

本発明では、原指像とはデータ的に無関係な指示体画像を画面領域に対し、原指像から特定される画像指先点に、いわば後付けで貼り込む構成なので、指先位置のほかに指の方向を情報として特定する必要がある。これを前提に、指示体画像表示手段は、例えば、画面領域への指示体画像の表示位置を規定する表示座標平面上に指方向規定点を設定する指方向規定点設定手段と、設定された指方向規定点と画像指先点とに基づいて指示体画像の配置方向を決定する指示体配置方向決定手段とを備え、指示体画像の先端部の位置が画像指先点と一致し、かつ、決定された配置方向に該指示体画像の長手方向が沿うように、該指示体画像を画面領域上に表示するものとして構成することができる。指先端位置以外に、指長手方向の存在する別の一点を指方向規定点として指定することで、両点を結ぶ直線（以下、指直線ともいう）を指示体画像の配置方向として簡便かつ一義的に決定することができる。   In the present invention, since the indicator image that is not data-related to the original finger image is pasted to the image fingertip point specified from the original finger image on the screen area, so to speak, the finger image is placed in addition to the fingertip position. It is necessary to specify the direction as information. On the premise of this, the indicator image display means is set with, for example, a finger direction specified point setting means for setting a finger direction specified point on a display coordinate plane that specifies the display position of the indicator image on the screen area. An indicator arrangement direction determining means for determining the arrangement direction of the indicator image based on the finger direction prescribed point and the image fingertip point, and the position of the tip of the indicator image coincides with the image fingertip point and is determined The indicator image can be configured to be displayed on the screen area so that the longitudinal direction of the indicator image is along the arranged direction. In addition to the finger tip position, another point in the longitudinal direction of the finger is designated as the finger direction defining point, so that a straight line connecting the two points (hereinafter also referred to as a finger straight line) is simple and unambiguous as the indicator image arrangement direction. Can be determined.

手の各指骨は手首関節に向けて収束する形態に配列しているから、この手首に相当する位置を指方向規定点として利用することにより、指示体画像（特に、模擬指画像や実指画像）を、実際の手に近いリアルな形態で配置できる利点がある。カメラ等により取得される手の画像データは、掌の指先側をなす一部分なので、指方向規定点設定手段は、指方向規定点を、手首位置を想定した手首規定点として画面領域外に設定するように構成すればよい。操作装置として本発明の画像表示装置を活用する場合は、操作者は撮影領域に対して手前側から手を伸ばし入れる操作形態となるのが通常だから、画面領域にが、指を含む掌の画像が、該画面領域の下側に手首位置が外れる位置関係にて表示されることになる。   Since the phalanges of the hand are arranged in a form that converges toward the wrist joint, a pointer image (particularly, a simulated finger image or a real finger image) can be obtained by using a position corresponding to the wrist as a finger direction regulation point. ) Can be arranged in a realistic form close to the actual hand. Since the image data of the hand acquired by a camera or the like is a part of the fingertip side of the palm, the finger direction specified point setting means sets the finger direction specified point outside the screen area as the wrist specified point assuming the wrist position. What is necessary is just to comprise. When the image display device of the present invention is used as an operation device, an operator usually extends the hand from the near side to the imaging region, so that the screen region includes a palm image including a finger. However, it is displayed in a positional relationship in which the wrist position deviates from the lower side of the screen area.

この場合、方向規定点設定手段は、表示座標平面上にて画面領域の上下方向（垂直方向）をＹ方向とし、これと直交する方向（左右方向ないし水平方向）をＸ方向として、Ｙ方向にて画面領域の下縁から一定長下側に離間した位置に手首規定点を設定することができる。この方法は、画面上の画像指先点の位置座標とは無関係に、手首規定点のＹ方向位置を画面領域の下縁を基準として固定的に定めるので、手首規定点の決定アルゴリズムを簡略化できる利点がある。また、上記手首規定点から見て実際の操作者の手寸法と整合した画面上の所定範囲内に画像指先点が存在する場合には、指示体画像の配置方向にかかるリアリティも比較的良好に確保できる。   In this case, the direction defining point setting means sets the vertical direction (vertical direction) of the screen area on the display coordinate plane as the Y direction, and the direction orthogonal to the vertical direction (left or right direction or horizontal direction) as the X direction. Thus, the wrist reference point can be set at a position spaced apart from the lower edge of the screen area by a predetermined length. In this method, the Y-direction position of the wrist prescribed point is fixedly set with reference to the lower edge of the screen area irrespective of the position coordinates of the image fingertip point on the screen, so that the algorithm for determining the wrist prescribed point can be simplified. There are advantages. In addition, when the image fingertip point exists within a predetermined range on the screen that matches the actual hand size of the operator as viewed from the wrist specified point, the reality in the arrangement direction of the indicator image is relatively good. It can be secured.

しかし、Ｙ方向の入力位置が大きく変化しうる入力画面（例えばキーボード画面や地図画面など）が採用されている場合は、手首位置もＹ方向に大きく変動しうるので、表示座標平面上にて手首規定点を、特定された画像指先点と予め定められた位置関係を有するものとなるように設定するよう、指方向規定点設定手段を構成することが、指示体画像の配置方向のリアリティを高める上で望ましい。具体的には、画面領域に指を含む掌の画像を、該画面領域の下側に手首位置が外れる位置関係にて表示する前提にて、指方向規定点設定手段を、表示座標平面上にて画面領域の上下方向をＹ方向とし、これと直交する方向をＸ方向として、Ｙ方向にて画面領域内に特定された画像指先点から一定長下側に離間した位置に手首規定点を設定するとよい。   However, when an input screen (for example, a keyboard screen or a map screen) in which the input position in the Y direction can be changed greatly is adopted, the wrist position can also change greatly in the Y direction, so the wrist on the display coordinate plane can be changed. Configuring the finger direction prescribed point setting means to set the prescribed point so as to have a predetermined positional relationship with the specified image fingertip point increases the reality of the arrangement direction of the indicator image Desirable above. Specifically, on the premise that a palm image including a finger in the screen area is displayed in a positional relationship where the wrist position is deviated below the screen area, the finger direction specified point setting means is placed on the display coordinate plane. The wrist reference point is set at a position that is a certain distance downward from the image fingertip point specified in the screen area in the Y direction, where the vertical direction of the screen area is the Y direction and the direction perpendicular to the Y direction is the X direction. Good.

例えば座席への着座状態のように体の位置が固定となる場合において、入力操作面内で操作位置を変更する際の操作者の手及び腕の動きを分析すると、Ｘ方向に指先を移動する場合は、操作者の癖によっても多少の違いはあるが、肘関節の動きは比較的小さく、掌を、該掌の中央付近に位置する軸線周りに回転させる感覚で指先を移動させる動きが主体的となることが多く、指方向角度も該掌の回転角度ひいては画像指先点のＸ座標に応じて変化することになる。   For example, when the position of the body is fixed as in the seated state in the seat, if the movement of the operator's hand and arm when changing the operation position within the input operation surface is analyzed, the fingertip is moved in the X direction. In this case, there is a slight difference depending on the operator's heel, but the movement of the elbow joint is relatively small, and the movement of the fingertip is mainly performed as if the palm is rotated around an axis located near the center of the palm. The finger direction angle also changes in accordance with the rotation angle of the palm and the X coordinate of the image fingertip point.

従って、前述の指方向規定点設定手段は、画像指先点のＸ座標に応じて、指方向を決める手首規定点のＸ座標が変化するように該手首規定点を変更設定するように構成すると、指示体画像の配置方向にかかるリアリティをさらに高めることができる。例えば、画面領域の下方に（基準手首位置を示す）基準手首規定点を固定的に定め、指方向規定点設定手段を、原指像のＹ方向に対する傾斜角度が大きくなるほど、基準手首規定点からのＸ方向への変位量が大きくなるように手首規定点のＸ座標値を決定するものとして構成すると、Ｘ方向への手の操作移動形態をよりリアルに模写した指示体画像表示が可能となる。   Therefore, the above-described finger direction specified point setting means is configured to change and set the wrist specified point so that the X coordinate of the wrist specified point that determines the finger direction changes according to the X coordinate of the image fingertip point. The reality concerning the arrangement direction of the indicator image can be further enhanced. For example, a reference wrist prescribed point (indicating the reference wrist position) is fixedly defined below the screen area, and the finger direction prescribed point setting means is moved from the reference wrist prescribed point as the inclination angle of the original finger image with respect to the Y direction increases. If the X coordinate value of the wrist specified point is determined so as to increase the amount of displacement in the X direction, it is possible to display a pointer image that more realistically replicates the hand movement pattern in the X direction. .

上記のごとく、回転中心が掌の内側に存在する想定では、指先がＸ方向へ回転移動するに伴い、手首位置はその逆方向に回転移動することになる。従って、方向に対し右上がり形態に傾斜している原指像については、Ｘ方向にて基準手首規定点に対し左側に変位するように手首規定点のＸ座標値を決定し、Ｙ方向に対し左上がり形態に傾斜している原指像については、Ｘ方向にて基準手首規定点に対し右側に変位するように手首規定点のＸ座標値を決定するように、指方向規定点設定手段を構成するのが妥当である。   As described above, assuming that the center of rotation exists inside the palm, as the fingertip rotates in the X direction, the wrist position rotates in the opposite direction. Therefore, for the original finger image that is inclined to the right with respect to the direction, the X coordinate value of the wrist prescribed point is determined so as to be displaced to the left with respect to the reference wrist prescribed point in the X direction. For the original finger image that is inclined to the left upward form, the finger direction specified point setting means is set so as to determine the X coordinate value of the wrist specified point so as to be displaced to the right with respect to the reference wrist specified point in the X direction. It is reasonable to configure.

次に、画像指先点が画面領域上に複数特定される場合には、指方向規定点設定手段は、各画像指先点について共通の手首規定点を決定するものとして構成できる。これは各指の方向が手首側の一点に収束するという前提での、手首規定点決定にかかる近似アルゴリズムであり、複数の指示体画像の配置方向を比較的簡単に決定できる利点がある。この場合、指方向規定点設定手段は、画面領域上にてＹ方向における最も上側に画像指先点が位置する原指像を代表原指像として用い、該代表原指像のＹ方向に対する傾斜角度が大きくなるほど、基準手首規定点からのＸ方向への変位量が大きくなるように手首規定点のＸ座標値を決定するように構成することができる。   Next, when a plurality of image fingertip points are specified on the screen area, the finger direction specified point setting means can be configured to determine a common wrist specified point for each image fingertip point. This is an approximate algorithm for determining the wrist specified point on the premise that the direction of each finger converges to one point on the wrist side, and has an advantage that the arrangement directions of a plurality of indicator images can be determined relatively easily. In this case, the finger direction specified point setting means uses the original finger image in which the image fingertip point is located on the uppermost side in the Y direction on the screen area as the representative original finger image, and the inclination angle of the representative original finger image with respect to the Y direction The X coordinate value of the wrist specified point can be determined so that the amount of displacement in the X direction from the reference wrist specified point increases as the value of.

一方、実際の人の手では、各指骨は手首位置でも当然個別の幅を有しており、手首関節に対しＸ方向に互いに異なる位置に接続することとなる。従って、画像指先点が画面領域上に複数特定される場合は、指方向規定点設定手段を、手首規定点を各画像指先点について独立に決定するとともに、指示体画像の配置方向を、各画像指先点について対応する手首規定点を用いて決定するように構成することができる。この構成では、手首規定点を指毎に別々に決定しなければならないが、指示体画像の配置方向を、実際の手形態により忠実に反映した形で決定することが可能である。   On the other hand, in an actual human hand, each phalange naturally has an individual width even at the wrist position, and is connected to different positions in the X direction with respect to the wrist joint. Therefore, when a plurality of image fingertip points are specified on the screen area, the finger direction specified point setting means determines the wrist specified point independently for each image fingertip point, and the arrangement direction of the indicator image is determined for each image. The fingertip point can be determined using the corresponding wrist prescribed point. In this configuration, the wrist prescribed point must be determined separately for each finger, but the arrangement direction of the indicator image can be determined in a form that faithfully reflects the actual hand form.

具体的には、指方向規定点設定手段は、基準手首規定点よりもＸ方向右側に位置している画像指先点については、手首規定点のＸ座標を基準手首規定点よりも右側に設定し、基準手首規定点よりもＸ方向左側に位置している画像指先点については、手首規定点のＸ座標を基準手首規定点よりも左側に設定するように構成できる。この場合、基準手首規定点に対するＸ方向変位の大きい画像指先点ほど、基準手首規定点からのＸ方向への変位が大きくなるように手首規定点を設定すれば、実際の手形態への近似度をより高めることができる。   Specifically, the finger direction specified point setting means sets the X coordinate of the wrist specified point to the right of the reference wrist specified point for the image fingertip point that is located to the right of the reference wrist specified point in the X direction. For the image fingertip point located on the left side in the X direction from the reference wrist specified point, the X coordinate of the wrist specified point can be set to the left of the reference wrist specified point. In this case, if the wrist prescribed point is set so that the image fingertip point having a larger X-direction displacement with respect to the reference wrist prescribed point has a larger displacement in the X direction from the reference wrist prescribed point, the degree of approximation to the actual hand shape Can be further enhanced.

以下、本発明の実施の形態を、図面を用いて説明する。
図１は、本発明の画像表示装置の適用対象となる、車載用電子機器の操作装置の一例を示すものである。この操作装置１は、自動車の車室内において、インパネ中央部にモニタ（表示装置）１５が配置され、センターコンソールＣの、運転席２Ｄ及び助手席２Ｐのいずれからも操作可能な位置に操作部１２が配置されている。使用目的は特には限定されないが、例えばセンターコンソールに設けられたモニタ１５の画面を見ながら、カーナビゲーション装置やカーオーディオ装置の機能操作を行なうためのものである。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 shows an example of an operating device for an in-vehicle electronic device to which the image display device of the present invention is applied. The operation device 1 has a monitor (display device) 15 disposed in the center of the instrument panel in the interior of the automobile, and the operation unit 12 is located at a position where the center console C can be operated from either the driver seat 2D or the passenger seat 2P. Is arranged. Although the purpose of use is not particularly limited, for example, it is for performing functional operations of the car navigation device and the car audio device while looking at the screen of the monitor 15 provided in the center console.

操作部１２は、入力操作面が上向きとなるように取り付けられている。該入力操作面を形成するのは周知のタッチパネル１２ａであり、抵抗膜方式、表面弾性波方式あるいは静電容量方式のいずれを採用してもよい。タッチパネル１２ａは、その基材が透明樹脂板あるいはガラス板等により透明入力支持板として構成され、操作者の指先によるタッチ操作を上面側にて支持しつつ受け付ける。そして、モニタ１５の画面領域に対応した入力座標系が板面に沿って設定される。   The operation unit 12 is attached so that the input operation surface faces upward. The input operation surface is formed by a known touch panel 12a, and any of a resistive film method, a surface acoustic wave method, and a capacitance method may be adopted. The base material of the touch panel 12a is a transparent input support plate made of a transparent resin plate, a glass plate, or the like, and accepts a touch operation by the operator's fingertip while supporting it on the upper surface side. Then, an input coordinate system corresponding to the screen area of the monitor 15 is set along the plate surface.

図２は、入力部１２の内部構造を模式的に示す断面図であり、筐体１２２ｅの上面に前述のタッチパネル１２ａが、入力操作面１０２ａ側が上となるように嵌め込まれている。筐体１２ｄの内部には、照明光源１２ｃ及び撮影光学系とともに手撮影カメラ１２ｂが収容されており、画像データ取得手段を構成している。照明光源１２ｃは、凸曲面形態のモールドにより素子直上側への輝度指向性を高めた発光ダイオード光源（従って、単色光源である）であり、タッチパネル１２ａの下面を取り囲む形態で複数配置されている。各照明光源１２ｃは、高輝度となるモールド先端側をタッチパネル１２ａの下面内側に向けそれぞれ傾けて取り付けてあり、入力操作面１０２ａ上の操作者の手Ｈの掌面による一次撮像反射光ＲＢ１が、タッチパネル１２ａを透過する形で下向きに生ずるようになっている。   FIG. 2 is a cross-sectional view schematically showing the internal structure of the input unit 12. The above-described touch panel 12a is fitted on the upper surface of the housing 122e so that the input operation surface 102a side is up. In the housing 12d, a hand photographic camera 12b is housed together with an illumination light source 12c and a photographic optical system, and constitutes an image data acquisition unit. The illumination light source 12c is a light emitting diode light source (ie, a monochromatic light source) having a luminance directivity directly above the element by a convex curved mold, and a plurality of illumination light sources 12c are arranged so as to surround the lower surface of the touch panel 12a. Each illumination light source 12c is attached by tilting the mold front end side with high brightness toward the inside of the lower surface of the touch panel 12a, and the primary imaging reflected light RB1 by the palm surface of the operator's hand H on the input operation surface 102a is It is generated in a downward direction so as to pass through the touch panel 12a.

撮影光学系は、第一反射部１２ｐと第二反射部１２ｒとを有する。第一反射部１２ｐは、タッチパネル１２ａの直下に対向配置されたプリズム板（三角柱状の微小プリズムを面内に並列に配置した透明材料板：以下、プリズム板１２ｐともいう）であり、操作者の手Ｈからの一次撮像反射光ＲＢ１を斜め上方に反射することにより、該プリズム板１２ｐとタッチパネル１２ａとの対向空間１２ｆの側方外側へ二次撮像反射光ＲＢ２として導く。第二反射部１２ｒは上記対向空間の側方外側に配置された平面反射鏡（以下、平面反射鏡１２ｒともいう）であり、上記二次撮像反射光ＲＢ２を側方へ反射することにより、対向空間１２ｆを挟んで第二反射部１２ｒの反対側に位置する手撮影カメラ１２ｂに対し三次撮像反射光ＲＢ３として導く。手撮影カメラ１２ｂは該三次撮像反射光ＲＢ３の焦点に対応する位置に設けられ、操作者の指を含む手Ｈの画像データを撮影取得する。   The photographing optical system has a first reflecting portion 12p and a second reflecting portion 12r. The first reflecting portion 12p is a prism plate (transparent material plate in which triangular prism-shaped microprisms are arranged in parallel in the plane: hereinafter also referred to as a prism plate 12p) and is disposed directly below the touch panel 12a. By reflecting the primary imaging reflected light RB1 from the hand H obliquely upward, it is guided as the secondary imaging reflected light RB2 to the lateral outside of the facing space 12f between the prism plate 12p and the touch panel 12a. The second reflecting portion 12r is a plane reflecting mirror (hereinafter also referred to as a plane reflecting mirror 12r) disposed on the lateral side outside the facing space, and reflects the secondary imaging reflected light RB2 to the side, thereby The light is guided as the tertiary imaging reflected light RB3 to the hand photographing camera 12b located on the opposite side of the second reflecting portion 12r across the space 12f. The hand photographing camera 12b is provided at a position corresponding to the focal point of the tertiary imaging reflected light RB3, and captures and acquires image data of the hand H including the operator's finger.

プリズム板１２ｐは、図２内に拡大して示すように、ミラー基面ＭＢＰに対しそれぞれ等角度で傾斜する反射面を有したリブ状の微小プリズムを、ミラー基面ＭＢＰに沿って互いに平行となるように密接形成したものであり、ミラー基面ＭＢＰを傾けずとも、その法線方向に入射する光を（斜め）側方へ反射することができる。従って、側方反射のための第一反射部１２ｐをタッチパネル１２ａの下方に平行対向する形で配置でき、対向空間１２ｆの高さ方向寸法を大幅に縮小できる。   As shown in an enlarged view in FIG. 2, the prism plate 12 p is formed of rib-shaped microprisms each having a reflecting surface inclined at an equal angle with respect to the mirror base surface MBP and parallel to each other along the mirror base surface MBP. Even if the mirror base surface MBP is not inclined, the light incident in the normal direction can be reflected to the (oblique) side. Accordingly, the first reflecting portion 12p for side reflection can be disposed in parallel with the lower side of the touch panel 12a, and the height direction dimension of the facing space 12f can be greatly reduced.

また、その対向空間１２ｆを側方から挟んで第二反射部１２ｒと手撮影カメラ１２ｂとを対向配置することで、手撮影カメラ１２ｂに直接入射する三次撮像反射光ＲＢを、対向空間１２ｆを横切る形で導くことができる。これにより、第二反射部１２ｒと手撮影カメラ１２ｂとを、タッチパネル１２ａの側縁に近接配置でき、かつ、手Ｈから手撮影カメラ１２ｂへの撮像反射光の入射経路が、対向空間１２ｆ内でいわば三つ折状に畳み込まれる形になるので、撮像光学系全体の大幅なコンパクト化と、筐体１２ｄの薄型化とが実現されている。特に、タッチパネル１２ａのサイズ（つまり、入力操作面１０２ａの縦横寸法）を縮小することで、入力部１２全体の劇的な小形化及び薄型化が実現し、図１のセンターコンソール部Ｃの幅が比較的小さい車両や、シフトレーバー前方の限られた取付スペースしか活用できない車両にも問題なく取り付けが可能となる。   In addition, the second reflecting portion 12r and the hand photographic camera 12b are disposed facing each other with the opposing space 12f sandwiched from the side, so that the tertiary imaging reflected light RB that directly enters the hand photographic camera 12b crosses the opposing space 12f. Can be guided in shape. As a result, the second reflecting portion 12r and the hand photographing camera 12b can be disposed close to the side edge of the touch panel 12a, and the incident path of the imaging reflected light from the hand H to the hand photographing camera 12b is within the facing space 12f. In other words, since it is folded into a three-fold shape, the entire imaging optical system is greatly reduced in size and the casing 12d is made thinner. In particular, by reducing the size of the touch panel 12a (that is, the vertical and horizontal dimensions of the input operation surface 102a), the entire input unit 12 can be dramatically reduced in size and thickness, and the width of the center console unit C in FIG. It can be mounted on a relatively small vehicle or a vehicle that can utilize only a limited installation space in front of the shift lever.

上記の光学系では、撮像光は手撮影カメラ１２ｂに入射するまでに奇数回（手Ｈ、第一反射部１２ｐ及び第二反射部１２ｒ）の反射を繰り返す。手Ｈは掌面側から撮影されるので、手撮影カメラ１２ｂが取得する画像データ上には、掌面側から見た手Ｈを鏡映反転した形で手像が表れる。この手像の輪郭線は、手Ｈを甲側から見た場合の輪郭線と一致するから、結局、手撮影カメラ１２ｂが取得する画像データは、特に鏡映反転処理することなくモニタ１５への表示用に活用することができる。   In the optical system described above, the imaging light is repeatedly reflected an odd number of times (hand H, first reflecting portion 12p, and second reflecting portion 12r) before entering the hand photographing camera 12b. Since the hand H is photographed from the palm surface side, a hand image appears in the image data acquired by the hand photographing camera 12b in the form of mirror reversal of the hand H viewed from the palm surface side. Since the contour line of the hand image coincides with the contour line when the hand H is viewed from the back side, the image data acquired by the hand-capturing camera 12b is eventually sent to the monitor 15 without performing mirror reversal processing. Can be used for display.

タッチパネル１２の入力操作面１０２ａは、手撮影カメラ１２ｂの撮影範囲１０２ｂに対応しており、平均的な寸法の大人の手を想定した場合に、中指の指先端を含む長手方向の一部のみが入力操作面１０２ａ内に入るように、その上下方向（Ｙ方向）寸法が定められている（例えば、６０〜９０ｍｍ（具体例として７５ｍｍ））。これにより、モニタ１５の画面領域には、指の付け根よりも先の部分だけが表示されることになるので、指以外の掌部分の形状が表示に関与せず、指示体画像を用いた後述の表示処理の大幅な簡略化を図ることができる。また、入力操作面１０２ａの左右方向（Ｘ方向）寸法は１１０〜１３０ｍｍ（例えば、１２０ｍｍ）であり、手を乗せて各指を大きく開いた状態では、人差し指、中指、薬指及び小指が撮影範囲内となり、親指が撮影範囲外となっている。ただし、各指を適当に閉じれば全ての指を撮影範囲内に収めることも可能である。   The input operation surface 102a of the touch panel 12 corresponds to the photographing range 102b of the hand photographing camera 12b, and when assuming an average hand of an adult, only a part of the longitudinal direction including the tip of the middle finger is included. The vertical direction (Y direction) dimension is determined so as to enter the input operation surface 102a (for example, 60 to 90 mm (as a specific example, 75 mm)). As a result, only the portion ahead of the base of the finger is displayed in the screen area of the monitor 15, so that the shape of the palm portion other than the finger is not involved in the display, and will be described later using the indicator image. The display process can be greatly simplified. In addition, the horizontal dimension (X direction) of the input operation surface 102a is 110 to 130 mm (for example, 120 mm), and the index finger, middle finger, ring finger, and little finger are within the imaging range when a hand is put on and each finger is wide open. The thumb is out of the shooting range. However, it is also possible to keep all fingers within the imaging range if each finger is properly closed.

図３は、操作装置１の電気的構成を示すブロック図である。操作装置１の制御主体をなすのは操作ＥＣＵ１０である。該操作ＥＣＵ１０は、ＣＰＵ１０１を主体とするコンピュータハードウェア基板として構成され、具体的には、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、グラフィックコントローラ１１０、ビデオインターフェース１１２、タッチパネルインターフェース１１４、汎用入出力部１０４及びシリアル通信インターフェース１１６が内部バス１０５により相互接続された構造を有する。グラフィックコントローラ１１０には表示用ビデオＲＡＭ１１１及びモニタ１５が、ビデオインターフェース１１２には撮影用ビデオＲＡＭ１１３及び手撮影カメラ１２ｂが、タッチパネルインターフェース１１４にはタッチパネル１２ａが、そして、汎用入出力部１０４にはドライバ（駆動回路）１１５を介して照明光源１２ｃがそれぞれ接続されている。また、シリアル通信インターフェース１１６には、ＣＡＮ通信バスなどの車載用シリアル通信バス３０が接続され、これにネットワーク接続された他のＥＣＵ、具体的にはカーナビゲーション装置の制御を司るナビＥＣＵ２００と相互通信可能とされている。   FIG. 3 is a block diagram showing an electrical configuration of the controller device 1. It is the operation ECU 10 that controls the operation device 1. The operation ECU 10 is configured as a computer hardware board mainly composed of the CPU 101. Specifically, the CPU 101, the RAM 102, the ROM 103, the graphic controller 110, the video interface 112, the touch panel interface 114, the general-purpose input / output unit 104, and the serial communication interface. 116 has a structure interconnected by an internal bus 105. The graphic controller 110 includes a display video RAM 111 and a monitor 15, the video interface 112 includes a shooting video RAM 113 and a hand shooting camera 12 b, the touch panel interface 114 includes a touch panel 12 a, and the general-purpose input / output unit 104 includes a driver ( The illumination light source 12c is connected via a drive circuit 115. The serial communication interface 116 is connected to an in-vehicle serial communication bus 30 such as a CAN communication bus, and communicates with other ECUs connected to the network, specifically, a navigation ECU 200 that controls the car navigation device. It is possible.

ビデオインターフェース１１２には、手撮影カメラ１２ｂが撮影取得するアナログもしくはデジタルの映像信号が継続的に入力されるとともに、撮影用ビデオＲＡＭ１１３内に画像フレームデータとして、所定の時間間隔で取り込まれる。撮影用ビデオＲＡＭ１１３の記憶内容は、新しい画像フレームデータが取り込まれる毎に随時更新される。   The video interface 112 continuously receives an analog or digital video signal captured and acquired by the hand photographic camera 12b, and is captured as image frame data in the photographic video RAM 113 at predetermined time intervals. The content stored in the video RAM 113 for shooting is updated whenever new image frame data is fetched.

グラフィックコントローラ１１０は、通信インターフェース１１６を介してナビＥＣＵ２００から入力画面画像フレームデータを取得するとともに、ＣＰＵ１０１側からは指示体画像が所定位置に張り込まれた指示体画像フレームデータを取得し、表示用ビデオＲＡＭ１１１上にて周知のアルファブレンディング処理等によりフレーム合成し、モニタ１５に出力する。   The graphic controller 110 acquires the input screen image frame data from the navigation ECU 200 via the communication interface 116, and also acquires the indicator image frame data in which the indicator image is pasted at a predetermined position from the CPU 101 side. Frame synthesis is performed on the video RAM 111 by a known alpha blending process or the like, and the result is output to the monitor 15.

タッチパネルインターフェース１１４は、タッチパネル１２ａの方式に応じた固有の駆動回路を有するとともに、タッチパネル１２ａからの信号入力状態に基づいて、入力操作面１０２ａへのタッチ操作による入力位置を検出し、その検出結果を位置入力座標情報として出力する。   The touch panel interface 114 has a unique drive circuit corresponding to the method of the touch panel 12a, detects an input position by a touch operation on the input operation surface 102a based on a signal input state from the touch panel 12a, and displays the detection result. Output as position input coordinate information.

なお、手撮影カメラ１２ｂの撮影範囲（撮影視野；ひいては、該手撮影カメラ１２ｂにより撮影取得される画像データ）、タッチパネル１２ｂの操作入力面、モニタ１５の画面領域（ひいては、その表示内容を決定する入力画面画像フレームデータ及び指示体画像フレームデータ）には、二次元座標対応関係が一義的に定められている。   It is to be noted that the photographing range of the hand photographic camera 12b (photographing field of view; as a result, image data photographed and acquired by the hand photographic camera 12b), the operation input surface of the touch panel 12b, and the screen area of the monitor 15 (and its display contents are determined). In the input screen image frame data and the indicator image frame data), a two-dimensional coordinate correspondence is uniquely defined.

また、ＲＯＭ１０３には、ＣＰＵ１０１が実行する以下のようなソフトウェアが格納されている。これにより、ＣＰＵ１０１は、画像指先点特定手段、指方向規定点設定手段及び指示体配置方向決定手段として機能する。
・タッチパネル制御ソフトウェア１０３ａ：タッチパネルインターフェース１１４から入力位置座標を取得し、入力画面画像フレームデータとともにナビＥＣＵ２００から送られてくる、操作入力内容の判定参照情報（例えば、ソフトボタンの領域特定情報や、当該ソフトボタンがタッチ操作されたときに出力するべき操作コマンド内容等の情報を含む）を取得する。そして、該入力位置座標と取得した判定参照情報とに基づいて現在の操作入力内容を特定し、ナビＥＣＵ２００に対して対応する操作コマンドの実行指令出力を行なう。 The ROM 103 stores the following software executed by the CPU 101. Thereby, the CPU 101 functions as an image fingertip point specifying unit, a finger direction specified point setting unit, and a pointer arrangement direction determining unit.
Touch panel control software 103a: The input position coordinates are acquired from the touch panel interface 114, and the operation reference content determination reference information (for example, soft button region specifying information or the related information sent from the navigation ECU 200 together with the input screen image frame data) Information including operation command contents to be output when the soft button is touched. Then, the current operation input content is specified based on the input position coordinates and the acquired determination reference information, and a corresponding operation command execution command is output to the navigation ECU 200.

・表示制御ソフトウェア１０３ｂ：グラフィックコントローラ１１０への入力画面画像フレームデータの取り込み指令を行なうとともに、後述の方法により作成した指示体画像フレームデータをグラフィックコントローラ１１０へ転送する。
・画像指先点演算ソフトウェア１０３ｃ：手撮影カメラ１２ｂが撮影した操作者の手の画像データを二値化し、その原指像の指先位置を画像指先点として特定する演算を行なう（なお、手の画像データの二値化処理は、ビデオインターフェースの出力段に画素の二値化回路を組み込んで事前に行なうようにしてもよい）。
・指示体画像合成ソフトウェア１０３ｄ：指示体画像データ１０３ｅに基づいて作成した指示体画像を、その指先位置が画像指先点と一致するように、指示体画像フレーム上に貼り付ける処理を行なう。 Display control software 103b: Instructs the graphic controller 110 to input input screen image frame data, and transfers indicator image frame data created by a method described later to the graphic controller 110.
Image fingertip point calculation software 103c: binarizes the image data of the operator's hand photographed by the hand photographic camera 12b, and performs calculation to specify the fingertip position of the original finger image as the image fingertip point (note that the image of the hand Data binarization processing may be performed in advance by incorporating a pixel binarization circuit in the output stage of the video interface).
Indicator image composition software 103d: A process of pasting the indicator image created based on the indicator image data 103e on the indicator image frame so that the fingertip position coincides with the image fingertip point.

以下、操作装置１の動作について説明する。
モニタ１５の画面（領域）には、先行するコマンド入力（例えば別画面でのタッチ入力操作に基づく）により、すでに図１４あるいは図１５と同様の（ただし手画像ＳＦは除く）キーボード入力画面（地図画面など、他の入力画面であってもよい）が表示されているものとする。この状態で、図２に示すように、タッチパネル１２ａの入力操作面１０２ａに手Ｈを近づけると、手撮影カメラ１２ｂは、照明光源１２ｃからの照明光の手による反射光に基づいて手像を撮影する。手像の画素は反射光の受光により背景領域よりも明るく現れる。従って、図４のＡに示すように、画素の輝度を適当な閾値で二値化すれば、高輝度画素値（ここでは「１」とする）を示す領域を手像領域（図中黒で表している）、低輝度画素値（ここでは「０」とする）を示す領域を背景領域（図中白で表している）として、互いに画像分離できる。 Hereinafter, the operation of the controller device 1 will be described.
The screen (area) of the monitor 15 is already similar to FIG. 14 or 15 (except for the hand image SF) by a preceding command input (for example, based on a touch input operation on another screen) (except for the hand image SF). Other input screens such as screens may be displayed). In this state, as shown in FIG. 2, when the hand H is brought close to the input operation surface 102a of the touch panel 12a, the hand photographing camera 12b captures a hand image based on the reflected light of the illumination light from the illumination light source 12c. To do. The pixel of the hand image appears brighter than the background area by receiving the reflected light. Therefore, as shown in FIG. 4A, if the luminance of a pixel is binarized with an appropriate threshold, an area showing a high luminance pixel value (here, “1”) is changed to a hand image area (black in the figure). The region indicating the low luminance pixel value (here, “0”) can be separated from each other as a background region (represented by white in the figure).

次に、二値化された上記の原画像データを第一画像データ（Ａ）として、該第一画像データを手像の掌長方向（Ｙ方向）に所定距離（例えば、中指第一関節より先を指先部分として、その２０％〜８０％（実距離にして５〜２０ｍｍ程度））だけ平行移動させて得られる画像データを、図４のＢに示す第二画像データとする。そして、図４のＣに示すように、両画像データを重ね合わせたときの、指先側に現れる手像非重なり領域を指先領域として特定する。撮影取得された原画像データを手像の掌長方向に平行移動して重ね合わせることにより、指先領域を手像非重なり領域として簡単に特定することができる。また、一部の指が閉じて密着していても、丸みを帯びた指先領域は確実に分離して特定することが可能である。   Next, the binarized original image data is defined as the first image data (A), and the first image data is transferred from the first finger joint in the palm length direction (Y direction) of the hand image by a predetermined distance (for example, from the first joint of the middle finger). Image data obtained by translating 20% to 80% (actual distance of about 5 to 20 mm) of the tip of the fingertip portion is defined as second image data shown in FIG. 4B. Then, as shown in FIG. 4C, the hand image non-overlapping region that appears on the fingertip side when the two image data are superimposed is specified as the fingertip region. By parallelly moving and superimposing the captured and acquired original image data in the palm length direction of the hand image, the fingertip region can be easily specified as the hand image non-overlapping region. In addition, even when some fingers are closed and in close contact, a rounded fingertip region can be reliably separated and specified.

図４のＣにおいては、第二画像データＢを、第一画像データＡを掌長方向（Ｙ方向）にて手首側へ後退移動させて作成しており、第一画像データＡの手像指先側に現れる非重なり領域が指先領域として特定される。撮影範囲（ひいてはモニタ１５の画面領域）との座標対応関係が保存される第一画像データＡ上にて指先領域を特定でき、後述の画像指先点、ひいては、画面領域上の対応座標点の特定処理を簡便に行なうことができる。   In C of FIG. 4, the second image data B is created by moving the first image data A backward in the palm length direction (Y direction) toward the wrist, and the hand image fingertip of the first image data A A non-overlapping area appearing on the side is specified as the fingertip area. The fingertip region can be specified on the first image data A in which the coordinate correspondence relationship with the imaging range (and thus the screen region of the monitor 15) is stored, and the image fingertip point described later, and the corresponding coordinate point on the screen region can be specified. Processing can be performed easily.

また、第一及び第二画像データはいずれも二値化されており、手像非重なり領域は、第一画像データと第二画像データとの画像差分を演算することで特定される。これにより、非重なり領域の画素を特定する処理は、第一及び第二画像データの対応する画素間の論理演算に転換できる（具体的には、対応画素間の排他的論理和が０になれば、それを非重なり領域の画素として特定できる）。なお、第一及び第二画像データの非重なり領域は、指の側面部分に細く生ずる場合がある。しかし、このような側面部分は、「１」となる画素のＸ方向の連続個数が所定値未満となる場合に、それら画素列を「０」反転する処理を行なえば、簡単に除去することができる。   The first and second image data are both binarized, and the hand image non-overlapping area is specified by calculating the image difference between the first image data and the second image data. Thereby, the process of specifying the pixels in the non-overlapping area can be converted into a logical operation between corresponding pixels of the first and second image data (specifically, the exclusive OR between the corresponding pixels can be zero). It can be identified as a pixel in a non-overlapping area). Note that the non-overlapping region of the first and second image data may be narrowly formed on the side surface portion of the finger. However, such a side surface portion can be easily removed by performing a process of inverting those pixel columns by “0” when the number of consecutive “1” pixels in the X direction is less than a predetermined value. it can.

こうして抽出された各指先領域は、図４のＤに示すように、既に説明した収縮処理が施される。具体的には、値が「１」となっている全ての画素について、これと一定の隣接関係にある画素（具体的には、上下左右の４画素、さらには、斜め隣接する４画素をこれに加えた８画素）に、着目画素と値が反転関係にある画素が１個でも含まれていれば、当該画素の値を「０」反転する処理を行なう。該処理は。複数回繰り返し実施してもよい。   Each fingertip region extracted in this way is subjected to the contraction process already described, as shown in FIG. Specifically, for all pixels having a value of “1”, pixels that have a certain adjacent relationship with this (specifically, four pixels on the top, bottom, left, and right, and further, four pixels that are diagonally adjacent to each other) If one pixel whose value is inverted with respect to the target pixel is included in the 8 pixels added to the above, a process of inverting the value of the pixel by “0” is performed. The process. It may be repeated several times.

そして、図４のＥに示すように、該収縮処理後の各指先領域の重心座標を演算する。具体的には、隣接画素のラベリング処理等により、個々の指先領域を分離特定し、指先領域毎に全ての画素のＸ座標合計及びＹ座標合計を演算し、それぞれ総画素数で除することにより、各指先領域の重心のＸ座標及びＹ座標を特定できる。   Then, as shown in E of FIG. 4, the barycentric coordinates of each fingertip region after the contraction process are calculated. Specifically, by separating and specifying individual fingertip areas by, for example, labeling processing of adjacent pixels, calculating the X coordinate sum and Y coordinate sum of all pixels for each fingertip area, and dividing each by the total number of pixels. The X and Y coordinates of the center of gravity of each fingertip region can be specified.

なお、タッチパネルの入力操作面１０２ａに実際に接触するのは、指先端からＸ方向に少し下がった指腹付近の領域であるから、図４のＦでは、Ｅで計算された重心位置をＹ方向へ所定距離オフセットさせ、これを画像指先点Ｇとして決定する。ただし、Ｅの重心位置をそのまま画像指先点Ｇとして用いてもよく、この場合は該Ｆの処理は不要である。   Note that the touch panel input operation surface 102a actually touches the area near the finger pad slightly lowered in the X direction from the tip of the finger. Therefore, in FIG. 4F, the center of gravity calculated by E is the Y direction. A predetermined distance is offset, and this is determined as the image fingertip point G. However, the barycentric position of E may be used as it is as the image fingertip point G, and in this case, the processing of F is unnecessary.

図５は、各指の画像指先点（Ｇ１〜Ｇ５）が、入力操作面１０２ａ、ひいては画像フレーム上にて座標特定された状態を示している。そして、該画像フレーム上の各画像指先点Ｇ１〜Ｇ５に、原指像ＦＩとはデータ的に無関係な指示体画像を順次貼り込んで、指示体画像フレームを作成する。この指示体画像は、原指像ＦＩよりも相対的に狭幅となるように作成される。例えば、１８歳以上の日本人全体の指幅分布にて、平均値を中心として９０％の対象者が包含される範囲の下限値に相当する指幅の、例えば５０％以上８０％以下となるように指示体画像の幅寸法を設定しておけば（例えば、人差し指の場合は、第一関節位置での指実寸換算にて７ｍｍ以上１４ｍｍ以下）、子供を除くほとんど全ての操作者に対して、指示体画像を原指像よりも相対的に狭幅とすることができる。 FIG. 5 shows a state in which the image fingertip points (G 1 to G 5 ) of each finger are coordinate-specified on the input operation surface 102a, and thus on the image frame. Then, an indicator image frame that is unrelated to the original finger image FI is sequentially pasted on each of the image fingertip points G 1 to G 5 on the image frame to create an indicator image frame. This indicator image is created so as to be relatively narrower than the original finger image FI. For example, in the finger width distribution of all Japanese who are 18 years of age or older, the finger width corresponding to the lower limit of the range in which 90% of subjects are included centering on the average value is, for example, 50% to 80%. If the width dimension of the indicator image is set in this way (for example, in the case of the index finger, the actual finger size conversion in the first joint position is 7 mm or more and 14 mm or less), it is possible for almost all operators except children. The indicator image can be made relatively narrower than the original finger image.

指示体画像としては、指の輪郭形状を模した模擬指画像を使用できる。単純なものとしては、図１０に示すように、指先部分の輪郭を示す円弧図形２０１と、残余の部分の輪郭を示す矩形図形２０２とを組み合わせた模擬指画像を例示できる。指先部分を円弧とすることで、その円弧の中心点２０１ｇを、上記画像指先点に合わせ込むべき指先位置として活用しやすい利点がある。また、模擬指画像よりもさらに単純な指示図形、例えばポインタに類した矢印状の図形を表示することも可能である。   As the indicator image, a simulated finger image simulating the contour shape of a finger can be used. As a simple example, as shown in FIG. 10, a simulated finger image in which an arc shape 201 indicating the contour of the fingertip portion and a rectangular shape 202 indicating the contour of the remaining portion can be exemplified. By making the fingertip portion an arc, there is an advantage that the center point 201g of the arc can be easily used as the fingertip position to be aligned with the image fingertip point. It is also possible to display a simpler figure than the simulated finger image, for example, an arrow-like figure similar to a pointer.

一方、図１１に示すように、実際の指をより精密に模した指輪郭線を折れ線や曲線（例えば、Ｂスプライン曲線やペジェ曲線）により表現した指輪郭画像データＳＦ１〜ＳＦ５を使用してもよい。該指輪郭画像データＳＦ１〜ＳＦ５は、指輪郭に対応して配列する一連のハンドリング点ＨＰにより規定されるベクトルアウトラインデータとして構成できる。 On the other hand, as shown in FIG. 11, even if the finger contour image data SF1 to SF5 in which a finger contour that more closely simulates an actual finger is expressed by a broken line or a curve (for example, a B-spline curve or a Pezier curve) are used. Good. The finger contour image data SF 1 to SF 5 can be configured as vector outline data defined by a series of handling points HP arranged corresponding to the finger contour.

また、指示体画像として、個々の指を分離した形で事前に撮影取得された人の実指画像（例えば、操作者本人の指画像や、手専門のパーツモデルから撮影取得したモデル指画像を採用できる）を使用することも可能である。この場合、指撮影画像から周知のエッジ検出処理により輪郭線を抽出し、これを近似するベクトルアウトラインデータを作成することにより、図１１と同様の指輪郭画像データＳＦ１〜ＳＦ５を得ることができる。また、図１２に示すように、指撮影画像を二値化したビットマップ図形データを指示体画像ＳＦとして用いてもよい（この場合は、指輪郭線の抽出は不要である）。 In addition, as the indicator image, an actual finger image of a person captured and acquired in advance in the form of individual fingers (for example, a finger image of the operator himself or a model finger image acquired from a hand specialized part model) Can be used). In this case, finger contour image data SF 1 to SF 5 similar to those in FIG. 11 can be obtained by extracting a contour line from the photographed finger image by a known edge detection process and creating vector outline data that approximates the contour line. it can. Also, as shown in FIG. 12, bitmap graphic data obtained by binarizing a finger photographed image may be used as the indicator image SF (in this case, extraction of a finger outline is not necessary).

図６の右に示すように、指示体画像ＳＦの先端部には予め定められた位置に指示体指先点Ｇ’が定められており、図６の右に示すように、この指示体指先点Ｇ’を各画像指先点（Ｇ１〜Ｇ５）に合わせこむ形で、画像フレーム上に指示体画像ＳＦを貼り込んでゆくことになる。しかし、この貼り込みを行なうためには、指先位置Ｇ’のほかに指の方向を情報として特定する必要がある。そこで、図５に示すように、画像フレーム（表示座標平面）上に画像指先点（Ｇ１〜Ｇ５）とは別に指方向規定点Ｗを設定し、該指方向規定点Ｗと画像指先点Ｇを結ぶ直線を指直線（Ｌ１〜Ｌ５）として定める演算を行なう。図６に示すように、各指示体画像ＳＦ１〜ＳＦ５は、指先位置Ｇ’が画像指先点（Ｇ１〜Ｇ５）と一致し、かつ、決定された指直線（Ｌ１〜Ｌ５）に該指示体画像ＳＦの長手方向基準線（指示体画像ＳＦ１〜ＳＦ５毎に予め定められている）が一致するように貼り込まれ、指示体画像フレームが作成される。 As shown on the right of FIG. 6, the indicator fingertip point G ′ is set at a predetermined position at the tip of the indicator image SF. As shown on the right of FIG. The indicator image SF is pasted on the image frame in such a manner that G ′ is matched with each image fingertip point (G 1 to G 5 ). However, in order to perform this pasting, it is necessary to specify the direction of the finger as information in addition to the fingertip position G ′. Therefore, as shown in FIG. 5, a finger direction specified point W is set on the image frame (display coordinate plane) separately from the image fingertip points (G 1 to G 5 ), and the finger direction specified point W and the image fingertip points are set. An operation for determining a straight line connecting G as finger straight lines (L 1 to L 5 ) is performed. As shown in FIG. 6, each indicator image SF 1 to SF 5 has the fingertip position G ′ coincident with the image fingertip point (G 1 to G 5 ) and the determined finger straight line (L 1 to L 5). ) So that the longitudinal reference line of the indicator image SF (predetermined for each of the indicator images SF 1 to SF 5 ) is matched, and an indicator image frame is created.

手の各指骨は手首関節に向けて収束する形態に配列しているから、図５において指方向規定点Ｗは、この手首に相当する手首規定点（以下、手首規定点Ｗとも記す）として規定されている。前述のごとく、入力操作面１０２ａ（撮影範囲）が、掌の指先側をなす一部分だけが収まるように寸法設定されており、かつ、撮影領域に対して手前側から手を伸ばし入れる形で操作がなされるので、手首規定点Ｗは画面領域の下側に外れた形で設定される。図５においては、Ｙ方向にて画面領域の下縁から一定長Ｙ０だけ下側に離間した位置に手首規定点Ｗが設定されている。画面上の画像指先点（Ｇ１〜Ｇ５）のＹ座標とは無関係に、手首規定点ＷのＹ方向位置を画面領域の下縁を基準として固定的に定めるので、手首規定点Ｗの決定アルゴリズムが簡略化できる。図５の実施形態において、手首規定点ＷのＸ座標は、撮影範囲（入力操作面１０２ａ及びモニタ１５の画面）のＸ方向寸法の中央に固定されている。なお、画面領域のＹ方向高さをＬとしたとき、Ｙ０＋Ｌ／２の値は、例えば１００ｍｍ以上２００ｍｍ以下に調整するとよい。 Since the phalanges of the hand are arranged so as to converge toward the wrist joint, the finger direction specified point W in FIG. 5 is defined as a wrist specified point corresponding to the wrist (hereinafter also referred to as the wrist specified point W). Has been. As described above, the input operation surface 102a (shooting range) is dimensioned so that only a part of the palm fingertip side can be accommodated, and the operation can be performed by extending the hand from the near side to the shooting area. Therefore, the wrist specified point W is set so as to be off the lower side of the screen area. In Figure 5, the wrist specified point W is set in the Y direction from the lower edge of the screen area at a position spaced just below the predetermined length Y 0. Regardless of the Y coordinate of the image fingertip points (G 1 to G 5 ) on the screen, the Y-direction position of the wrist prescribed point W is fixedly determined based on the lower edge of the screen area. The algorithm can be simplified. In the embodiment of FIG. 5, the X coordinate of the wrist prescribed point W is fixed at the center of the X direction dimension of the imaging range (the input operation surface 102a and the screen of the monitor 15). When the height in the Y direction of the screen area is L, the value of Y 0 + L / 2 may be adjusted to, for example, 100 mm or more and 200 mm or less.

こうして図６のごとく作成された指示体画像フレームはグラフィックコントローラ１１０に転送され、別途取得されている入力画面画像フレームデータと合成され、モニタ１５に表示される。入力画面画像フレームデータと指示体画像フレームデータとを合成する方法としては、指示体画像ＳＦのデータ形態により次にような手法を採用することができる。
（１）指示体画像データがはじめからビットマップデータにより記述されている場合は、対応する画素同士のアルファブレンディング処理により、指示体画像を入力画面上に透かし形態で重ね表示することができる。
（２）指示体画像データがベクトルアウトラインデータで記述されている場合は、指示体画像フレーム上で該データを用いて指示体画像の輪郭線を生成し、さらにその内部をラスタライジングしてビットマップ化し、その後は（１）と同様のアルファブレンディング処理を行なう。
（３）指示体画像データをなすベクトルアウトラインデータを用いて入力画面画像フレーム上に輪郭線を描画し、その内部に位置する入力画面画像の画素を抽出するとともに、該抽出された画素の設定値を一律にシフトさせる。 The indicator image frame thus created as shown in FIG. 6 is transferred to the graphic controller 110, combined with the separately acquired input screen image frame data, and displayed on the monitor 15. As a method of combining the input screen image frame data and the indicator image frame data, the following method can be adopted depending on the data form of the indicator image SF.
(1) When the indicator image data is described as bitmap data from the beginning, the indicator image can be displayed in a watermark form on the input screen by alpha blending processing between corresponding pixels.
(2) When the indicator image data is described in vector outline data, a contour line of the indicator image is generated on the indicator image frame using the data, and the inside thereof is rasterized to generate a bitmap. Thereafter, the same alpha blending process as in (1) is performed.
(3) A vector outline data constituting the indicator image data is used to draw a contour line on the input screen image frame, and the pixels of the input screen image located inside thereof are extracted, and the set values of the extracted pixels Shift uniformly.

（１）〜（３）のいずれにおいても、指示体画像データの輪郭線を形成する画素については、指示体画像データ側のブレンド比を高めることで、輪郭線の強調された指示体画像を重畳表示できる。また、指示体画像データを、ビットマップデータもしくはベクトルアウトラインデータで記述された輪郭線のみの画像データとし、輪郭線のみを重ね表示することも可能である。   In any of (1) to (3), for the pixels forming the contour line of the indicator image data, the indicator image with the contour line emphasized is superimposed by increasing the blend ratio on the indicator image data side. Can be displayed. It is also possible to display the indicator image data as image data of only the contour line described by the bitmap data or the vector outline data, and display only the contour line in an overlapping manner.

本実施形態の操作装置１により実現できる効果は以下のごとくである。
すなわち、図１に示すように、モニタ１５の画面は、運転席２Ｄないし助手席２Ｐに着座する操作者から見て、タッチパネル１２ａ上の指を直視する向きから外れて配置されているから、操作を行なう手元とモニタ１５との双方を同時に直視することができない。従って、操作者は画面上の指示体画像は手元操作位置を把握するための唯一の情報源となる。本発明においては、画像データ上での原指像ＦＩの状態とは無関係に、個々の指を示す指示体画像ＳＦを該原指像ＦＩよりも細くした形で画面上に確実に表示することができ、ひいては、撮影された原指像がそのまま太く拡大表示されて操作性に支障をきたす不具合を効果的に解消することができる。 The effects that can be realized by the controller device 1 of the present embodiment are as follows.
That is, as shown in FIG. 1, the screen of the monitor 15 is arranged away from the direction of looking directly at the finger on the touch panel 12a when viewed from the operator seated in the driver's seat 2D or the passenger seat 2P. It is impossible to look directly at both the hand performing and the monitor 15 at the same time. Therefore, the operator uses the indicator image on the screen as the only information source for grasping the hand operation position. In the present invention, irrespective of the state of the original finger image FI on the image data, the indicator image SF indicating each finger is reliably displayed on the screen in a form narrower than the original finger image FI. As a result, the photographed original finger image is enlarged and displayed as it is, and the problem that hinders operability can be effectively solved.

該効果は、図５に一点鎖線で示すように、撮影範囲（ひいては、タッチパネルの操作入力面１０２ｂ）が縮小された場合に、さらに顕著となる。人差し指、中指及び薬指のうち、２本の全体が少なくとも撮影可能であり、４本の全体は撮影不能な大きさに設定されている場合、つまり、図１４のように、人差し指、中指、薬指及び小指の全てが入るのではなく、人差し指、中指、薬指の３本、あるいは、図１５のように、人差し指と中指（もしくは中指と薬指）の２本が入る大きさに設定されている場合がこれに該当する。   This effect becomes even more prominent when the shooting range (and hence the operation input surface 102b of the touch panel) is reduced, as indicated by the alternate long and short dash line in FIG. Of the index finger, the middle finger, and the ring finger, the entire two can be photographed at least, and the entire four are set to a size that cannot be photographed. That is, as shown in FIG. 14, the index finger, the middle finger, the ring finger, This may be the case where the size of the index finger, middle finger, ring finger, or two of the index finger and middle finger (or middle finger and ring finger) is set as shown in FIG. It corresponds to.

特に、図１５の場合、入力操作面１０２ａ（撮影範囲）の寸法を具体的な数値で表すと、Ｘ方向寸法は、６０ｍｍ以上８０ｍｍ以下（例えば７０ｍｍ）、Ｙ方向寸法が３０ｍｍ以上５５ｍｍ以下（例えば、４３ｍｍ）である。撮影範囲に収まる指の数は２本であるが、もし、撮影された原指像ＦＩを二値化しただけでそのままモニタ１５の画面領域に表示しようとすると、図１３に破線で示すように、撮影範囲が縮小される分だけ２本の原指像ＦＩが大きく拡大されて表示されることとなる。モニタ１５には、五十音入力用のソフトキーボードＫＢが表示されているが、ソフトボタンＳＢの数は５０を超え、拡大された原指像ＦＩの幅方向には３個を超えるソフトボタンＳＢの画像が重なっている（つまり、このソフトキーボードＫＢの表示画面には、画像データ上の原指像ＦＩを、画面領域上の対応する位置に座標上の寸法を保存しつつ仮想的に投影したとき、該原指像ＦＩの仮想投影領域に対しソフトボタンＳＢ画像が、指幅方向に複数（具体的には、２個を超える数で）包含される寸法ならびに配列間隔にて表示形成されている）。これでは、手指が狙ったソフトボタンに正しく向けられているのか否かが非常にわかりにくく、当然、狙ったボタンの隣を押し違えたりする不具合も生じやすい。   In particular, in the case of FIG. 15, when the dimensions of the input operation surface 102a (imaging range) are expressed by specific numerical values, the X direction dimension is 60 mm or more and 80 mm or less (for example, 70 mm), and the Y direction dimension is 30 mm or more and 55 mm or less (for example, 43 mm). The number of fingers that fit in the shooting range is two. However, if the captured original finger image FI is binarized and displayed on the screen area of the monitor 15 as it is, as shown by the broken line in FIG. The two original finger images FI are greatly enlarged and displayed as much as the shooting range is reduced. The monitor 15 displays a soft keyboard KB for inputting a Japanese syllabary, but the number of soft buttons SB exceeds 50, and more than 3 soft buttons SB in the width direction of the enlarged original finger image FI. (That is, when the original finger image FI on the image data is virtually projected onto the display screen of the soft keyboard KB at the corresponding position on the screen area while saving the coordinate dimensions, (The soft button SB image is displayed and formed in a dimension and arrangement interval in which a plurality of soft button SB images (specifically, more than two) are included in the finger width direction with respect to the virtual projection area of the original finger image FI) . In this case, it is very difficult to determine whether or not the finger is correctly directed to the intended soft button, and naturally, it is easy to cause a problem that the next to the aimed button is pushed wrong.

しかし、図１３に実線で示すように、この原指像ＦＩよりも狭幅化した指示体画像ＳＦでこれを置き換え表示すれば、指示体画像ＳＦの幅方向に重なるソフトボタンＳＢの数は２個ないし１個に減じられ、指示体画像ＳＦ付近のボタンの密集感が軽減され、画面上に複数配置されたソフトボタンＳＢのどれを操作しているのかを容易に把握できる。その結果、狙ったボタンの隣を押し違えたりするといった不具合も生じにくくなり、操作性が格段に向上することは明らかである。   However, as shown by the solid line in FIG. 13, if this is replaced and displayed by the indicator image SF narrower than the original finger image FI, the number of soft buttons SB overlapping in the width direction of the indicator image SF is 2. The number of buttons is reduced to one or one, the denseness of the buttons near the indicator image SF is reduced, and it is possible to easily grasp which one of the plurality of soft buttons SB arranged on the screen is being operated. As a result, it is clear that problems such as pushing the next to the target button are unlikely to occur, and the operability is remarkably improved.

以下、手首規定点の設定方式にかかる種々の変形例について説明する。
まず、Ｙ方向の入力位置が大きく変化しうる場合は、それに伴なう手首位置のＹ方向変化も考慮する必要がある。この場合、図７に示すように、表示座標平面上にて手首規定点Ｗを、特定された画像指先点Ｇと予め定められた位置関係を有するものとなるように設定すると、指示体画像ＳＦの配置方向のリアリティをより高めることができる。具体的には、Ｙ方向にて画面領域内に特定された画像指先点Ｇから一定長Ｙ２（例えば、Ｙ２は１００ｍｍ以上２００ｍｍ以下である）だけ下側に離間した位置に手首規定点Ｗを設定するとよい。 Hereinafter, various modifications according to the wrist setting point setting method will be described.
First, when the input position in the Y direction can change greatly, it is necessary to consider the change in the Y direction of the wrist position associated therewith. In this case, as shown in FIG. 7, when the wrist specified point W is set to have a predetermined positional relationship with the specified image fingertip point G on the display coordinate plane, the indicator image SF is set. The reality of the arrangement direction can be further increased. Specifically, the wrist predetermined point W is located at a position spaced apart from the image fingertip point G specified in the Y direction by a certain length Y 2 (for example, Y 2 is 100 mm or more and 200 mm or less). Should be set.

次に、図１のような配置形態の操作部１２を、座席２Ｄないし座席２Ｐから手元操作しようとした場合を考える。着座状態で、体の左（運転席２Ｄの場合）ないし右（助手席２Ｐの場合）脇の操作部１２上に置いた手をＹ方向に移動する場合は、肩関節及び肘関節を動しながら前方に伸ばした下椀部を前後に移動させる動作が中心となる。その結果、入力操作面１０２ａ上で撮影される掌の動きは、Ｙ方向にほぼ平行移動する形に近く、入力に関与する指の方向（角度）もそれほど大きくは変化しない。しかし、手をＸ方向に移動する場合は手首の回転動が主体的となり、入力操作面１０２ａ上で撮影される掌の動きは、掌中央付近の軸線周りに手を回転させる形態に近くなる。その結果、指入力に関与する指の方向（角度）は、手の回転角度に応じて変化することになる。   Next, consider a case where the operation unit 12 having the arrangement form as shown in FIG. 1 is to be operated from the seat 2D or the seat 2P. To move the hand placed on the operation unit 12 on the left side (in the case of the driver's seat 2D) or right side (in the case of the passenger seat 2P) in the Y direction while sitting, move the shoulder joint and elbow joint. However, the operation of moving the lower collar extended forward while back and forth is the center. As a result, the movement of the palm photographed on the input operation surface 102a is almost parallel to the Y direction, and the direction (angle) of the finger involved in the input does not change so much. However, when the hand is moved in the X direction, the wrist rotational movement is dominant, and the movement of the palm photographed on the input operation surface 102a is close to the form of rotating the hand around the axis near the center of the palm. As a result, the direction (angle) of the finger involved in finger input changes according to the rotation angle of the hand.

そこで、図８に示すごとく、指方向を決める手首規定点ＷのＸ座標を画像指先点ＧのＸ座標に応じて変化させる方式を採用すれば、上記のような手の動きを反映させる上で好都合である。図８においては、画面領域（撮影範囲）の下方に、基準手首位置を示す基準手首規定点Ｗ０を固定的に定め、原指像ＦＩのＹ方向に対する傾斜角度θが大きくなるほど、基準手首規定点Ｗ０からのＸ方向への変位量が大きくなるように手首規定点ＷのＸ座標値を決定することができる。 Therefore, as shown in FIG. 8, if the method of changing the X coordinate of the wrist prescribed point W that determines the finger direction according to the X coordinate of the image fingertip point G is adopted, the above-described movement of the hand is reflected. Convenient. In Figure 8, the lower screen area (imaging range), defines the reference wrist specified point W 0 indicating a reference wrist position fixedly, the inclination angle θ becomes larger with respect to the Y direction of the original finger image FI, reference wrist provisions can displacement amount in the X direction from the point W 0 determines the X coordinate value of the wrist prescribed point W to be larger.

図８においては、撮影範囲（入力操作面１０２ａ及びモニタ１５の画面）のＸ方向寸法の中央に基準手首規定点Ｗ０のＸ座標を定め、また、既に特定された複数の画像指先点のうち、指先位置が最も上方に位置するもの（図８では、中指に対応する画像指先点Ｇ３）を基準として、そこから一定値Ｙ２だけ下方へ移動した位置に基準手首規定点Ｗ０のＹ座標を定めている。 8, defines an X-coordinate of the reference wrist prescribed point W 0 in the center of the X-direction dimension of the shooting range (screen input operation surface 102a and the monitor 15), also, among the plurality of image fingertip points that have already been identified The reference wrist prescribed point W 0 is defined as a position where the fingertip position is located at the uppermost position (in FIG. 8, the image fingertip point G 3 corresponding to the middle finger) is moved downward by a predetermined value Y 2 from the reference. Coordinates are defined.

上記のごとく、回転中心が掌の内側に存在する想定では、指先がＸ方向へ回転移動するに伴い、手首位置はその逆方向に回転移動することになる。そこで、方向に対し右上がり形態に傾斜している原指像ＦＩについては、Ｘ方向にて基準手首規定点Ｗ０に対し左側に変位するように手首規定点ＷのＸ座標値を決定し、Ｙ方向に対し左上がり形態に傾斜している原指像ＦＩについては、Ｘ方向にて基準手首規定点Ｗ０に対し右側に変位するように手首規定点ＷのＸ座標値を決定する。具体的には、指先位置が最も上方に位置する原指像ＦＩ（画像指先点Ｇ３に対応）を代表原指像として用い、該原指像ＦＩのＹ方向に対する傾斜角度（時計回りを正方向として定義する）θを求める。該傾斜角度θは、例えば原指像ＦＩを構成する画素点に最小二乗法を適用して得られる直線の勾配から計算することができる。求めるべき手首規定点Ｗの基準手首規定点Ｗ０からのＸ方向変位（あるいは、Ｘ座標値そのものであってもよい）を各種θの値毎に事前に定め、図３のＲＯＭ１０３に記憶しておけば、計算されたθに対応するＸ方向変位は、該テーブルから読み出すことで容易に決定できる。図８においては、手首規定点ＷのＹ座標は、基準手首規定点Ｗ０のＹ座標と常に等しくなるように定めてある。つまり、手首規定点Ｗは、角度θに応じて、基準手首規定点Ｗ０を通ってＸ軸と平行な直線上を動く形で設定されている。ただし、円弧状の経路に沿って手首規定点Ｗを定めてもよい。 As described above, assuming that the center of rotation exists inside the palm, as the fingertip rotates in the X direction, the wrist position rotates in the opposite direction. Therefore, for the original finger image FI that is inclined to the right with respect to the direction, the X coordinate value of the wrist prescribed point W is determined so as to be displaced to the left with respect to the reference wrist prescribed point W0 in the X direction. With respect to the original finger image FI that is inclined leftward with respect to the direction, the X coordinate value of the wrist prescribed point W is determined so as to be displaced to the right with respect to the reference wrist prescribed point W0 in the X direction. Specifically, using the original finger image FI of fingertip position is located uppermost (corresponding to image fingertip point G 3) as the representative original finger image, the inclination angle (clockwise with respect to the Y direction of the raw finger image FI positive Determine θ) (defined as direction). The inclination angle θ can be calculated from, for example, the gradient of a straight line obtained by applying the least square method to the pixel points constituting the original finger image FI. X-direction displacement from a reference wrist specified point W 0 of the wrist prescribed point W to be found (or even may be a X-coordinate value itself) set in advance for each value of various theta, and stored in the ROM103 of Fig. 3 Then, the displacement in the X direction corresponding to the calculated θ can be easily determined by reading from the table. In Figure 8, the Y coordinate of the wrist prescribed point W, are set to always equal to the Y coordinate of the reference wrist prescribed point W 0. That is, the wrist specified point W is set so as to move on a straight line parallel to the X axis through the reference wrist specified point W 0 according to the angle θ. However, the wrist specified point W may be determined along an arcuate path.

なお、代表原指像としては、撮影範囲のＸ方向（またはＹ方向）の中心に最も近いＸ座標（またはＹ座標）を画像指先点として有するものを採用してもよい。また、複数の画像指先点（Ｇ１〜Ｇ５）のＸ座標及びＹ座標を平均化して得られる点を代表画像指先点として用いる形で手首規定点Ｗを定めてもよい。また、指先位置が奇数個の場合は中央にある原指像の画像指先点を、偶数個の場合は中央に近い２つの原指像を採用して、それらの画像指先点のＸ座標及びＹ座標を平均化して得られる点を、それぞれ代表画像指先点として定める方式も可能である。 As the representative original finger image, an image having the X-coordinate (or Y-coordinate) closest to the center in the X direction (or Y direction) of the shooting range as the image fingertip point may be adopted. Further, the wrist specified point W may be determined in such a manner that a point obtained by averaging the X and Y coordinates of a plurality of image fingertip points (G 1 to G 5 ) is used as the representative image fingertip point. Further, when the number of fingertip positions is odd, the image fingertip point of the original finger image at the center is adopted, and when the number of fingertip positions is even, two original finger images close to the center are adopted, and the X coordinate and Y of those image fingertip points are adopted. A method of determining points obtained by averaging coordinates as representative image fingertip points is also possible.

次に、実際の人の手では、各指骨は手首位置でも当然個別の幅を有しており、手首関節に対しＸ方向に互いに異なる位置に接続することとなる。そこで、図９に示すように、複数の画像指先点Ｇ１〜Ｇ５について独立な手首規定点Ｗ１〜Ｗ５を決定し、指示体画像の配置方向を、各画像指先点Ｇ１〜Ｇ５について対応する手首規定点Ｗ１〜Ｗ５を用いて決定することができる。具体的には、基準手首規定点Ｗ０よりもＸ方向右側に位置している画像指先点Ｇ１，Ｇ２については、Ｘ座標が基準手首規定点Ｗ０よりも右側に位置するように対応する手首規定点Ｗ１，Ｗ２を設定し、基準手首規定点Ｗ０よりもＸ方向左側に位置している画像指先点Ｇ３，Ｇ４，Ｇ５については、Ｘ座標が基準手首規定点Ｗ０よりも左側に位置するように対応する手首規定点Ｗ３，Ｗ４，Ｗ５を設定している。 Next, in an actual human hand, each phalange naturally has an individual width even at the wrist position, and is connected to different positions in the X direction with respect to the wrist joint. Therefore, as shown in FIG. 9, independent wrist prescription points W 1 to W 5 are determined for the plurality of image fingertip points G 1 to G 5 , and the arrangement direction of the indicator image is set to each image fingertip point G 1 to G 5. 5 can be determined using the corresponding wrist prescription points W 1 to W 5 . Specifically, the image fingertip point G 1 than the reference wrist prescribed point W 0 is positioned in the X direction right, for G 2 is, corresponding so as to be positioned on the right side of the X-coordinate reference wrist specified point W 0 Wrist specified points W 1 and W 2 to be set are set, and for image fingertip points G 3 , G 4 and G 5 which are located on the left side in the X direction from the reference wrist specified point W 0 , the X coordinate is the reference wrist specified point. Corresponding wrist prescribed points W 3 , W 4 , and W 5 are set so as to be located on the left side of W 0 .

なお、基準手首規定点Ｗ０に対するＸ方向変位（ｈ１〜ｈ５）の大きい画像指先点ほど、対応する手首規定点のＸ座標は基準手首規定点Ｗ０からのＸ方向への変位が大きくなるように定められている。具体的には、画像指先点の基準手首規定点Ｗ０に対するＸ方向変位に一定の倍率係数ｋ（例えば、０．１≦ｋ≦０．３）を乗じた値を、手首規定点ＷのＸ座標にかかる基準手首規定点Ｗ０からのＸ方向変位として算出している。 Incidentally, with respect to the reference wrist specified point W 0 larger image fingertip points in the X direction displacement (h1 to h5), X-coordinate of the corresponding wrist defining points such that displacement in the X direction from the reference wrist specified point W 0 is increased It is stipulated in. Specifically, a value obtained by multiplying the X-direction displacement of the image fingertip point with respect to the reference wrist specified point W 0 by a constant magnification factor k (for example, 0.1 ≦ k ≦ 0.3) is set to X of the wrist specified point W. It is calculated as a displacement in the X direction from the reference wrist prescribed point W 0 concerning the coordinates.

以上、本発明の画像表示装置を車載用電子機器の操作装置に適用した例について説明したが、本発明はこれに限定されるものではなく、例えば、パーソナルコンピュータ用のＧＵＩ入力デバイスなどにも適用可能である。   The example in which the image display device of the present invention is applied to an operation device for an in-vehicle electronic device has been described above. However, the present invention is not limited to this, and is also applied to, for example, a GUI input device for a personal computer. Is possible.

本発明の適用対象となる車載用電子機器操作装置の車内取付形態の一例を示す斜視図。The perspective view which shows an example of the vehicle interior installation form of the vehicle-mounted electronic device operating device used as the application object of this invention. 操作部の内部構造の一例を示す断面模式図。The cross-sectional schematic diagram which shows an example of the internal structure of an operation part. 図１の車載用電子機器操作装置の電気的構成の一例を示すブロック図。The block diagram which shows an example of the electrical constitution of the vehicle-mounted electronic device operating device of FIG. 画像指先点を決定する画像処理の流れを示す説明図。Explanatory drawing which shows the flow of the image processing which determines an image fingertip point. 手首規定点及び指直線を決定する幾何学的な原理を説明する図。The figure explaining the geometric principle which determines a wrist prescription | regulation point and a finger straight line. 図５で決定された指直線に沿って指示体画像を貼り付けた状態を示す説明図。Explanatory drawing which shows the state which affixed the indicator image along the finger straight line determined in FIG. 手首規定点を決定する第一の別例を説明する図。The figure explaining the 1st another example which determines a wrist specified point. 手首規定点を決定する第二の別例を説明する図。The figure explaining the 2nd another example which determines a wrist prescribed point. 手首規定点を決定する第三の別例を説明する図。The figure explaining the 3rd other example which determines a wrist prescribed point. 指示体画像の第一例を示す図。The figure which shows the 1st example of a pointer image. 同じく第二例を示す図。The figure which shows a 2nd example similarly. 同じく第三例を示す図。The figure which similarly shows a 3rd example. 指示体画像を重畳した画面表示例を示す図。The figure which shows the example of a screen display which superimposed the indicator image. 入力操作面を通常寸法とした場合の指画像と入力操作面との位置関係、及び該指画像を重畳した従来の画面表示例を示す図。The figure which shows the positional relationship of the finger image and input operation surface when an input operation surface is made into a normal dimension, and the example of the conventional screen display on which this finger image was superimposed. 入力操作面を縮小寸法とした場合の指画像と入力操作面との位置関係、及び該指画像を重畳した従来の画面表示例を示す図。The figure which shows the example of the conventional screen display which superimposed the positional relationship of the finger image and input operation surface at the time of making an input operation surface into a reduced size, and this finger image. 収縮処理の問題点を説明する図。The figure explaining the problem of contraction processing.

符号の説明Explanation of symbols

１ 車載電子機器用操作装置（画像表示装置）
１０ 操作ＥＣＵ
１２ 入力部
１２ａ タッチパネル（位置入力装置）
１２ｂ 手撮影カメラ（画像データ取得手段）
１５ モニタ（表示装置）
１０１ ＣＰＵ（画像指先点特定手段、指方向規定点設定手段、指示体配置方向決定手段）
ＦＩ 原指像
ＳＦ 指示体画像
Ｇ 画像指先点 1 In-vehicle electronic device operation device (image display device)
10 Operation ECU
12 Input unit 12a Touch panel (position input device)
12b Hand-held camera (image data acquisition means)
15 Monitor (display device)
101 CPU (image fingertip point specifying means, finger direction specified point setting means, indicator arrangement direction determining means)
FI Original finger image SF Indicator image G Image fingertip point

Claims (19)

人の指の像を原指像として含む画像データを取得し、
前記画像データ上にて前記原指像の指先位置を画像指先点として特定し、
表示装置の、前記画像データとの間に一義的な座標対応関係を有する画面領域において、前記画像指先点に対応する位置に、前記原指像よりも相対的に狭幅となる指示体画像を、前記画像データとは別に用意された指示体画像データに基づいて表示することを特徴とする画像表示方法。 Obtain image data that contains the image of a human finger as the original finger image,
Specify the fingertip position of the original finger image as an image fingertip point on the image data,
An indicator image that is relatively narrower than the original finger image at a position corresponding to the image fingertip point in a screen region having a unique coordinate correspondence relationship with the image data of the display device. An image display method for displaying based on indicator image data prepared separately from the image data. 人の指の像を原指像として含む画像データを取得する画像データ取得手段と、
前記画像データ上にて前記原指像の指先部分の位置を画像指先点として特定する画像指先点特定手段と、
前記画像データとの間に一義的な座標対応関係を有する画面領域を備えた表示装置と、
前記画面領域の前記画像指先点に対応する位置に、前記原指像よりも相対的に狭幅となる指示体画像を、前記画像データとは別に用意された指示体画像データに基づいて表示する指示体画像表示手段と、
を備えたことを特徴とする画像表示装置。 Image data acquisition means for acquiring image data including an image of a human finger as an original finger image;
Image fingertip point specifying means for specifying the position of the fingertip portion of the original finger image as an image fingertip point on the image data;
A display device including a screen area having a unique coordinate correspondence with the image data;
An indicator image that is relatively narrower than the original finger image is displayed at a position corresponding to the image fingertip point in the screen area based on indicator image data prepared separately from the image data. Indicator image display means;
An image display device comprising: 前記画像指先点特定手段は、前記画像データに複数本の前記原指像が含まれている場合に、該複数の原指像について前記画像指先点を特定するものであり、前記指示体画像表示手段は、前記画面領域にて前記複数の原指像の各前記画像指先点に対応する位置に、それぞれ前記指示体画像を表示する請求項２記載の画像表示装置。   The image fingertip point specifying means is for specifying the image fingertip point for the plurality of original finger images when the image data includes a plurality of the original finger images, and the indicator image display The image display device according to claim 2, wherein the display unit displays the indicator image at a position corresponding to each of the image fingertip points of the plurality of original finger images in the screen area. 前記指示体画像として、指の輪郭形状を模した模擬指画像又は個々の指を分離した形で撮影取得された人の実指画像が使用される請求項２又は請求項３に記載の画像表示装置。   4. The image display according to claim 2, wherein a simulated finger image imitating a finger contour shape or a real finger image of a person photographed and acquired by separating individual fingers is used as the indicator image. 5. apparatus. 前記画面領域は、前記指画像の、指先端を含む指長手方向の一部のみを表示するものである請求項４記載の画像表示装置。   The image display device according to claim 4, wherein the screen area displays only a part of the finger image in a finger longitudinal direction including a finger tip. 前記指示体画像表示手段は、
前記画面領域への前記指示体画像の表示位置を規定する表示座標平面上に指方向規定点を設定する指方向規定点設定手段と、
設定された指方向規定点と前記画像指先点とに基づいて前記指示体画像の配置方向を決定する指示体配置方向決定手段とを備え、
前記指示体画像の先端部の位置が前記画像指先点と一致し、かつ、決定された前記配置方向に該指示体画像の長手方向が沿うように、該指示体画像を前記画面領域上に表示する請求項３ないし請求項５のいずれか１項に記載の画像表示装置。 The indicator image display means includes
Finger direction prescribed point setting means for setting a finger direction prescribed point on a display coordinate plane defining the display position of the indicator image on the screen area;
An indicator arrangement direction determining means for determining an arrangement direction of the indicator image based on the set finger direction prescribed point and the image fingertip point;
The indicator image is displayed on the screen area so that the position of the tip of the indicator image coincides with the image fingertip point and the longitudinal direction of the indicator image is aligned with the determined arrangement direction. The image display device according to any one of claims 3 to 5. 前記指方向規定点設定手段は、前記指方向規定点を、手首位置を想定した手首規定点として前記画面領域外に設定する請求項６記載の画像表示装置。   The image display device according to claim 6, wherein the finger direction specified point setting unit sets the finger direction specified point outside the screen area as a wrist specified point assuming a wrist position. 前記画面領域に前記指を含む掌の画像が、該画面領域の下側に手首位置が外れる位置関係にて表示されるものであり、
前記指方向規定点設定手段は、前記表示座標平面上にて前記画面領域の上下方向をＹ方向とし、これと直交する方向をＸ方向として、前記Ｙ方向にて前記画面領域の下縁から一定長下側に離間した位置に前記手首規定点を設定する請求項７記載の画像表示装置。 An image of a palm including the finger in the screen area is displayed in a positional relationship in which the wrist position is out of the lower side of the screen area,
The finger direction specified point setting means is configured such that a vertical direction of the screen area on the display coordinate plane is a Y direction, a direction perpendicular thereto is an X direction, and the Y direction is constant from the lower edge of the screen area. The image display device according to claim 7, wherein the wrist predetermined point is set at a position spaced apart on the lower side. 前記指方向規定点設定手段は、前記表示座標平面上にて前記手首規定点を、特定された前記画像指先点と予め定められた位置関係を有するものとなるように設定する請求項８記載の画像表示装置。   The finger direction specified point setting means sets the wrist specified point on the display coordinate plane so as to have a predetermined positional relationship with the specified image fingertip point. Image display device. 前記画面領域に前記指を含む掌の画像が、該画面領域の下側に手首位置が外れる位置関係にて表示されるものであり、
前記指方向規定点設定手段は、前記表示座標平面上にて前記画面領域の上下方向をＹ方向とし、これと直交する方向をＸ方向として、前記Ｙ方向にて前記画面領域内に特定された前記画像指先点から一定長下側に離間した位置に前記手首規定点を設定する請求項９記載の画像表示装置。 An image of a palm including the finger in the screen area is displayed in a positional relationship in which the wrist position is out of the lower side of the screen area,
The finger direction specified point setting means is specified in the screen area in the Y direction, with the vertical direction of the screen area on the display coordinate plane as the Y direction and the direction orthogonal thereto as the X direction. The image display device according to claim 9, wherein the wrist prescribed point is set at a position spaced apart from the image fingertip point by a predetermined length. 前記指方向規定点設定手段は、前記画像指先点のＸ座標に応じて前記手首規定点を、該手首規定点のＸ座標が可変となるように設定する請求項６ないし請求項１０のいずれか１項に記載の画像表示装置。   11. The finger direction specified point setting means sets the wrist specified point according to the X coordinate of the image fingertip point so that the X coordinate of the wrist specified point is variable. The image display device according to item 1. 前記画面領域の下方に基準手首規定点が固定的に定められ、前記指方向規定点設定手段は、前記原指像の前記Ｙ方向に対する傾斜角度が大きくなるほど、前記基準手首規定点からのＸ方向への変位量が大きくなるように前記手首規定点のＸ座標値を決定する請求項１１記載の画像表示装置。   A reference wrist prescribed point is fixedly defined below the screen area, and the finger direction prescribed point setting means determines that the X direction from the reference wrist prescribed point increases as the inclination angle of the original finger image with respect to the Y direction increases. The image display apparatus according to claim 11, wherein an X coordinate value of the wrist prescribed point is determined so that a displacement amount to the head increases. 前記指方向規定点設定手段は、前記Ｙ方向に対し右上がり形態に傾斜している前記原指像については、前記Ｘ方向にて前記基準手首規定点に対し左側に変位するように前記手首規定点のＸ座標値を決定し、前記Ｙ方向に対し左上がり形態に傾斜している前記原指像については、前記Ｘ方向にて前記基準手首規定点に対し右側に変位するように前記手首規定点のＸ座標値を決定する請求項１２記載の画像表示装置。   The finger direction specified point setting means is configured to determine the wrist definition so that the original finger image inclined to the right in the Y direction is displaced to the left with respect to the reference wrist specified point in the X direction. The X coordinate value of the point is determined, and the wrist prescription is determined so that the original finger image inclined to the left upward form with respect to the Y direction is displaced to the right with respect to the reference wrist prescription point in the X direction. The image display device according to claim 12, wherein an X coordinate value of the point is determined. 前記画像指先点が前記画面領域上に複数特定された場合に、前記指方向規定点設定手段は、各画像指先点について共通の前記手首規定点を決定するものである請求項７ないし請求項１３のいずれか１項に記載の画像表示装置。   14. The wrist specified point setting means determines the common wrist specified point for each image fingertip point when a plurality of the image fingertip points are specified on the screen area. The image display device according to any one of the above. 前記画面領域の下方に基準手首規定点が固定的に定められ、前記画像指先点が前記画面領域上に複数特定された場合に、前記指方向規定点設定手段は、前記画面領域上にて前記Ｙ方向における最も上側に画像指先点が位置する原指像を代表原指像として用い、該代表原指像の前記Ｙ方向に対する傾斜角度が大きくなるほど、前記基準手首規定点からのＸ方向への変位量が大きくなるように前記手首規定点のＸ座標値を決定する請求項１４記載の画像表示装置。   When a reference wrist prescribed point is fixedly defined below the screen area and a plurality of the image fingertip points are specified on the screen area, the finger direction prescribed point setting means is configured to The original finger image with the image fingertip point located on the uppermost side in the Y direction is used as the representative original finger image, and the larger the inclination angle of the representative original finger image with respect to the Y direction, The image display device according to claim 14, wherein an X coordinate value of the wrist prescribed point is determined so that a displacement amount is increased. 前記画像指先点が前記画面領域上に複数特定された場合に、前記指方向規定点設定手段は、前記手首規定点を各画像指先点について独立に決定するものであり、前記指示体画像の前記配置方向が、各画像指先点について対応する手首規定点を用いて決定される請求項７ないし請求項１３のいずれか１項に記載の画像表示装置。   When a plurality of the image fingertip points are specified on the screen area, the finger direction specified point setting means determines the wrist specified point independently for each image fingertip point, and The image display device according to any one of claims 7 to 13, wherein the arrangement direction is determined using a wrist specified point corresponding to each image fingertip point. 前記指方向規定点設定手段は、前記基準手首規定点よりもＸ方向右側に位置している前記画像指先点については、前記手首規定点のＸ座標を前記基準手首規定点よりも右側に設定し、前記基準手首規定点よりもＸ方向左側に位置している前記画像指先点については、前記手首規定点のＸ座標を前記基準手首規定点よりも左側に設定する請求項１６記載の画像表示装置。   The finger direction specified point setting means sets the X coordinate of the wrist specified point to the right of the reference wrist specified point for the image fingertip point located on the right of the reference wrist specified point in the X direction. The image display device according to claim 16, wherein, for the image fingertip point located on the left side in the X direction with respect to the reference wrist specified point, the X coordinate of the wrist specified point is set on the left side of the reference wrist specified point. . 前記指方向規定点設定手段は、前記基準手首規定点に対するＸ方向変位の大きい前記画像指先点ほど、前記基準手首規定点からのＸ方向への変位が大きくなるように前記手首規定点を設定する請求項１７記載の画像表示装置。   The finger direction specified point setting means sets the wrist specified point so that the displacement in the X direction from the reference wrist specified point becomes larger as the image fingertip point has a larger X-direction displacement with respect to the reference wrist specified point. The image display device according to claim 17. 操作者の指先によるタッチ操作を一方の板面側にて支持しつつ受け付ける透明入力支持板を有し、前記画面領域に対応した入力座標系が該透明入力支持板の前記板面に沿って設定されるとともに、前記タッチ操作による入力位置を検出してその座標情報を出力する位置入力装置と、
前記透明入力支持板の他方の板面側から該透明入力支持板を介して、手撮影カメラにより前記操作者の指を含む手の画像データを撮影取得する画像データ取得手段と、
前記画像データ上にて前記指の像である原指像の指先部分の位置を画像指先点として特定する画像指先点特定手段と、
前記画面領域の前記画像指先点に対応する位置に、前記原指像よりも相対的に狭幅となる指示体画像を表示する指示体画像表示手段と、
を備えたことを特徴とする操作装置。 A transparent input support plate that accepts a touch operation by an operator's fingertip while supporting it on one plate surface side, and an input coordinate system corresponding to the screen area is set along the plate surface of the transparent input support plate A position input device that detects an input position by the touch operation and outputs coordinate information;
Image data obtaining means for photographing and obtaining image data of a hand including the operator's finger by a hand photographing camera from the other plate surface side of the transparent input supporting plate through the transparent input supporting plate;
Image fingertip point specifying means for specifying the position of the fingertip portion of the original finger image that is the image of the finger on the image data as an image fingertip point;
A pointer image display means for displaying a pointer image that is relatively narrower than the original finger image at a position corresponding to the image fingertip point in the screen area;
An operating device comprising:
JP2008238274A 2008-09-17 2008-09-17 Image display method, image display device, and operation device using the same Pending JP2010072840A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008238274A JP2010072840A (en) 2008-09-17 2008-09-17 Image display method, image display device, and operation device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008238274A JP2010072840A (en) 2008-09-17 2008-09-17 Image display method, image display device, and operation device using the same

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012283405A Division JP5459385B2 (en) 2012-12-26 2012-12-26 Image display apparatus and indicator image display method

Publications (1)

Publication Number Publication Date
JP2010072840A true JP2010072840A (en) 2010-04-02

Family

ID=42204573

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008238274A Pending JP2010072840A (en) 2008-09-17 2008-09-17 Image display method, image display device, and operation device using the same

Country Status (1)

Country Link
JP (1) JP2010072840A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013140358A (en) * 2012-12-26 2013-07-18 Denso Corp Image display device, and display method for pointer image
JP2013156883A (en) * 2012-01-31 2013-08-15 Denso Corp Input device
JP2014524071A (en) * 2011-06-06 2014-09-18 マイクロソフト コーポレーション System that recognizes open or closed hands
JP2014524070A (en) * 2011-06-06 2014-09-18 マイクロソフト コーポレーション Finger recognition and tracking system
CN111142663A (en) * 2019-12-27 2020-05-12 恒信东方文化股份有限公司 Gesture recognition method and gesture recognition system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000006687A (en) * 1998-06-25 2000-01-11 Yazaki Corp Onboard equipment switch safety operation system
JP2008158675A (en) * 2006-12-21 2008-07-10 Toyota Motor Corp Operation device for vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000006687A (en) * 1998-06-25 2000-01-11 Yazaki Corp Onboard equipment switch safety operation system
JP2008158675A (en) * 2006-12-21 2008-07-10 Toyota Motor Corp Operation device for vehicle

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014524071A (en) * 2011-06-06 2014-09-18 マイクロソフト コーポレーション System that recognizes open or closed hands
JP2014524070A (en) * 2011-06-06 2014-09-18 マイクロソフト コーポレーション Finger recognition and tracking system
JP2013156883A (en) * 2012-01-31 2013-08-15 Denso Corp Input device
US9134831B2 (en) 2012-01-31 2015-09-15 Denso Corporation Input apparatus
JP2013140358A (en) * 2012-12-26 2013-07-18 Denso Corp Image display device, and display method for pointer image
CN111142663A (en) * 2019-12-27 2020-05-12 恒信东方文化股份有限公司 Gesture recognition method and gesture recognition system
CN111142663B (en) * 2019-12-27 2024-02-02 恒信东方文化股份有限公司 Gesture recognition method and gesture recognition system

Similar Documents

Publication Publication Date Title
JP4771183B2 (en) Operating device
US8593417B2 (en) Operation apparatus for in-vehicle electronic device and method for controlling the same
US20100079413A1 (en) Control device
JP3997566B2 (en) Drawing apparatus and drawing method
CN101379455B (en) Input device and its method
JP6323040B2 (en) Image processing apparatus, image processing method, and program
JP4605170B2 (en) Operation input device
US20040021663A1 (en) Information processing method for designating an arbitrary point within a three-dimensional space
JP4626860B2 (en) Operating device
JP4513830B2 (en) Drawing apparatus and drawing method
JP4783456B2 (en) Video playback apparatus and video playback method
US20090002342A1 (en) Information Processing Device
JP2000056896A (en) Pointing device
WO2006013783A1 (en) Input device
JP2006209359A (en) Apparatus, method and program for recognizing indicating action
JP2007286696A (en) Input device
JP2010072840A (en) Image display method, image display device, and operation device using the same
JP2007141177A (en) Operation input device
US20090251492A1 (en) Storage medium storing image conversion program and image conversion apparatus
JP5311080B2 (en) In-vehicle electronic device operation device
JP4692937B2 (en) In-vehicle electronic device operation device
JP4945694B2 (en) Video playback apparatus and video playback method
CN112840379A (en) Information processing apparatus, information processing method, and program
JP5459385B2 (en) Image display apparatus and indicator image display method
JP7495651B2 (en) Object attitude control program and information processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120322

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20121002

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121004