JP2013222317A - Numerical control device - Google Patents

Numerical control device Download PDF

Info

Publication number
JP2013222317A
JP2013222317A JP2012093536A JP2012093536A JP2013222317A JP 2013222317 A JP2013222317 A JP 2013222317A JP 2012093536 A JP2012093536 A JP 2012093536A JP 2012093536 A JP2012093536 A JP 2012093536A JP 2013222317 A JP2013222317 A JP 2013222317A
Authority
JP
Japan
Prior art keywords
display
image
numerical control
displayed
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012093536A
Other languages
Japanese (ja)
Inventor
Jun Fujita
純 藤田
Chihiro Saga
千尋 佐賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shibaura Machine Co Ltd
Original Assignee
Toshiba Machine Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Machine Co Ltd filed Critical Toshiba Machine Co Ltd
Priority to JP2012093536A priority Critical patent/JP2013222317A/en
Publication of JP2013222317A publication Critical patent/JP2013222317A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a numerical control device for enabling a user to change an image to be displayed on a display screen without taking his or her eyes off the display screen of a display unit, or dirtying the display screen of the display unit.SOLUTION: A numerical control device 1 includes: a display unit 3 for displaying an image; a camera 5 for photographing an object existing away from an image display part 4 of the display unit 3; and a control part 7 for recognizing a video taken by the camera 5, and for changing the image to be displayed by the display unit 3 in accordance with the result of recognition.

Description

本発明は、数値制御装置に係り、特に、カメラを用いたHMI(Human Machine Interface;ユーザインタフェース)を備えたものに関する。   The present invention relates to a numerical control device, and more particularly to a device provided with an HMI (Human Machine Interface) using a camera.

工作機械や産業機械等の数値制御装置のHMIは、オペレータに数値制御装置内の情報を伝達したり、オペレータが数値制御装置へ情報を入力したりするために使用される。   An HMI of a numerical control device such as a machine tool or an industrial machine is used to transmit information in the numerical control device to an operator or to input information to the numerical control device.

従来、数値制御装置の表示器の表示されている画面(表示画面)の切り換え等は、数値制御装置に設けられているディスクリートキーを押し、または、表示器に設置されたタッチパネルで表示画面に表示されているキーを操作することでなされている。   Conventionally, switching of the screen (display screen) displayed on the display unit of the numerical control device is displayed on the display screen by pressing a discrete key provided on the numerical control device or using a touch panel installed on the display unit. This is done by operating the keys that are being used.

なお、上記従来の技術に関連する特許文献として、たとえば特許文献1を掲げることができる。   As a patent document related to the above conventional technique, for example, Patent Document 1 can be listed.

特開平11−345012号公報JP-A-11-345012

ところで、数値制御装置に設けられているディスクリートキーを押すことで表示画面を切り換える(選択する)場合には、数値制御装置の表示器に表示したい画面を選択するキーを、表示器から目を一旦離して探し出し、この探し出したキーを押す必要がある。つまり、数値制御装置の表示器で表示する画像を切り換えるときには、表示画面から一旦目を離さなければならないという問題がある。   By the way, when the display screen is switched (selected) by pressing a discrete key provided in the numerical control device, a key for selecting a screen to be displayed on the display of the numerical control device is temporarily displayed from the display. You need to find it and press the key you found. That is, there is a problem that when switching the image to be displayed on the display of the numerical control device, it is necessary to first take a look away from the display screen.

また、表示器に設置されたタッチパネルで表示画面に表示されているキーを操作して表示画面を切り換える場合には、油等で汚れているオペレータの手、もしくは、オペレータがしている手袋(油等で汚れている手袋)が表示器の表示画面に触れるので、表示器の表示画面が汚れてしまうという問題がある。   In addition, when switching the display screen by operating the keys displayed on the display screen using the touch panel installed on the display unit, the operator's hand that is soiled with oil or the gloves (oil Since the gloves that are soiled by the touch of the display screen of the display unit, the display screen of the display unit becomes dirty.

本発明は、上記問題点に鑑みてなされたものであり、表示器の表示画面から目を離すことなく、また、表示器の表示画面を汚すことなく、表示画面が表示する画像を切り換えることができる数値制御装置を提供することを目的とする。   The present invention has been made in view of the above problems, and can switch an image displayed on a display screen without keeping an eye on the display screen of the display unit and without contaminating the display screen of the display unit. An object of the present invention is to provide a numerical control device that can be used.

請求項1に記載の発明は、画像を表示する表示器と、前記表示器の画像表示部から離れて存在している物体を撮影するカメラと、前記カメラで撮影した映像を認識し、この認識結果に応じて、前記表示器で表示する画像を切り換える制御部とを有する数値制御装置である。   The invention according to claim 1 recognizes and recognizes a display that displays an image, a camera that captures an object that is located away from the image display unit of the display, and a video that is captured by the camera. The numerical control device includes a control unit that switches an image to be displayed on the display according to a result.

請求項2に記載の発明は、請求項1に記載の数値制御装置において、前記カメラは、複数設けられており、前記各カメラのそれぞれは、前記物体を異なる方向から撮影するように配置されており、前記制御部は、表示器に表示されている画像のうちの前記物体が指している箇所を、前記各カメラのそれぞれが撮影した各映像によって認識し、この認識結果に応じて、前記表示器で表示する画像を切り換えるように構成されている数値制御装置である。   According to a second aspect of the present invention, in the numerical control apparatus according to the first aspect, a plurality of the cameras are provided, and each of the cameras is arranged to photograph the object from different directions. And the control unit recognizes the position indicated by the object in the image displayed on the display device based on each image captured by each of the cameras, and displays the display according to the recognition result. A numerical control device configured to switch an image to be displayed on the device.

請求項3に記載の発明は、請求項1または請求項2に記載の数値制御装置において、前記制御部は、時刻の経過に応じて前記カメラで前記物体を複数回撮影し、これらの撮影した各映像から前記物体を認識し、この認識結果に応じて、前記表示器で表示する画像を切り換えるように構成されている数値制御装置である。   According to a third aspect of the present invention, in the numerical control device according to the first or second aspect, the control unit photographs the object a plurality of times with the camera according to the passage of time, and photographs these objects. The numerical control device is configured to recognize the object from each video and switch an image to be displayed on the display device according to the recognition result.

請求項4に記載の発明は、物体を撮影するカメラと、前記カメラで撮影した映像を認識し、この認識結果に応じて、情報を入力しもしくは出力する制御部とを有する数値制御装置である。   According to a fourth aspect of the present invention, there is provided a numerical control apparatus including a camera that captures an object and a controller that recognizes an image captured by the camera and inputs or outputs information according to the recognition result. .

請求項5に記載の発明は、請求項4に記載の数値制御装置において、前記カメラは、複数設けられており、前記各カメラのそれぞれは、前記物体を異なる方向から撮影するように配置されており、前記制御部は、表示器に表示されている画像のうちの前記物体が指している箇所を、前記各カメラのそれぞれが撮影した各映像によって認識し、この認識結果に応じて、情報を入力しもしくは出力するように構成されている数値制御装置である。   According to a fifth aspect of the present invention, in the numerical control apparatus according to the fourth aspect, a plurality of the cameras are provided, and each of the cameras is arranged to photograph the object from different directions. And the control unit recognizes the location indicated by the object in the image displayed on the display device by each image captured by each of the cameras, and determines information according to the recognition result. A numerical control device configured to input or output.

請求項6に記載の発明は、請求項4または請求項5に記載の数値制御装置において、前記制御部は、時刻の経過に応じて前記カメラで前記物体を複数回撮影し、これらの撮影した各映像から前記物体を認識し、この認識結果に応じて、情報を入力しもしくは出力するように構成されている数値制御装置である。   According to a sixth aspect of the present invention, in the numerical control device according to the fourth or fifth aspect, the control unit photographs the object a plurality of times with the camera according to the passage of time, and photographs these objects. The numerical control device is configured to recognize the object from each video and to input or output information according to the recognition result.

本発明によれば、表示器の表示画面から目を離すことなく、また、表示器の表示画面を汚すことなく、表示画面が表示する画像を切り換えることができるという効果を奏する。   According to the present invention, there is an effect that it is possible to switch an image displayed on the display screen without keeping an eye on the display screen of the display device and without contaminating the display screen of the display device.

本発明の実施形態に係る数値制御装置の正面図である。It is a front view of the numerical control apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る数値制御装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the numerical control apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る数値制御装置のPCボードの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of PC board of the numerical control apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る数値制御装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the numerical control apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る数値制御装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the numerical control apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る数値制御装置のバッファの構成を示す図である。It is a figure which shows the structure of the buffer of the numerical control apparatus which concerns on embodiment of this invention. 変形例に係る数値制御装置の正面図である。It is a front view of the numerical controller which concerns on a modification. 本発明の実施形態に係る数値制御装置の表示器の表示画面の例を示す図である。It is a figure which shows the example of the display screen of the indicator of the numerical control apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る数値制御装置の表示器の表示画面の例を示す図である。It is a figure which shows the example of the display screen of the indicator of the numerical control apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る数値制御装置の表示器の表示画面の例を示す図である。It is a figure which shows the example of the display screen of the indicator of the numerical control apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る数値制御装置の表示器の表示画面の例を示す図である。It is a figure which shows the example of the display screen of the indicator of the numerical control apparatus which concerns on embodiment of this invention.

本発明の実施形態に係る数値制御装置1は、図1〜図3で示すように、表示器3とカメラ5と制御部(PCボード)7とを備えて構成されている。   As shown in FIGS. 1 to 3, the numerical control device 1 according to the embodiment of the present invention includes a display 3, a camera 5, and a control unit (PC board) 7.

表示器3は、LCD等で構成されており、図8〜図11で示すような画像(情報)を表示するようになっている。   The display 3 is composed of an LCD or the like, and displays images (information) as shown in FIGS.

カメラ(たとえばCCDカメラ)5は、表示器3の画像表示部4から離れて存在している物体を撮影するものである。カメラ5は、表示器3の周辺で数値制御装置1の筐体9に一体的に設けられている。そして、カメラ5は、表示器3の前面に配置されている画像表示部(表示画面;画面)4の前方で表示器3の画像表示部4から離れて存在している物体を撮影することができるようになっている。   The camera (for example, a CCD camera) 5 captures an object that is present away from the image display unit 4 of the display 3. The camera 5 is provided integrally with the housing 9 of the numerical control device 1 around the display device 3. Then, the camera 5 can photograph an object existing away from the image display unit 4 of the display unit 3 in front of the image display unit (display screen; screen) 4 disposed in front of the display unit 3. It can be done.

物体として、オペレータの手や筆記用具等を掲げることができる。物体は、表示器3、特に画像表示部4に接触すること無く、カメラ5で撮影されるようになっている。   As an object, an operator's hand, a writing instrument, etc. can be raised. The object is photographed by the camera 5 without touching the display 3, particularly the image display unit 4.

PCボード(制御部)7は、CPU(図示せず)を備えており、カメラ5で撮影した映像を認識し、この映像の認識結果に応じた(対応した種類の)画像(画像データに基づく画像)を、表示器3(画像表示部4)に表示するようになっている(たとえば、認識した映像に基づいて、表示器3に表示する画像を切り換えるように構成されている)。   The PC board (control unit) 7 includes a CPU (not shown), recognizes an image captured by the camera 5, and (corresponding type) image (based on the image data) according to the recognition result of the image. Image) is displayed on the display device 3 (image display unit 4) (for example, the image displayed on the display device 3 is switched based on the recognized video).

制御部7による、カメラ5で撮影した映像の認識は、たとえば、無償のオープンソース画像処理ライブラル集(openCV)を使用してなされるものとする(実践OpenCV映像処理&解析、著者;永田雅人、発行;株式会社カットシステム、2009年6月1日初版第1刷発行、2010年9月1日第2刷発行、P13〜P14を参照)。   The recognition of the video imaged by the camera 5 by the control unit 7 is performed using, for example, a free collection of open source image processing libraries (openCV) (practical OpenCV video processing and analysis, author; Masato Nagata, Issue; see Cut System Co., Ltd., June 1, 2009 First Edition First Issue, September 1, 2010 Second Issue, P13-P14).

制御部7には、メモリ(図示せず)が設けられている。このメモリには、物体の形状と表示器3で表示する画像データとが予め対応づけられて記憶されている。   The control unit 7 is provided with a memory (not shown). In this memory, the shape of the object and the image data displayed on the display 3 are stored in association with each other in advance.

たとえば、1本指の手の形状(右手等の一方の手の各指のうちの人差し指のみを伸ばして他の総ての指を折り曲げた状態の人の手の形状)と、プログラムを表示する画像データ(図8に示すプログラム表示画像)とが対応付けられて記憶されている。   For example, the shape of a single-finger hand (the shape of a human hand in a state where only the index finger of one finger such as the right hand is extended and all other fingers are folded) and the program are displayed. Image data (program display image shown in FIG. 8) is stored in association with each other.

また、2本指の形状(右手等の一方の手の各指のうちの人差し指と中指を伸ばして他の指を折り曲げた状態の人の手の形状)と位置を表示する画像データ(図9に示す位置表示画像;たとえば、工作機械等に機械のX軸テーブルの位置等を数値で表示する画像)とが対応づけられて記憶されている。   Also, image data (FIG. 9) that displays the shape and position of two fingers (the shape of a person's hand in which the index and middle fingers of one finger such as the right hand are stretched and the other finger is bent). Are stored in association with each other, for example, on a machine tool or the like, which displays numerically the position of the X-axis table of the machine.

さらには、2本指の形状であっても指の開き具合の程度(人差し指と中指との間の角度の違い)に応じた画像データが記憶されている場合もある。   Furthermore, even in the case of the shape of two fingers, image data corresponding to the degree of opening of the finger (difference in angle between the index finger and the middle finger) may be stored.

そして、たとえば、カメラ5で撮影した映像によって1本指の手を制御部7が認識した場合、制御部7は、それまで表示器3に表示されていた画像をプログラム表示画像(図8参照)に切り換えるようになっており、また、カメラ5で撮影した映像によって2本指を制御部7が認識した場合には、制御部7は、それまで表示器3に表示されていた画像を位置表示画像(図9参照)に切り換えるようになっている。   For example, when the control unit 7 recognizes the one finger hand from the video captured by the camera 5, the control unit 7 displays the image displayed on the display 3 until then as a program display image (see FIG. 8). In addition, when the control unit 7 recognizes two fingers from the video imaged by the camera 5, the control unit 7 displays the position of the image displayed on the display unit 3 until then. Switching to an image (see FIG. 9) is made.

また、制御部7が、物体の形状に代えてもしくは加えて、物体の位置、物体の姿勢(向き)の少なくともいずれかを認識し、この認識結果に応じて、表示器3で表示する画像を切り換えるように構成されていてもよい。   Further, the control unit 7 recognizes at least one of the position of the object and the posture (orientation) of the object instead of or in addition to the shape of the object, and displays an image to be displayed on the display unit 3 according to the recognition result. It may be configured to switch.

物体の位置とは、お互いが直交しているX軸、Y軸、Z軸における物体の位置(表示器3に対する相対的な位置)であり、物体の姿勢とは、X軸に平行であって物体の中心を通る軸であるA軸、Y軸に平行であって物体の中心を通る軸であるB軸、Z軸に平行であって物体の中心を通る軸であるC軸まわりにおける物体の回動角度(表示器3に対する相対的な回動角度)である。   The position of the object is the position of the object on the X axis, the Y axis, and the Z axis that are orthogonal to each other (relative position with respect to the display 3), and the posture of the object is parallel to the X axis. An object around an A axis that is an axis passing through the center of the object, a B axis that is parallel to the Y axis and passing through the center of the object, and a C axis that is parallel to the Z axis and passing through the center of the object It is a rotation angle (relative rotation angle with respect to the display device 3).

また、数値制御装置1の制御部7によって、時刻の経過に応じてカメラ5で物体を複数回撮影し、これらの撮影した各映像から物体を認識し、この認識結果に応じて(基づいて)、表示器3で表示する画像を切り換えるようにしてもよい。   In addition, the control unit 7 of the numerical controller 1 captures an object a plurality of times with the camera 5 as time elapses, recognizes the object from each of these captured images, and (based on) the recognition result. The image displayed on the display 3 may be switched.

たとえば、制御部7が、最初の時刻tで1本指の手を認識し表示器3で1ページ目のプログラム表示画像を表示している状態で、時刻tの後の時刻tでも1本指の手を認識した場合、表示器3で2ページ目のプログラム表示画像を表示するようにしてもよい。 For example, in the state where the control unit 7 recognizes the hand of one finger at the first time t 1 and displays the program display image of the first page on the display 3, the control unit 7 also at the time t 2 after the time t 1. When the hand of one finger is recognized, the program display image of the second page may be displayed on the display 3.

また、制御部7が、時刻tで1本指の手を認識し表示器3で2ページ目のプログラム表示画像を表示している状態で、時刻tの後の時刻tでも1本指の手を認識した場合、表示器3で3ページ目のプログラム表示画像を表示するようにしてもよい。 In addition, the control unit 7 recognizes the hand of one finger at the time t 2 and displays the program display image of the second page on the display device 3, and the one at the time t 3 after the time t 2. When the hand of a finger is recognized, the program display image of the third page may be displayed on the display 3.

以下、同様にして、表示器3でnページ目の所定項目の表示画像を表示している状態で、時刻tの後の時刻tn+1でも1本指の手を認識した場合、表示器3でn+1ページ目の所定項目の表示画像を表示するようにしてもよい。 In the same manner, if in a state of displaying the display image of the predetermined items of page n in the display 3, recognized the time t n + 1, even one finger of the hand after the time t n, the display The device 3 may display a display image of a predetermined item on the (n + 1) th page.

すなわち、時刻tと時刻tn+1とで同じ物体形状を認識した場合には、時刻tと時刻tn+1の間の時間に表示器3で表示していたnページ目の所定項目の表示画像に代えて、n+1ページ目の所定項目の表示画像を表示するようにしてもよい。ただし、nは自然数である。 In other words, when recognizing the same object shape in the time t n and the time t n + 1, the time t n and the time t n + 1 time to a predetermined n-th page has been displayed on the display unit 3 between Instead of the item display image, a display image of a predetermined item on the (n + 1) th page may be displayed. However, n is a natural number.

なお、最初の時刻tで1本指の手を認識し表示器で1ページ目のプログラム表示画像を表示している状態で、時刻tの後の時刻tで、2本指の手を認識した場合、表示器3で3ページ目(1ページ目+2ページ)のプログラム表示画像を表示するようにしてもよい。 In the state where the first finger hand is recognized at the first time t 1 and the program display image of the first page is displayed on the display, the two finger hand is displayed at time t 2 after time t 1. May be displayed on the display 3 on the third page (first page + second page).

また、最初の時刻tで1本指の手を認識し表示器で1ページ目のプログラム表示画像を表示している状態で、時刻tの後の時刻tで、総ての指を折り曲げたグーの形態の手を認識した場合、プログラム表示画像に代えて位置表示画像を表示してもよい。 In addition, in the state where the hand of one finger is recognized at the first time t 1 and the program display image of the first page is displayed on the display, all fingers are moved at time t 2 after time t 1. When a hand in the form of a folded goo is recognized, a position display image may be displayed instead of the program display image.

すなわち、時刻tと時刻tn+1とで異なる物体形状を認識した場合には、時刻tと時刻tn+1の間の時間に表示器3で表示していた所定項目の表示画像に代えて、上記所定項目表示画像とは異なる所定項目表示画像を表示するように構成してもよい。 That is, the time t n and the time when it recognizes t n + 1 in a different object shape, the time t n and the time t n + 1 given item that has been displayed on the display unit 3 to the time between the display image Alternatively, a predetermined item display image different from the predetermined item display image may be displayed.

また、図7で示すように、カメラ5を複数(たとえば2つ)設けてもよい。各カメラ5のそれぞれは、お互いが離れて設置されているとともに、物体を異なる方向から撮影するように配置されている。すなわち、一方のカメラ5Aは、表示器3の上方に配置されており、斜め下方を撮影することで、表示器3の前方で表示器3から離れて存在している物体を斜め上方から撮影するようになっている。また、他方のカメラ5Bは、表示器3の側方に配置されており、斜め側方を撮影することで、表示器3の前方で表示器3から離れて存在している物体を斜め側方から撮影するようになっている。   Further, as shown in FIG. 7, a plurality of (for example, two) cameras 5 may be provided. Each of the cameras 5 is installed away from each other and is arranged so as to photograph an object from different directions. That is, one camera 5 </ b> A is arranged above the display device 3, and photographs an object located diagonally below from the display device 3 in front of the display device 3. It is like that. The other camera 5B is arranged on the side of the display unit 3, and by photographing the oblique side, an object existing away from the display unit 3 in front of the display unit 3 is obliquely lateral. It is supposed to shoot from.

カメラ5を複数設けた場合、制御部7が、表示器3に表示されている画像のうちの、物体(物体の細長い部位;たとえば一本指の人差し指)が指している箇所(たとえば、表示器3に表示されているスイッチ)を、各カメラ5のそれぞれが撮影した各映像によって認識するようになっている。また、制御部7は、上記認識結果に応じて(基づいて)、表示器3で表示する画像を切り換えるようになっている。   When a plurality of cameras 5 are provided, the control unit 7 causes the object (the elongated part of the object; for example, one index finger) in the image displayed on the display 3 to be pointed (for example, the display 3) is recognized by each image captured by each camera 5. Further, the control unit 7 switches the image displayed on the display device 3 in accordance with (based on) the recognition result.

すなわち、表示器3の画面4の一部の領域に、複数のスイッチ(テンキーやアルファベットキーや画面切り換えスイッチ)の画像が並んで表示されているとする。   That is, it is assumed that images of a plurality of switches (numeric keys, alphabet keys, and screen changeover switches) are displayed side by side in a partial area of the screen 4 of the display 3.

制御部7は、各カメラ5が撮影した映像を用いて、一本指の手の位置と姿勢とを認識することで、一本指の手の人差し指が上記各スイッチのうちのどの1つのスイッチを指しているかを認識する。この認識によって、上記1つのスイッチが押されたものとみなし、表示器3の画像を切り換えるようにようになっている。   The control unit 7 recognizes the position and posture of the one-fingered hand using the video captured by each camera 5, so that the index finger of the one-fingered hand can switch any one of the switches. Recognize what is pointing. Based on this recognition, it is assumed that the one switch has been pressed, and the image on the display 3 is switched.

たとえば、人差し指が表示器3に表示されている「1」のキーボードを指している場合には、プログラム表示画像が表示されるようになっている。   For example, when the index finger points to the “1” keyboard displayed on the display 3, a program display image is displayed.

なお、上記説明では、各スイッチのうちの所定の1つのスイッチが指されている状態が瞬間的なもの(たとえば、1/10秒以下の時間)であっても、所定の1つのスイッチが押されたものとみなしているが、各スイッチのうちの所定の1つのスイッチが指されている状態が所定の短い時間(たとえば、1/10秒〜1秒程度の時間)継続した場合にのみ、所定の1つのスイッチが押されたものとみなすようにしてもよい。   In the above description, even if the state where a predetermined one of the switches is pointed to is instantaneous (for example, a time of 1/10 second or less), the predetermined one switch is pressed. However, only when a predetermined one of the switches is pointed to for a predetermined short period of time (for example, 1/10 seconds to 1 second), You may make it consider that predetermined one switch was pushed.

ここで、数値制御装置1についてさらに詳しく説明する。   Here, the numerical controller 1 will be described in more detail.

数値制御装置1を前方から見ると、図1に示すように、筐体9の左上側には表示器3が設けられており、表示器3の下側には表示器3から離れてファンクションキー11が設けられており、表示器3の右側には表示器3から離れてテンキーやアルファベットキー13が設けられている。カメラ5Aは、表示器3の上方に配置されており、斜め下方を撮影することで、表示器3の前方で表示器3から離れて存在している物体を撮影するようになっている。カメラ5Bは、表示器3の右側方に配置されており、斜め左側方を撮影することで、表示器3の前方で表示器3から離れて存在している物体を撮影するようになっている。   When the numerical control device 1 is viewed from the front, as shown in FIG. 1, a display 3 is provided on the upper left side of the housing 9, and a function key is provided below the display 3 away from the display 3. 11 is provided, and on the right side of the display 3, a numeric keypad and alphabet keys 13 are provided apart from the display 3. The camera 5 </ b> A is arranged above the display device 3, and images an object that is present at a distance from the display device 3 in front of the display device 3 by photographing an obliquely lower portion. The camera 5B is arranged on the right side of the display device 3, and captures an object that is present away from the display device 3 in front of the display device 3 by photographing the diagonal left side. .

また、図2で示すように、カメラ5が撮影した映像信号、キー11,13が押されたことによるキー信号がPCボード7に入力されるようになっている。PCボード7とCNC制御ボード15との間ではデータ通信がなされるようになっている。工作機械等の産業機械は、CNC制御ボード15を介してPCボード7で制御されるようになっている。なお、PCボード7は、数値制御装置1の筐体9の内部に設けられている。   Further, as shown in FIG. 2, the video signal photographed by the camera 5 and the key signal when the keys 11 and 13 are pressed are input to the PC board 7. Data communication is performed between the PC board 7 and the CNC control board 15. Industrial machines such as machine tools are controlled by the PC board 7 via the CNC control board 15. The PC board 7 is provided inside the housing 9 of the numerical controller 1.

また、PCボード7から出力された表示信号に応じた画像が表示器3で表示されるようになっている。   An image corresponding to the display signal output from the PC board 7 is displayed on the display 3.

PCボード7には、図3で示すように、映像信号受信部17と画像検出部19とバッファ21と選択画面決定部23とキー信号処理部25とCNCデータ通信部27と画面表示部29と表示信号作成部31とが設けられている。   As shown in FIG. 3, the PC board 7 includes a video signal receiving unit 17, an image detecting unit 19, a buffer 21, a selection screen determining unit 23, a key signal processing unit 25, a CNC data communication unit 27, and a screen display unit 29. A display signal generation unit 31 is provided.

映像信号受信部17は、カメラ5が撮影した映像に係る映像信号を受信するものである。画像検出部19は、映像信号受信部17が受信した映像信号によって、カメラ5で撮影した映像(画像)を認識するものである。バッファ21は、画像検出部19で認識された画像の画像コードを一時的に保存するものである。選択画面決定部23は、バッファ21に保存されている画像コードに基づいて表示器3で表示する画像(選択画面)を決定するものである。   The video signal receiving unit 17 receives a video signal related to a video taken by the camera 5. The image detector 19 recognizes a video (image) taken by the camera 5 based on the video signal received by the video signal receiver 17. The buffer 21 temporarily stores the image code of the image recognized by the image detection unit 19. The selection screen determination unit 23 determines an image (selection screen) to be displayed on the display 3 based on the image code stored in the buffer 21.

キー信号処理部は、キー11,13から送られてきたキー信号を処理し、この処理したものを画面表示部29に出力するものである。これにより、数値制御装置1は、従来のものと同様に、キー11,13を押すことで、表示器3が表示する画面を切り換えることができるようになっている。CNCデータ通信部27は、CNC制御ボード15との間でデータ通信するときに使用されるものであり、通信データが、CNCデータ通信部27を介して、画面表示部29とCNC制御ボード15との間で送受信されるようになっている。   The key signal processing unit processes key signals sent from the keys 11 and 13 and outputs the processed signals to the screen display unit 29. As a result, the numerical controller 1 can switch the screen displayed on the display 3 by pressing the keys 11 and 13 as in the prior art. The CNC data communication unit 27 is used when data communication is performed with the CNC control board 15. The communication data is transmitted via the CNC data communication unit 27 to the screen display unit 29, the CNC control board 15, and the like. Are sent and received between them.

画面表示部29は、選択画面決定部23で決定した選択画面を受け取って、表示信号作成部31に送るものであり、表示信号作成部31は、受け取った選択画面を表す表示信号を表示器3に出力するものである。   The screen display unit 29 receives the selection screen determined by the selection screen determination unit 23 and sends the selection screen to the display signal creation unit 31. The display signal creation unit 31 displays the received display signal indicating the selection screen on the display 3. Is output.

ここで、画像検出部19等の動作を説明する。   Here, the operation of the image detection unit 19 and the like will be described.

画像検出部19は、図4で示すように、まず、画像中の物体を検出する(S1)。すなわち、映像データが画像処理して認識する。なお、カメラ5は、常にオンしているものとする。   As shown in FIG. 4, the image detection unit 19 first detects an object in the image (S1). That is, video data is recognized by image processing. It is assumed that the camera 5 is always on.

続いて、検出した物体とサンプル画像(図示しないメモリに記憶されているサンプル画像)と比較し、検出した物体とサンプル画像とがお互いに一致しない場合には、ステップS1に戻り、検出した物体とサンプル画像とがお互いに一致した場合には、ステップS7に進む。たとえば、ステップS5で一本指を認識した場合には、ステップS7に進む。   Subsequently, the detected object is compared with a sample image (a sample image stored in a memory (not shown)). If the detected object and the sample image do not match each other, the process returns to step S1, and the detected object and If the sample images match each other, the process proceeds to step S7. For example, if one finger is recognized in step S5, the process proceeds to step S7.

ステップS7では、一致した物体の動きを検出し、続いて、ステップS9で、物体がたとえば所定時間停止したか否かを判断する。物体が所定時間停止していないときには、ステップS7に戻り、物体が所定時間停止した場合には、ステップS11に進む。   In step S7, the movement of the matched object is detected, and then in step S9, it is determined whether or not the object has stopped for a predetermined time, for example. When the object has not stopped for a predetermined time, the process returns to step S7, and when the object has stopped for a predetermined time, the process proceeds to step S11.

ステップS11、S13では、物体とサンプル画像と比較し、検出した物体とサンプル画像とがお互いに一致しない場合には、ステップS11に戻り、検出した物体とサンプル画像とがお互いに一致した場合には、ステップS15に進む。   In steps S11 and S13, the object is compared with the sample image. If the detected object and the sample image do not match each other, the process returns to step S11, and if the detected object and the sample image match each other. The process proceeds to step S15.

ステップS15では、一致した画像のコードと現在の時刻とを対応ずけてバッファ21にセットする(図6参照)。   In step S15, the matched image code and the current time are associated with each other and set in the buffer 21 (see FIG. 6).

次に、画面表示部29等の動作を説明する。   Next, the operation of the screen display unit 29 will be described.

選択画面決定部23は、図5で示すように、バッファ21のコードとセットされた時刻の間隔とから選択画面を決定する(S21)。続いて、表示画面選択信号を画面表示部29へ送る(S23)。   As shown in FIG. 5, the selection screen determination unit 23 determines a selection screen from the code of the buffer 21 and the set time interval (S21). Subsequently, a display screen selection signal is sent to the screen display unit 29 (S23).

数値制御装置1によれば、表示器3の画像表示部4から離れて存在しているオペレータの手をカメラ5で撮影しこの撮影した映像の認識結果に応じた画像を表示器3に表示するようになっているので、オペレータが、画像表示部4から目を離してキー等を探し出す必要が無く、また、オペレータの手等が画像表示部4に触れることがなくなっており、表示器3の表示画面から目を離すことなく、表示器3の表示画面を汚すことなく、表示器3に表示される画像を選択する(たとえば、切り換える)ことができる。   According to the numerical control device 1, an operator's hand that is away from the image display unit 4 of the display 3 is photographed by the camera 5, and an image corresponding to the recognition result of the photographed video is displayed on the display 3. Therefore, it is not necessary for the operator to look away from the image display unit 4 to find a key or the like, and the operator's hand does not touch the image display unit 4. It is possible to select (for example, switch) an image displayed on the display unit 3 without keeping an eye on the display screen and without contaminating the display screen of the display unit 3.

また、数値制御装置1によれば、カメラ5が複数設けられており、各カメラ5A,5Bそれぞれがオペレータの手を異なる方向から撮影するように配置されており、表示器3に表示されている画像のうちの人差し指が指している箇所を、各カメラ5A,5Bのそれぞれが撮影した各映像によって認識し、この認識結果に基づいて、表示器3で表示する画像を切り換えるように構成されているので、手の形状を認識する場合に比べて多様な画像の表示をすることができる。   Further, according to the numerical control device 1, a plurality of cameras 5 are provided, and the cameras 5 </ b> A and 5 </ b> B are arranged so as to photograph the operator's hand from different directions and are displayed on the display 3. The part of the image pointed to by the index finger is recognized by each image captured by each of the cameras 5A and 5B, and the image displayed on the display 3 is switched based on the recognition result. Therefore, various images can be displayed as compared with the case of recognizing the hand shape.

また、数値制御装置1によれば、撮影した各映像から手を認識しこの認識結果に応じて表示器3で表示する画像を切り換えるので、1回だけ手の形状を認識する場合に比べてより広い態様で表示器3が表示する画像を切り換えることができる。   In addition, according to the numerical control device 1, the hand is recognized from each captured image, and the image to be displayed on the display unit 3 is switched according to the recognition result, so that the shape of the hand is recognized more than once. Images displayed on the display 3 can be switched in a wide manner.

ところで、上述した数値制御装置1は、制御部7が、カメラ5で撮影した映像を認識しこの映像の認識結果に応じた情報を入力しもしくは出力する制御をする数値制御装置の例である。情報の入力として、たとえば、数値制御装置1に入力される位置データ等を掲げることができる。情報の出力として、表示器3が表示する画像や表示器3が表示している画像の切り換えやCNC制御ボード15を介してなされる機械の動作等が含まれる。   By the way, the numerical control device 1 described above is an example of a numerical control device in which the control unit 7 performs control for recognizing a video captured by the camera 5 and inputting or outputting information according to the recognition result of the video. As input of information, for example, position data input to the numerical controller 1 can be listed. The output of information includes an image displayed on the display unit 3, switching of an image displayed on the display unit 3, machine operation performed via the CNC control board 15, and the like.

そして、カメラが複数設けられている場合には、制御部は、表示器3に表示されている画像のうちの物体が指している箇所を各カメラ5のそれぞれが撮影した各映像によって認識し、この認識結果に応じて数値制御装置1への情報の入力をし、もしくは、数値制御装置1からの情報の出力をするように構成されている。   Then, when a plurality of cameras are provided, the control unit recognizes a position pointed to by the object in the image displayed on the display device 3 by each image captured by each camera 5, Information is input to the numerical control device 1 in accordance with the recognition result, or information is output from the numerical control device 1.

また、制御部7は、時刻の経過に応じてカメラ5で物体を複数回撮影し、これらの撮影した各映像から物体を認識し、この認識結果に応じて、情報を入力しもしくは出力するように構成されている。   Also, the control unit 7 captures an object multiple times with the camera 5 as time passes, recognizes the object from each of these captured images, and inputs or outputs information according to the recognition result. It is configured.

1 数値制御装置
3 表示器
4 画像表示部
5、5A、5B カメラ
7 制御部
DESCRIPTION OF SYMBOLS 1 Numerical control apparatus 3 Display 4 Image display part 5, 5A, 5B Camera 7 Control part

Claims (6)

画像を表示する表示器と、
前記表示器の画像表示部から離れて存在している物体を撮影するカメラと、
前記カメラで撮影した映像を認識し、この認識結果に応じて、前記表示器で表示する画像を切り換える制御部と、
を有することを特徴とする数値制御装置。
A display for displaying images;
A camera for photographing an object existing away from the image display unit of the display;
A controller for recognizing video captured by the camera and switching an image to be displayed on the display according to the recognition result;
A numerical control device comprising:
請求項1に記載の数値制御装置において、
前記カメラは、複数設けられており、前記各カメラのそれぞれは、前記物体を異なる方向から撮影するように配置されており、
前記制御部は、表示器に表示されている画像のうちの前記物体が指している箇所を、前記各カメラのそれぞれが撮影した各映像によって認識し、この認識結果に応じて、前記表示器で表示する画像を切り換えるように構成されていることを特徴とする数値制御装置。
The numerical control apparatus according to claim 1,
A plurality of the cameras are provided, and each of the cameras is arranged to photograph the object from different directions,
The control unit recognizes a position pointed to by the object in an image displayed on the display by each image captured by each of the cameras, and the display uses the display according to the recognition result. A numerical control device configured to switch an image to be displayed.
請求項1または請求項2に記載の数値制御装置において、
前記制御部は、時刻の経過に応じて前記カメラで前記物体を複数回撮影し、これらの撮影した各映像から前記物体を認識し、この認識結果に応じて、前記表示器で表示する画像を切り換えるように構成されていることを特徴とする数値制御装置。
In the numerical control device according to claim 1 or 2,
The control unit captures the object with the camera a plurality of times as time passes, recognizes the object from each captured image, and displays an image to be displayed on the display unit according to the recognition result. A numerical control device characterized by being configured to switch.
物体を撮影するカメラと、
前記カメラで撮影した映像を認識し、この認識結果に応じて、情報を入力しもしくは出力する制御部と、
を有することを特徴とする数値制御装置。
A camera that shoots objects,
A controller for recognizing an image captured by the camera and inputting or outputting information according to the recognition result;
A numerical control device comprising:
請求項4に記載の数値制御装置において、
前記カメラは、複数設けられており、前記各カメラのそれぞれは、前記物体を異なる方向から撮影するように配置されており、
前記制御部は、表示器に表示されている画像のうちの前記物体が指している箇所を、前記各カメラのそれぞれが撮影した各映像によって認識し、この認識結果に応じて、情報を入力しもしくは出力するように構成されていることを特徴とする数値制御装置。
The numerical control apparatus according to claim 4, wherein
A plurality of the cameras are provided, and each of the cameras is arranged to photograph the object from different directions,
The control unit recognizes a position indicated by the object in the image displayed on the display device based on each image captured by each of the cameras, and inputs information according to the recognition result. Alternatively, a numerical control device configured to output.
請求項4または請求項5に記載の数値制御装置において、
前記制御部は、時刻の経過に応じて前記カメラで前記物体を複数回撮影し、これらの撮影した各映像から前記物体を認識し、この認識結果に応じて、情報を入力しもしくは出力するように構成されていることを特徴とする数値制御装置。
In the numerical control device according to claim 4 or 5,
The control unit captures the object with the camera a plurality of times as time passes, recognizes the object from each captured image, and inputs or outputs information depending on the recognition result. It is comprised in the numerical control apparatus characterized by the above-mentioned.
JP2012093536A 2012-04-17 2012-04-17 Numerical control device Pending JP2013222317A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012093536A JP2013222317A (en) 2012-04-17 2012-04-17 Numerical control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012093536A JP2013222317A (en) 2012-04-17 2012-04-17 Numerical control device

Publications (1)

Publication Number Publication Date
JP2013222317A true JP2013222317A (en) 2013-10-28

Family

ID=49593232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012093536A Pending JP2013222317A (en) 2012-04-17 2012-04-17 Numerical control device

Country Status (1)

Country Link
JP (1) JP2013222317A (en)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63136208A (en) * 1986-11-28 1988-06-08 Mitsubishi Electric Corp Numerical controller
JPH05189110A (en) * 1992-01-09 1993-07-30 Fanuc Ltd Input device
JPH0844490A (en) * 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd Interface device
JPH09185456A (en) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd Interface device
JPH11345012A (en) * 1998-06-02 1999-12-14 Fanuc Ltd Screen switching device for numerical controller
JP2003316510A (en) * 2002-04-23 2003-11-07 Nippon Hoso Kyokai <Nhk> Display device for displaying point instructed on display screen and display program
JP2005031799A (en) * 2003-07-08 2005-02-03 Sony Computer Entertainment Inc Control system and method
JP2005063092A (en) * 2003-08-11 2005-03-10 Keio Gijuku Hand pattern switch device
JP2009217477A (en) * 2008-03-10 2009-09-24 Mitsubishi Electric Corp Input device
JP2011022945A (en) * 2009-07-17 2011-02-03 Dainippon Printing Co Ltd Fingertip-manipulation-type information providing system, program, and storage medium
JP2011100396A (en) * 2009-11-09 2011-05-19 Hitachi Ltd Video display device

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63136208A (en) * 1986-11-28 1988-06-08 Mitsubishi Electric Corp Numerical controller
JPH05189110A (en) * 1992-01-09 1993-07-30 Fanuc Ltd Input device
JPH0844490A (en) * 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd Interface device
JPH09185456A (en) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd Interface device
JPH11345012A (en) * 1998-06-02 1999-12-14 Fanuc Ltd Screen switching device for numerical controller
JP2003316510A (en) * 2002-04-23 2003-11-07 Nippon Hoso Kyokai <Nhk> Display device for displaying point instructed on display screen and display program
JP2005031799A (en) * 2003-07-08 2005-02-03 Sony Computer Entertainment Inc Control system and method
JP2005063092A (en) * 2003-08-11 2005-03-10 Keio Gijuku Hand pattern switch device
JP2009217477A (en) * 2008-03-10 2009-09-24 Mitsubishi Electric Corp Input device
JP2011022945A (en) * 2009-07-17 2011-02-03 Dainippon Printing Co Ltd Fingertip-manipulation-type information providing system, program, and storage medium
JP2011100396A (en) * 2009-11-09 2011-05-19 Hitachi Ltd Video display device

Similar Documents

Publication Publication Date Title
JP5802667B2 (en) Gesture input device and gesture input method
EP1980935A1 (en) Information processing device
CN104461255B (en) Page display method and device, electronic equipment
WO2012039140A1 (en) Operation input apparatus, operation input method, and program
CN106066537B (en) Head-mounted display and control method of head-mounted display
US20070216642A1 (en) System For 3D Rendering Applications Using Hands
EP2685366A2 (en) Tablet device, and operation receiving method
JP5333397B2 (en) Information processing terminal and control method thereof
KR101797260B1 (en) Information processing apparatus, information processing system and information processing method
US10234955B2 (en) Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
JP2010184600A (en) Onboard gesture switch device
JP2009140368A (en) Input device, display device, input method, display method, and program
JP2013003647A (en) Information processing apparatus and program
JP2013061848A (en) Noncontact input device
JP2016115231A (en) Object operation system, object operation control program and object operation control method
CN110574000B (en) display device
KR20130118895A (en) Method and device for detecting gesture inputs
JP2012252584A (en) Virtual keyboard input method
CN105824553A (en) Touch method and mobile terminal
JP2013114647A (en) Gesture input system
WO2015127731A1 (en) Soft keyboard layout adjustment method and apparatus
JP2012113666A (en) Display size switching touch panel
JP6737239B2 (en) Display device and display control program
JP7203436B2 (en) USER INTERFACE DEVICE, USER INTERFACE SYSTEM AND PROGRAM FOR USER INTERFACE
JP2013222317A (en) Numerical control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160119

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160510