JP7349653B2 - image identification system - Google Patents
image identification system Download PDFInfo
- Publication number
- JP7349653B2 JP7349653B2 JP2018230845A JP2018230845A JP7349653B2 JP 7349653 B2 JP7349653 B2 JP 7349653B2 JP 2018230845 A JP2018230845 A JP 2018230845A JP 2018230845 A JP2018230845 A JP 2018230845A JP 7349653 B2 JP7349653 B2 JP 7349653B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- user
- image processing
- identification system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
Description
本発明は、画像識別システムに関する。 The present invention relates to an image identification system.
人間が目視にて物体をするには、その物体が発光しているか、あるいは他の発光体から放射される光をその物体が反射した光、のいずれかが目に到達し、これが刺激となって脳に伝わり、脳内で光の刺激情報が高度に処理される、というプロセスを経る。このプロセス中では、目に光が到達することが欠かせないため、物体が発光している場合を除いて、暗所で物体を認識することはできず、暗所での活動には、懐中電灯や照明などの、何らかの可視光線照射システムが必須となる。 When humans visually see an object, either the object emits light, or the object reflects light emitted from another light emitting object, which reaches the eye and becomes a stimulus. The light is transmitted to the brain, where it undergoes a process in which the light stimulation information is processed at a high level. During this process, light reaching the eyes is essential, so objects cannot be recognized in the dark unless they are luminescent, and activities in the dark require the use of pocket lights. Some kind of visible light irradiation system, such as electric lights or lighting, is essential.
こうした、知覚と脳の処理プロセスに着目し、夜間での物体の認知能力を高める工夫がある（特許文献１）。しかしながら、上記特許文献１に記載のシステムは、暗所でないとその効果を明確に発揮させることは難しかった。 Focusing on such perception and processing processes of the brain, there is a device to improve the ability to recognize objects at night (Patent Document 1). However, it is difficult for the system described in Patent Document 1 to clearly demonstrate its effects unless it is in a dark place.
日中のような明所で物体の認知能力を高めることができれば、作業の確実性や安全性を高めることができる。
本発明は、上記の問題を有利に解決するものであり、昼間のような明所で物体の認知能力を高めることができ、ひいては作業の確実性や安全性を高めることができる画像識別システムを提供することを目的とする。
If we can improve our ability to recognize objects in bright places like during the day, we can improve the reliability and safety of our work.
The present invention advantageously solves the above-mentioned problems, and provides an image identification system that can improve the ability to recognize objects in bright places such as daytime, and further improve the reliability and safety of work. The purpose is to provide.
物体の認知能力を高めることに関し、脳内での刺激情報の処理は非常に複雑であることから、光の刺激情報が短時間に多量に押し寄せると、この処理が追いつかず、いわゆる見落とし、という現象が発生する。逆に言えば、観察に関係のない刺激情報を極力少なくした条件下であれば、非常にわずかな光刺激であっても、人間はたちどころに感知・認識することができる。 Regarding improving the ability to recognize objects, the processing of stimulus information in the brain is extremely complex, so when a large amount of light stimulus information is bombarded in a short period of time, this processing cannot keep up, resulting in a phenomenon called oversight. occurs. Conversely, under conditions where stimulus information unrelated to observation is minimized, humans can immediately sense and recognize even the slightest optical stimulus.
本発明者らは、特許文献１に記載のシステム及び上記の着想を基に、昼間のような明所で物体の認知能力を高めることができるシステムを開発するために研究開発を進めた結果、特許文献１のように光線を照射することなく昼間のような明所で物体の認知能力を高めるためには、対象物と関係のない部分の明度を下げる画像処理、及び対象物そのものの明度もしくは彩度を上げる画像処理のうちの少なくとも一つの処理を行い、処理後の映像データを表示させて視覚情報として目に入力させればよいことを見いだし、本発明に至った。 The present inventors conducted research and development based on the system described in Patent Document 1 and the above idea to develop a system that can improve object recognition ability in bright places such as daytime. In order to improve the ability to recognize objects in a bright place such as daytime without irradiating with light as in Patent Document 1, image processing that reduces the brightness of parts unrelated to the object, and the brightness of the object itself or The inventors have discovered that it is sufficient to perform at least one of image processing to increase saturation, display the processed video data, and input it to the eyes as visual information, leading to the present invention.
本発明の画像識別システムは、以下のものである。
［１］
対象物を含む画像を撮像可能な撮像装置と、
該撮像装置と接続され、色情報を含む映像データを処理する画像処理装置と、
該画像処理装置と接続され、画像を表示する画像表示装置と、
を備え、
前記画像処理装置が、前記撮像装置から入力された前記映像データのうち、対象物が有している色としてユーザーが選択する一色以上の色が含まれる領域をそのままの色か、所定の有彩色か、又は強調された無彩色とし、ユーザーが選択する色が含まれない領域をモノクロームとする画像処理をし、該画像処理後の映像データを前記画像表示装置に出力するものである、
画像識別システム、
［２］
前記画像処理が、ユーザーが選択する一色以上の色が含まれる領域の色の色相、明度又は彩度を変更する処理、該領域を拡大する処理、該領域を点滅させる処理、該領域に矢印記号を付加する処理の少なくとも一つの処理を含む［１］の画像識別システム、
［３］
前記画像処理が、ユーザーが選択する色が含まれない領域の色の明度を下げる処理を含む［１］又は［２］の画像識別システム、
［４］
前記画像表示装置が、ヘッドマウントディスプレイである［１］～［３］のいずれかの画像識別システム、
［５］
前記撮像装置が、前記ヘッドマウントディスプレイに搭載されている［４］の画像識別システム、
［６］
前記対象物が、釣糸、浮き、釣竿、ルアー、餌、魚の少なくとも一つである［１］～［５］のいずれかの記載の画像識別システム、
［７］
前記対象物が、工場における部品、ベルトコンベアのベルト、機械、安全靴の少なくとも一つである請求項１～５のいずれか一項に記載の画像識別システム。
［８］
前記画像処理装置が、ユーザーが選択する一色以上の色が含まれる領域の距離又は移動速度を計測し、この距離又は移動速度の計測結果を前記画像表示装置に出力する処理を含む［１］の画像識別システム、
［９］
前記画像処理装置が、２つ以上の対象物が有している色としてユーザーが選択する色を検知したときに警告を前記画像表示装置に出力する処理を含む［１］の画像識別システム。
The image identification system of the present invention is as follows.
[1]
an imaging device capable of capturing an image including a target object;
an image processing device connected to the imaging device and processing video data including color information;
an image display device connected to the image processing device and displaying an image;
Equipped with
The image processing device selects a region that includes one or more colors selected by the user as the color of the object out of the video data input from the imaging device, or converts it into a color as it is or a predetermined chromatic color. or performs image processing to make the area an emphasized achromatic color and make the area not containing the color selected by the user monochrome, and outputs the video data after the image processing to the image display device,
image identification system,
[2]
The image processing may include changing the hue, brightness, or saturation of a region that includes one or more colors selected by the user, enlarging the region, blinking the region, and marking the region with an arrow symbol. The image identification system of [1], which includes at least one process of adding;
[3]
The image identification system according to [1] or [2], wherein the image processing includes processing to reduce the brightness of a color in an area that does not include the color selected by the user;
[4]
The image identification system according to any one of [1] to [3], wherein the image display device is a head-mounted display;
[5]
The image identification system according to [4], wherein the imaging device is mounted on the head-mounted display;
[6]
The image identification system according to any one of [1] to [5], wherein the object is at least one of a fishing line, a float, a fishing rod, a lure, bait, and a fish;
[7]
The image identification system according to any one of claims 1 to 5, wherein the target object is at least one of a part in a factory, a belt of a belt conveyor, a machine, and safety shoes.
[8]
[1], wherein the image processing device measures the distance or moving speed of an area containing one or more colors selected by the user, and outputs the measured distance or moving speed to the image display device. image identification system,
[9]
The image identification system according to [1], including a process of outputting a warning to the image display device when the image processing device detects a color selected by a user as a color possessed by two or more objects.
本発明の画像識別システムによれば、昼間のような明所で物体の認知能力を高めることができ、ひいては釣りにおける釣り竿や釣り糸等の認識能力を高めたり、作業の確実性や安全性を高めたりすることができる。 According to the image recognition system of the present invention, it is possible to improve the ability to recognize objects in a bright place such as during the daytime, and it can also improve the ability to recognize fishing rods, fishing lines, etc. in fishing, and improve the reliability and safety of work. You can
本発明を端的に言えば、観察対象物以外の情報を見にくくし、さらに、必要に応じて観察対象物の情報を見えやすくした状態で、人間に与えることで、観察対象物を見つけやすく、認知しやすく、観察しやすい状態を提供するシステム、である。
以下、本発明の画像識別システムの実施形態を、図面を用いつつ、より具体的に説明する。
To put it simply, the present invention makes it difficult to see information other than the object to be observed, and if necessary, provides information on the object in an easily visible state to humans, making it easier to find and recognize the object. This is a system that provides conditions that are easy to understand and observe.
Hereinafter, embodiments of the image identification system of the present invention will be described in more detail with reference to the drawings.
（実施形態１）
図１に、本発明の画像識別システムの実施形態１のブロック図を示す。図１において、画像識別システム１０は、画像処理装置１１と、当該画像処理装置１１に接続された撮像装置１２と、当該画像処理装置１１に接続された画像表示装置１３と、当該画像処理装置１１に接続されたユーザー選択色入力操作受け付け装置１４とを備えている。画像識別システム１０は、具体的に、図２に示すようなヘッドマウントディスプレイ１５と当該ヘッドマウントディスプレイに組み込まれたデジタルカメラ１６及びコンピュータ１７と、タブレット型端末１８の形態とすることができる。図２のヘッドマウントディスプレイ１５は、赤外線投光装置１９と、ヘッドフォン２０とを更に備えている例が示されている。ヘッドフォン２０は、警告音を発したり、後述する距離や速度の数値を読み上げたりすることができる装置とすることができる。また、コンピュータ１７は、通信機能が内蔵されていて、ヘッドマウントディスプレイ１５の外部に設けた送受信装置２１や、タブレット型端末１８と画像データ等を無線又は有線で通信可能になっている。
(Embodiment 1)
FIG. 1 shows a block diagram of Embodiment 1 of the image identification system of the present invention. In FIG. 1, an
画像処理装置１１は、入力部１１１と、記憶部１１２と、演算部１１３と、制御部１１４と、出力部１１５とを備えている。入力部１１１は、撮像装置１２及びユーザー選択色入力操作受け付け装置１４からのデータが入力可能になっている。記憶部１１２は、半導体メモリや磁気ディスク等で構成され、入力部１１１や演算部１１３からのデータが読み込まれ、記憶され、必要に応じて演算部等に書き出される。また、記憶部１１２は、制御部１１４で実行されるプログラムが記憶され、読み出される。演算部１１３は、画像処理及び画像処理に付随する処理を行い、制御部１１４は、演算部１１３で画像処理等をするための指示を演算部１１３に行う。演算部１１３及び制御部１１４は、回路により構成される。出力部１１５は、演算部１１３で画像処理される前の映像データ、または画像処理後の映像データ、その他の映像データが出力可能になっていて、必要に応じて文字情報等を映像データにオーバーレイで表示可能になっている。また、出力部１１５は、必要に応じて警告音などの音声信号を出力可能になっている。画像処理装置１１は、撮像装置１２で撮像された画像を基に、仮想現実（ＶＲ）、拡張現実（ＡＲ）や複合現実（ＭＲ）を画像表示装置１３で表示するための装置とすることができる。画像処理装置１１は、例えば、画像表示装置１３の具体例としてのヘッドマウントディスプレイに組み込まれる装置とすることができ、図２においてはコンピュータ１７である。
The
撮像装置１２は、撮影された物から反射される光を、レンズを通して受光して電気信号に変換する撮像素子が二次元的に配列されたエリアイメージセンサを備え、カラーフィルターを通して撮像素子が受光した光を光電変換して、撮像素子の配列に対応した画素ごとに例えばＲＧＢカラーモデルにおける２５６階調の数値で表される色情報を含む一画面全体のイメージ情報のデータに変換可能になっている。このエリアイメージセンサは、一画面全体の静止画像情報を所定のフレームレートで取得可能である。撮像装置１２は、可視光を光電変換できるものに限られず、赤外線の波長の光を光電変換可能なものであってもよい。また、赤外線の波長の光を対象物から撮像装置が受光できるように、撮像装置１２に付随して、又は撮像装置１２以外の装置として、光投射装置、例えば可視光投射装置や赤外線投光装置を画像識別システム１０は含むことができる。撮像装置１２は、例えば、画像表示装置１３の具体例としてのヘッドマウントディスプレイに取り付けられた装置とすることができ、その構成は、例えばデジタルカメラの一部又は全部を用いることができ、図２においてはデジタルカメラ１６である。また、図２は、上述の赤外線投光装置１９を備えている。可視光投射装置や赤外線投光装置を備えることにより、照度が足りないときの光源となって撮像の補助をするとことができる。なお、可視光投射装置や赤外線投光装置は、連続光源でもよいし、間欠光源であってもよい。間欠光にすることにより消費電力を抑えることができ、また、釣りにおける魚への影響も少なくすることが期待できる。
The
画像表示装置１３は、出力部１１５から出力された信号に基づいて一画面全体の静止画像を所定のフレームレートでカラー表示可能である。撮像装置１２は、例えば、画像表示装置１３の具体例としてのヘッドマウントディスプレイとすることができる。ヘッドマウントディスプレイは、透過型のヘッドマウントディスプレイを含む。画像表示装置１３は、図２においてはヘッドマウントディスプレイ１５である。ヘッドマウントディスプレイ１５に組み込まれた撮像装置１２としてのデジタルカメラ１６は、ヘッドマウントディスプレイ１５の画面の近傍、例えば、眼鏡タイプのヘッドマウントディスプレイにおける眼鏡の智（よろい）の位置やブリッジの位置に設けられることが好ましい。デジタルカメラ１６が、ヘッドマウントディスプレイ１５の画面の近傍に設けられることにより、言い換えれば、ヘッドマウントディスプレイ１５が装着されたユーザーの目に近い位置に設けられることにより、ユーザーの本来の視線とのズレが小さく、位置補正の必要性がなくなる。
The
ユーザー選択色入力操作受け付け装置１４は、画像表示装置１３又は画像表示装置１３とは別個の、ユーザーが色を選択するための画像を表示可能な装置に表示された画像から、ユーザーが対象物を表示している色として当該画像に表示されている色を選択する操作を受け付けて、その色情報を画像処理装置１１の入力部１１１に入力する装置である。また、このユーザー選択色入力操作受け付け装置１４を用いて、対象物を表示している色としている色を、ユーザーが指定する任意の色に変換するために当該任意の色を選択する操作を受け付けて、その色情報を画像処理装置１１の入力部１１１に入力するようにすることができる。ユーザー選択色入力操作受け付け装置１４は、図２においてはタブレット型端末１８である。
The user selection color input
ユーザー選択色入力操作受け付け装置１４は、例えば、タッチパネル、マウス、コントローラ等のポインティングデバイス、視線入力や音声入力などの入力デバイスがあり、またＲＧＢカラーモデルにおける例えば２５６階調で表される色又は色の範囲を、数値で直接入力したり、画像表示装置にオーバーレイされたスライドバーやスポイトツールで入力したりする装置とすることもできる。ユーザー選択色入力操作受け付け装置１４は、例えば、画像表示装置１３の具体例としてのヘッドマウントディスプレイに取り付けられた装置又はヘッドマウントディスプレイに接続された装置とすることができる。図２のタブレット型端末１８は、コンピュータ１７と無線で接続されている。タブレット型端末１８はスマートフォンのように画像に表示し得る画面と、当該画面に重ねて設けられたタッチパネルとを有している。画面に表示された画像の色を、タッチパネルで選択することにより入力できるようになっている。タブレット型端末１８とコンピュータ１７との接続は無線に限られず、有線で接続されるようにしてもよい。またコンピュータ１７と接続されるユーザー選択色入力操作受け付け装置１４は、タブレット型に限られず、スティック型やパッド型のゲームコントローラーのようなものであってもよい。
The user selection color input
画像識別システム１０の動作を説明する。
ユーザーが、撮像装置１２により対象物を含む視域を撮像すると、撮像された映像は撮像装置１２により光電変換され、一画面全体のイメージ情報を、例えば撮像素子の配列に対応した画素ごとのＲＧＢカラーモデルにおける２５６階調の数値で表される色情報を含む一画面全体の静止画像データとして、その静止画像データが所定のフレームレートで記録された映像データに変換される。この静止画像データは、例えば撮像素子の配列に対応して配列されたＲＧＢカラーモデルにおける２５６階調の数値データとすることができる。もっとも、数値データは２５６階調のものに限定されない。また、映像データは圧縮符号化されたものであってもよい。なお、撮像装置１２で作成された静止画像データは画像処理装置１１における画像処理や画像表示装置１２における画像表示の基準となるデータであるので、撮像装置１２は対象物の色を適切に数値データに変換できるものが好ましい。また画像表示装置１２は十分にキャリブレーションされていることが好ましい。
The operation of the
When a user images a viewing zone including an object using the
かかる映像データは、画像処理装置１１に入力部１１１から入力され、演算部１１３で所定の画像処理をされるか、又は、画像処理をされることなく出力部１１５に送られ、出力部１１５に接続された画像表示装置１３で動画が表示される。また、入力部１１１からの映像データから取り出された静止画像データは、対象物が有している色としてユーザーが選択する操作等のために、必要に応じて記憶部１１２に記憶される。
Such video data is input to the
演算部１１３における画像処理の有無は、ユーザーが選択色を入力する操作の前後で切り替えることができる。ユーザーが選択色を入力する前は、撮像装置１２からの映像データに画像処理をしないで出力部１１５に送られる。もっとも、映像データに文字情報やアイコン等をオーバーレイして表示される画像処理をすることができる。
The presence or absence of image processing in the
ユーザーが選択色を入力する操作を受け付ける。ユーザーが選択色を入力する操作は、一例では、次のように行われる。ユーザー選択色入力操作受け付け装置１４をユーザーが操作することにより，画像表示装置１３又は画像表示装置１３とは別個の画像表示装置に、記憶部１１２に記憶されていた静止画像データを表示させる。ユーザーは、画像表示装置１３に表示された静止画像から、対象物が有している色を選択する。例えば画像表示装置１３に表示された画像中の対象物の色がオレンジであれば、そのオレンジ色を選択する。この選択操作では静止画像データの各画素について、例えばＲＧＢカラーモデルにおける２５６階調のうちの特定数値のものをピンポイントで選択するのでもよい。また、その特定数値を含む近似した色の数値範囲のものを選択するものでもよく、これによりユーザーが視覚的に対象物と判断した色の範囲を選択することができる。例えば、近似した色の数値範囲として、具体的にＲＧＢの値でそれぞれ特定数値から±３～５％程度以内の数値の相違を、換言すれば２５６階調の場合は±８～１３階調程度以内の階調差の色を、近似した色と見なす設定を、記憶部１１２に記憶させておき、この設定を記憶部１１２から読みだして調整することができる。また、ユーザーの入力により任意の数値範囲を調整することができるようにしてもよい。また、赤外線の撮像装置ユーザーが選択した色又は色範囲の数値データは、ユーザー選択色入力操作受け付け装置１４から画像処理装置１１の入力部１１１に入力され、記憶部１１２に記憶される。
Accepts an operation by the user to input a selected color. An example of an operation in which the user inputs a selected color is performed as follows. When the user operates the user selection color input
ユーザーが選択色を入力した後は、撮像装置１２からの映像データのうち、対象物が有している色としてユーザーが選択する一色以上の色が含まれる領域をその対象物が有している色そのままとするか、又は所定の有彩色とするか、又は強調された無彩色とし、ユーザーが選択する色が含まれない領域をモノクロームとする画像処理をし、該画像処理後の映像データが出力部１１５に送られる。所定の有彩色とは、例えば対象物が有している緑色を、ユーザーの目に付き易いオレンジ色とする。これによりユーザーの認知能力を高めることができる。また、ユーザーによって光への感受性が異なる場合に、そのユーザーの光への感受性に応じた適切な明度や彩度に調整した色とすることができる。更に、色覚障害者や視覚異常者や加齢により黄色味を帯びた像が見える人のために、色覚障害者や視覚異常者や加齢者に見ることができる、又は見易い適切な色相の色にすることができる。
After the user inputs the selected color, it is determined that the object has an area in the video data from the
この画像処理では、演算部１１３において、記憶部１１２からユーザーが選択した色又は色範囲の数値データを読み出し、入力部１１１から入力された映像データの各静止画像のうち、各画素が、ユーザーが選択した色又は色範囲の数値データに含まれるものがあるか否かを判定する。含まれている場合にはその画素の色の数値データを、そのまま変更しないか、又はユーザーが選択した対象物の色とは色相、明度又は彩度が異なる任意の有彩色又は強調された無彩色の数値データに置き換える。強調された無彩色とは、モノクローム化されたことによる無彩色よりも明度が上げられた無彩色のことをいう。含まれていない場合には、その画素の数値データを、色がモノクローム化された無彩色となるような数値に置き換える。色がモノクローム化された無彩色となるような数値に置き換えるための数値変換には、カラー画像をモノクローム画像にするための公知の手法を用いることができ、例えばカラー画像をグレースケールに変換するための手法や、カラー画像の彩度を下げる手法や、モノクロ二値化するための手法を用いることができる。また、色がモノクローム化された無彩色となるような数値に置き換えるための数値変換の際に、明度をより下げる処理をしてもよく、これにより、ユーザーの認識力をより高めることができる。上記の明度をより下げる処理には、画像表示装置の画面において、枠状又はピラー状の暗部を形成するようなものであってもよい。これにより、ユーザーの認識力をより高めることが期待できる。
In this image processing, the
さらに、ユーザーが選択した対象物と同じ又は類似の色を有する別の物が静止画像内に含まれていて、画像内における当該別の物の大きさが対象物の大きさよりも小さい場合に、当該別の物は、ユーザーが観察する対象物ではないとみなして、当該別の物の色を、モノクロームとする画像処理を、必要に応じて行うことができる。このような同色または類似の色を有する別の物についての画像処理は、一例として、上記画像処理後の映像データを、演算部１１３に入力して、画像認識プログラムを実行して、映像データの各静止画像のうち、各画素の数値データについて、変更しないか、又はユーザーが選択した対象物の色とは色相、明度又は彩度が異なる任意の有彩色又は強調された無彩色の数値データに置き換えられたものの数を計数して、その数の大きさにより映像データの各静止画像における対象物及び別の物の大きさを求め、その大きさが、静止画像の全体の大きさ（画素数）に対して特定割合以下のものであるときに、その特定割合以下のものは別の物と判定して、その特定割合以下のもの画素の数値データを、モノクロームとする画像処理を行う。別の物と判定する基準は、静止画像の全体の大きさ（画素数）に対する特定割合以下のものに限られず、対象物の大きさに対する特定割合以下の大きさのものを別の物と判定するのでもよいし、ユーザの入力により判定するのでもよい。また、特定割合の設定については、適切な割合を予め設定して記憶部１１に記憶していてもよいし、ユーザが割合を設定及び変更できるようにしてもよい。また、対象物の色に応じて設定値を変えてもよい。
かかる画像処理装置１１における、物の大きさを計測する処理は、例えば、その処理を実行する公知の画像認識プログラムを記憶部１１に記憶しておき、そのプログラムを記憶部１１から読み出して制御部１１４に入力し、制御部１１４が、このプログラムを実行して、記憶部１１２から読み出された静止画像データを演算部１１３で処理することで行うことができる。
Furthermore, if another object having the same or similar color as the object selected by the user is included in the still image and the size of the other object in the image is smaller than the size of the object, If necessary, image processing can be performed to make the color of the other object monochrome, assuming that the other object is not an object observed by the user. Image processing for another object having the same or similar color can be performed, for example, by inputting the video data after the image processing into the
The process of measuring the size of an object in the
上述した画像処理により、本実施形態の画像識別システム１０は、出力部１１５から出力され、画像表示装置１３で表示された映像は、ユーザーが対象物として選択した領域が、当該対象物の色又はユーザーが指定した有彩色又は強調された無彩色の領域であり、それ以外の領域がモノクロームとして例えば公知のグレースケール変換により線形の輝度の数値で表示された領域であり、いわゆるパートカラーの映像である。したがって、ユーザーは、対象物と関係のない部分の明度が下げられた映像が視覚情報として目に入力されるので、対象物の認知能力を高めることができ、昼間のような明所で物体の認知能力を高めることができ、ひいては作業の確実性や安全性を高めることができる。
Through the above-described image processing, the
また、上述した画像処理は、対象物の色により当該対象物を特定する処理であり、公知技術であるところの、対象物の二次元的な輪郭を抽出して当該対象物を特定するような処理に比べて処理負荷が軽い。したがって、画像識別システムの小型化、低消費電力化に寄与することができるとともに、所定フレームレートで入力される複数の静止画像データを順次に処理することが容易であり、よって、対象物の動きを観察することができるので、ユーザーの認知能力を高めることができ、しかもタイムラグが少なく、実質的にリアルタイムの観察ができる。 In addition, the image processing described above is a process of identifying the target object based on its color, and is similar to the known technology of identifying the target object by extracting the two-dimensional outline of the target object. The processing load is lighter compared to processing. Therefore, it is possible to contribute to the miniaturization and lower power consumption of the image identification system, and it is easy to sequentially process multiple still image data input at a predetermined frame rate. can be observed, improving the user's cognitive ability, and with little time lag, virtually real-time observation is possible.
演算部１１３における画像処理は、上述した処理を基本として、派生的な処理をすることができる。例えば上述した画像処理では、撮像素子の配列に対応して配列されたＲＧＢカラーモデルにおける２５６階調の数値データについて、ユーザーが選択した色又は色範囲の数値データに含まれる画素の色の数値データを、そのままの色又は任意の有彩色又は強調された無彩色の数値データに置き換えているが、ユーザーが選択した色又は色範囲の数値データに含まれる画素に対して所定の画素単位で隣接している画素についても、そのままの色又は有彩色又は強調された無彩色の数値データに置き換えるように画像処理することができる。これにより、画像処理後に画像表示装置１３で表示された映像は、ユーザーが対象物として選択した領域よりも拡大された領域が、当該対象物の色又はユーザーが指定した有彩色又は強調された無彩色で表示される。したがって、例えば対象物が糸のように細い物体である場合に，その糸を現実の太さよりも太く表示させることで強調して、物体の認知能力をより高めることができる。
The image processing in the
また、撮像素子の配列に対応して配列されたＲＧＢカラーモデルにおける２５６階調の数値データについて、ユーザーが選択した色又は色範囲の数値データに含まれる画素の色の数値データを、そのままの色又は有彩色又は強調された無彩色の数値データに置き換えた後、当該画素の領域を、経時的に点滅させる画像処理をすることができる。点滅させる画像処理は、例えば、所定のフレームレートで入力部１１１から演算部１１３に入力された映像データの静止画像におけるユーザーが選択した色又は色範囲の数値データに含まれる画素に対して、そのままの色又は有彩色又は強調された無彩色の数値データに置き換える処理と、モノクロームの数値データや黒色の数値データ（０，０，０）に置き換える処理とを所定の間隔で交互に切り替えることで実現できる。これにより、画像処理後に画像表示装置１３で表示された映像は、ユーザーが対象物として選択した領域が点滅して表示される。したがって、例えば対象物が糸のように細い物体である場合に，その糸を強調して、物体の認知能力をより高めることができる。
In addition, regarding the numerical data of 256 gradations in the RGB color model arranged corresponding to the arrangement of the image sensor, the numerical data of the color of the pixel included in the numerical data of the color or color range selected by the user can be used as is. Alternatively, after replacing the pixel with numerical data of a chromatic color or an emphasized achromatic color, image processing can be performed to cause the region of the pixel to blink over time. For example, the blinking image processing may be applied to pixels included in numerical data of a color or color range selected by the user in a still image of video data input from the
また、上述した撮像素子の配列に対応して配列されたＲＧＢカラーモデルにおける２５６階調の数値データについて、ユーザーが選択した色又は色範囲の数値データに含まれる画素の色の数値データを、そのままの色又は有彩色又は強調された無彩色の数値データに置き換えた後、当該画素の領域に矢印記号を付加する画像処理をすることができる。 In addition, regarding the numerical data of 256 gradations in the RGB color model arranged corresponding to the arrangement of the image sensor described above, the numerical data of the color of the pixel included in the numerical data of the color or color range selected by the user can be directly transferred. After replacing the pixel with numerical data of the color, chromatic color, or emphasized achromatic color, image processing can be performed to add an arrow symbol to the region of the pixel.
本実施形態の画像識別システム１０は、デジタル処理によりパートカラーの映像としていることにより、以下の効果を奏することが期待できる。
（１） 対象物の色として任意の色を静止画像データから抽出してパートカラー化できるので、観察したい物体の色情報及び、当該色情報が撮像するその日の天候や光の量、場所により変動し得ることに対応して、一番適切な色の光を自在に選択することができる。これに対して、アナログ的なバンドパスフィルターを用いた場合には、フィルター１枚に対して１種類の色のみが通過するので、対象物の色の数に応じて多数のフィルターを用意する必要があり、コスト的にも操作上も好ましくなかった。
（２） 実際の対象物を、より強調（太くする、点滅させる、矢印記号を付加するなど）させることができる。
（３） 逆に、対象物以外の領域、すなわち背景を、ぐっと弱調することができる。
（４） 対象物が有している色としてユーザーが選択する色として、複数の色を選択することにより、対象物以外の情報をも強調表示することができる（例えば、糸を観察したいが、それ以上に自分の足場が何処までか、を強調表示する、など）。
（５） 対象物の実際の色とは異なる色相、明度又は彩度の色で強調することもできる。
（６） 他のセンシング技術と組み合わせ、その場に適した強調の趣向を自動で変化させることができる。
The
(1) Since it is possible to extract any color from still image data as the color of the object and convert it into a partial color, the color information of the object you want to observe and the color information will vary depending on the weather, amount of light, and location on the day when the image is taken. You can freely select the most appropriate color of light depending on what is available. On the other hand, when using an analog bandpass filter, only one type of color passes through each filter, so it is necessary to prepare a large number of filters depending on the number of colors of the target object. This was not desirable in terms of cost and operation.
(2) The actual object can be emphasized more (by making it thicker, blinking, adding an arrow symbol, etc.).
(3) Conversely, areas other than the object, that is, the background, can be significantly weakened.
(4) Information other than the object can be highlighted by selecting multiple colors as the colors of the object (for example, if you want to observe a thread, (Moreover, it highlights where your footing is, etc.)
(5) It is also possible to emphasize the object with a color that has a different hue, brightness, or saturation than the actual color of the object.
(6) In combination with other sensing technologies, it is possible to automatically change the emphasis that is appropriate for the situation.
また、本実施形態の画像識別システム１０は、デジタルカメラなどの撮像装置で撮影した映像を、元の画像として使うことにより、以下の効果を有している。
（７） 高感度の撮像装置や暗視用の撮像装置を用いることにより、人間の目よりも感度を高められる（ナイトビジョンなど）。
（８） 人間の目に知覚しない波長の光を光源として使うことで、他に気づかれないようにすることができる（紫外線、赤外線）。これらの波長の光源を用いる際に、対象物の表面に蛍光剤を形成させておけば、より効果に優れる。
（９） バンドパスフィルターと異なり、波長ではなく、例えばＲＧＢの比率で色を識別するため、色の選択肢が増え、色分解能が上がる。
Furthermore, the
(7) By using a high-sensitivity imaging device or a night vision imaging device, the sensitivity can be made higher than that of the human eye (night vision, etc.).
(8) By using a light source with a wavelength that is not perceptible to the human eye, it is possible to avoid being noticed by others (ultraviolet rays, infrared rays). When using a light source of these wavelengths, the effect will be more excellent if a fluorescent agent is formed on the surface of the object.
(9) Unlike a bandpass filter, colors are identified not by wavelength but by the ratio of RGB, for example, so the number of color options increases and color resolution improves.
本実施形態の画像識別システム１０は、次のような用途が考えられる。
釣りにおける釣糸や浮き、釣竿の先端部、又はルアーを対象物としてユーザーが選択すると、昼間のような明所においても、釣糸や浮き、釣竿の先端部、ルアーの動きを強調して観察することができ、釣果の向上が期待できる。また、水中に撒く餌に、押麦のような白色の餌を視認性向上のために混合することがあり、この押麦の色をユーザーが対象物として選択することにより、潮の流れを強調して観察することができる。更に、水中の魚を対象物としてユーザーが選択することにより、魚の動きを強調して観察することができる。この水中の魚を対象物とするときには、撮像装置１２が偏光フィルターを通して受光するようにすることができる。したがって、本実施形態の画像識別システム１０は、釣糸認識用の画像識別システムとすることができ、また、釣竿認識用の画像識別システムとすることができ、また、ルアー認識用の画像識別システムとすることができ、また、餌認識用の画像識別システムとすることができ、また、魚認識用の画像識別システムとすることができる。
また、岸壁の色を対象物としてユーザーが選択して、岸壁に近づきすぎたら警告の画面を画像表示装置に表示するようにして、危険回避に役立たせることができる。
The
When a user selects a fishing line, float, tip of a fishing rod, or lure as an object, the movement of the fishing line, float, tip of a fishing rod, or lure can be observed with emphasis even in a bright place such as daytime. can be expected to improve fishing results. In addition, white bait such as rolled oats may be mixed with the bait scattered in the water to improve visibility, and by selecting the color of this oatmeal as an object, the user can emphasize the flow of the tide. can be observed. Furthermore, by selecting a fish in the water as an object, the user can observe the movement of the fish with emphasis. When this underwater fish is the object, the
Furthermore, the user can select the color of the quay as an object, and if the user gets too close to the quay, a warning screen will be displayed on the image display device, which will help avoid danger.
また、産業では部品の組み立ての際に組み立ての順序が決まっている場合に、部品を色分けしておき、順序ごとに例えば一つ部品の取り付けを終えたらその部品の色の強調を止め、次の色の部品を強調するような画像処理を行うことで、部品の組み付けミスなどを減らすこともできる。また部品を搬送するベルトコンベアのベルトの色を選択することでベルトの動きを感知して、最も作業性の高い位置に部品を置く、身体を置く、などを支援することも考えられる。したがって、本実施形態の画像識別システム１０は、部品認識用の画像識別システムとすることができる。
また、安全靴の先端に付けた色と、機械の色とを対象物としてユーザーが選択して、ユーザーが履いている安全靴が機械に近づきすぎたら警告の画面を画像表示装置に表示するようにして、危険回避に役立たせることができる。
また、作業現場の色を対象物としてユーザーが選択して、あまりにも長い時間に選択色がカメラに入力されない場合、画像処理装置の出力部から外部の送受信装置に警告信号を送信するようにして、作業者が倒れたり、作業を怠っていたりする時に外部に通知するようにすることができる。
Also, in industry, when assembling parts, when the order of assembly is determined, the parts are color-coded, and once one part is installed in each order, for example, the color of that part is de-emphasized, and the next Image processing that emphasizes colored parts can also reduce parts assembly errors. It is also conceivable that by selecting the color of the conveyor belt that transports parts, the movement of the belt can be sensed to assist in placing parts or bodies in the most efficient position. Therefore, the
In addition, the user can select the color on the tip of the safety shoes and the color of the machine as objects, and a warning screen will be displayed on the image display device if the user's safety shoes get too close to the machine. This can help you avoid danger.
In addition, if the user selects a color at the work site as an object and the selected color is not input to the camera for too long, a warning signal is sent from the output section of the image processing device to the external transceiver device. It is possible to notify the outside when a worker falls down or is neglecting work.
（実施形態２）
次に、本発明の画像識別システムの実施形態２を説明する。本実施形態の画像識別システムは、基本構成は実施形態１の画像識別システムと同じであり、図１に示したブロック図の構成を有している。したがって、図１に示したブロック図を援用して説明する。本実施形態の画像識別システムは、対象物を含む距離又は対象物の移動速度を計測し、計測結果を表示する機能を有している。
例えば距離の計測の場合には、対象物として、直線的で一定間隔で所定の色でマーキングされた物を用いて、そのマーキングされた箇所の色をユーザーが選択し、画像処理装置１１が、選択された色の個数をカウントすることにより、ある位置からある位置までの実距離を計測することができる。
(Embodiment 2)
Next, a second embodiment of the image identification system of the present invention will be described. The image identification system of this embodiment has the same basic configuration as the image identification system of Embodiment 1, and has the configuration of the block diagram shown in FIG. 1. Therefore, the explanation will be given with reference to the block diagram shown in FIG. The image identification system of this embodiment has a function of measuring the distance including the target object or the moving speed of the target object, and displaying the measurement results.
For example, in the case of distance measurement, an object that is linearly marked with a predetermined color at regular intervals is used as the object, the user selects the color of the marked part, and the
距離の計測は、具体的には、ユーザーが、撮像装置１２により対象物を含む視域を撮像すると、撮像された映像は撮像装置１２により光電変換され、一画面全体のイメージ情報を、例えば撮像素子の配列に対応した画素ごとのＲＧＢカラーモデルにおける２５６階調の数値で表される色情報を含む一画面全体の静止画像データとして、その静止画像データが所定のフレームレートで記録された映像データに変換される。この静止画像データは、例えば撮像素子の配列に対応して配列されたＲＧＢカラーモデルにおける２５６階調の数値データとすることができる。もっとも、数値データは２５６階調のものに限定されない。また、映像データは圧縮符号化されたものであってもよい。なお、撮像装置１２で作成された静止画像データは画像処理装置１１における画像処理や画像表示装置１２における画像表示の基準となるデータであるので、撮像装置１２は対象物の色を適切に数値データに変換できるものが好ましい。また画像表示装置１２は十分にキャリブレーションされていることが好ましい。
Specifically, distance measurement is performed when a user images a viewing area including an object using the
かかる映像データは、画像処理装置１１に入力部１１１から入力され、演算部１１３で所定の画像処理をされるか、又は、画像処理をされることなく出力部１１５に送られ、出力部１１５に接続された画像表示装置１３で動画が表示される。また、入力部１１１からの映像データから取り出された静止画像データは、対象物が有している色としてユーザーが選択する操作等のために、必要に応じて記憶部１１２に記憶される。
Such video data is input to the
演算部１１３における画像処理の有無は、ユーザーが選択色を入力する操作の前後で切り替えることができる。ユーザーが選択色を入力する前は、撮像装置１２からの映像データに画像処理をしないで出力部１１５に送られる。もっとも、映像データに文字情報やアイコン等をオーバーレイして表示される画像処理をすることができる。
The presence or absence of image processing in the
ユーザーが選択色を入力する操作を受け付ける。ユーザーが選択色を入力する操作は、一例では、次のように行われる。ユーザー選択色入力操作受け付け装置１４をユーザーが操作することにより，画像表示装置１３又は画像表示装置１３とは別個の画像表示装置に、記憶部１１２に記憶されていた静止画像データを表示させる。ユーザーは、画像表示装置１３に表示された静止画像から、対象物が有している色を選択する。例えば画像表示装置１３に表示された画像中の対象物の色がオレンジであれば、そのオレンジ色を選択する。この選択操作では静止画像データの各画素について、例えばＲＧＢカラーモデルにおける２５６階調のうちの特定数値のものをピンポイントで選択するのでもよい。また、その特定数値を含む近似した色の数値範囲のものを選択するものでもよく、これによりユーザーが視覚的に対象物と判断した色の範囲を選択することができる。例えば、近似した色の数値範囲として、具体的にＲＧＢの値でそれぞれ特定数値から±３～５％程度以内の数値の相違を、換言すれば２５６階調の場合は±８～１３階調程度以内の階調差の色を、近似した色と見なすことができる。ユーザーが選択した色又は色範囲の数値データは、ユーザー選択色入力操作受け付け装置１４から画像処理装置１１の入力部１１１に入力され、記憶部１１２に記憶される。
Accepts an operation by the user to input a selected color. An example of an operation in which the user inputs a selected color is performed as follows. When the user operates the user selection color input
ユーザーが選択色を入力した後は、撮像装置１２からの映像データのうち、対象物が有している色としてユーザーが選択する一色以上の色が含まれる領域をその対象物が有している色そのままとするか、又は任意の有彩色とするか、又は強調された無彩色の色とし、ユーザーが選択する色が含まれない領域をモノクロームとする画像処理をし、該画像処理後の映像データが出力部１１５に送られる。任意の有彩色とは、例えば対象物が有している緑色を、ユーザーの目に付き易いオレンジ色とする。これによりユーザーの認知能力を高めることができる。
After the user inputs the selected color, it is determined that the object has an area in the video data from the
この画像処理では、演算部１１３において、記憶部１１２からユーザーが選択した色又は色範囲の数値データを読み出し、入力部１１１から入力された映像データの各静止画像のうち、各画素が、ユーザーが選択した色又は色範囲の数値データに含まれるものがあるか否かを判定する。含まれている場合にはその画素の色の数値データを、そのまま変更しないか、又はユーザーが選択した対象物の色とは色相、明度又は彩度が異なる所定の有彩色又は強調された無彩色の数値データに置き換える。含まれていない場合には、その画素の数値データを、色がモノクロームとなるような数値に置き換える。色がモノクロームとなるような数値に置き換えるための数値変換には、カラー画像をモノクローム画像にするための公知の手法を用いることができ、例えばカラー画像をグレースケールに変換するための手法や、カラー画像の彩度を下げる手法や、モノクロ二値化するための手法を用いることができる。また、色がモノクロームとなるような数値に置き換えるための数値変換の際に、明度をより下げる処理をしてもよく、これにより、ユーザーの認識力をより高めることができる。
In this image processing, the
上述の対象物が有している色としてユーザーが選択する色が含まれる領域をその対象物が有している色そのままとするか、又は任意の有彩色とするか、又は強調された無彩色とし、ユーザーが選択する色が含まれない領域をモノクロームとする画像処理後の映像データは、演算部１１３に再度入力され、画像認識プログラムを実行して選択された色の個数をカウントする処理を行う。かかる画像処理装置１１における、選択された色の個数をカウントする処理は、例えば、その処理を実行する公知の画像認識プログラムを記憶部１１に記憶しておき、そのプログラムを記憶部１１から読み出して制御部１１４に入力し、制御部１１４が、このプログラムを実行して、記憶部１１２から読み出された静止画像データを演算部１１３で処理することで行うことができる。そして計測結果は、出力部１１５から画像表示装置１３に、映像データにオーバーレイして、又は別画面として数字又は図形情報として出力される。
The area containing the color selected by the user as the color of the object mentioned above should be the same as the color of the object, be an arbitrary chromatic color, or be an emphasized achromatic color. The video data after image processing to make the area that does not include the color selected by the user monochrome is inputted again to the
例えば移動速度の計測の場合には、対象物として、直線的で一定間隔で所定の色でマーキングされた物を用いて、そのマーキングされた箇所の色をユーザーが選択し、上述の距離の計測と同様にして対象物が有している色としてユーザーが選択する色が含まれる領域をその対象物が有している色そのままとするか、又は任意の有彩色とするか、又は強調された無彩色とし、ユーザーが選択する色が含まれない領域をモノクロームとする画像処理を行い、画像処理後の映像データは、演算部１１３に再度入力され、画像認識プログラムを実行して選択された色の移動速度を算出する処理を行う。画像処理装置１１が、ある時点のフレームの静止画像データと、その後のフレームの静止画像データとを比較して、そのフレーム間の時間で、選択された色がどれだけの距離で移動したか、又は回転運動でどれだけ回転したかを公知の画像処理により計測することにより、対象物の移動速度（回転運動における角速度を含む）を計測することができる。かかる画像処理装置１１における、選択された色の個数をカウントする処理は、例えば、その処理を実行する公知のプログラムを記憶部１１に記憶しておき、そのプログラムを記憶部１１から読み出して制御部１１４に入力し、制御部１１４が、このプログラムを実行して、記憶部１１２から読み出された静止画像データを演算部１１３で処理することで行うことができる。そして計測結果は、出力部１１５から画像表示装置１３に、映像データにオーバーレイして、又は別画面として数字又は図形情報として出力される。
For example, in the case of measuring moving speed, the object is a linear object marked with a predetermined color at regular intervals, the user selects the color of the marked part, and the distance is measured as described above. In the same way as above, the area containing the color selected by the user as the color of the object is set to the same color as the object, or is set to any chromatic color, or is highlighted. Image processing is performed to make the area achromatic, and areas that do not include the color selected by the user are monochrome.The video data after image processing is input again to the
距離や速度の計測の機能を有する本実施形態の画像識別システムは、次のような用途が考えられる。
釣りにおいて、数十メートルごとに色が塗り分けられた糸を用いて、ユーザーが当該塗り分けられた色を選択することにより、水深や飛距離を計測し、表示することができる。また、１メートル等の等間隔に着色された糸を用いて、リールの巻き取る速度、すなわち、ルアーの泳ぐ速度を表示することができる。さらには、かかる速度の計測値に基づいて、適切な巻き取り速度から外れた場合にアラートを画面表示又は音声で出力することができる。また、目盛が着色されたスケールマーカーなどを用いて、釣り上げた魚の体長を測定することができる。
また、工場における作業物の色をユーザーが選択することにより、作業物の移動スピードが速過ぎるとか遅過ぎる場合に、外部の送受信装置に警告信号を送信することもできる。
The image identification system of this embodiment, which has the function of measuring distance and speed, can be used for the following purposes.
When fishing, a user can measure and display water depth and flying distance by using a line that is colored differently every several tens of meters, and by selecting the colored line. Furthermore, the reel winding speed, that is, the swimming speed of the lure can be displayed using colored threads spaced at equal intervals such as 1 meter. Furthermore, based on the measured value of the speed, an alert can be displayed on the screen or outputted by voice when the winding speed deviates from the appropriate winding speed. Additionally, the body length of the caught fish can be measured using a scale marker with colored graduations.
Additionally, by allowing the user to select the color of the workpiece in the factory, a warning signal can be sent to an external transmitting/receiving device if the workpiece is moving too fast or too slow.
なお、画像表示装置１３は、上述した速度や距離の数値や図形情報ばかりでなく、潮汐、風、地形、気温・水温、気圧等の様々な情報を表示できるようにしてもよい。
Note that the
（実施形態３）
次に、本発明の画像識別システムの実施形態３を説明する。本実施形態の画像識別システムは、基本構成は実施形態１の画像識別システムと同じであり、図１に示したブロック図の構成を有している。したがって、図１に示したブロック図を援用して説明する。本実施形態の画像識別システムは、対象物が有している色としてユーザーが選択する色を検知したときに警告を前記画像表示装置に出力する機能を有している。
(Embodiment 3)
Next, a third embodiment of the image identification system of the present invention will be described. The image identification system of this embodiment has the same basic configuration as the image identification system of Embodiment 1, and has the configuration of the block diagram shown in FIG. 1. Therefore, the explanation will be given with reference to the block diagram shown in FIG. The image identification system of this embodiment has a function of outputting a warning to the image display device when a color selected by a user as a color of an object is detected.
例えば対象物を、建物内で立ち入りが禁止される区域があり、その区域を仕切る壁に設けられて人が出入り可能な扉が特定の色に着色されている場合の、その扉とする。ユーザー又はユーザーの管理者は、その扉の色を選択する。ユーザーが、立入禁止区域に入ろうと、特定色の扉の前に来たときに、画像処理装置１１が、選択された色を検知して、警告を画像表示装置１３に出力する。対象物は扉に限られず、立入禁止区域の床面が特定の色に着色されたものでも、同様の警告をすることができる。なお対象物が床面の場合は、撮像装置の光軸が床面に対向するように取り付けられていることが好ましい。
For example, the object is a door in a building where there is an area where entry is prohibited, and a door provided in a wall that partitions the area and through which people can enter and exit is colored in a specific color. The user or the user's administrator selects the color of the door. When a user approaches a door of a specific color to enter a restricted area, an
かかる画像処理装置１１における、選択された色を検知する処理は、例えば、演算部１１３が、その色の数値データがあるか否かを判別する処理とすることができる。そして検知したときは出力部１１５から画像表示装置１３に、映像データにオーバーレイして、又は別画面として警告を文字情報又は図形情報として出力される。また図２に示すようにヘッドマウントディスプレイ１５に付随してスピーカーとしてのヘッドフォン２０を有している場合には、出力部１１５から警告音を発することができる。
The process of detecting the selected color in the
本実施形態の画像識別装置は、立入禁止区域に入ろうとしたときの検知を単に内装の色分けだけで可能にするので、検知のために他の接触スイッチや非接触スイッチを設ける必要がない。
また本実施形態の画像識別システムは、施設のルート案内に利用することもできる。
The image identification device of this embodiment can detect when an attempt is made to enter a restricted area simply by color-coding the interior, so there is no need to provide another contact switch or non-contact switch for detection.
The image identification system of this embodiment can also be used for route guidance of facilities.
以上、本発明の画像識別システムを、画像表示装置がヘッドマウントディスプレイである実施形態により説明したが、画像表示装置はヘッドマウントディスプレイに限定されない。例えば、自動車の前面ガラスに投影して画像表示装置とするヘッドアップディスプレイとすることもできる。本発明は車両用の画像識別システムとして、例えば自動車の運転時に、風景などを白黒にし、標識やブレーキランプや人などの障害物の色を選択して強調表示することで、疲れにくく安全な運転が可能になる。 Although the image identification system of the present invention has been described above using an embodiment in which the image display device is a head-mounted display, the image display device is not limited to a head-mounted display. For example, it can also be used as a head-up display that uses an image display device by projecting it onto the windshield of a car. The present invention is an image identification system for vehicles. For example, when driving a car, the landscape can be made black and white, and the color of obstacles such as signs, brake lights, and people can be selected and highlighted, making driving less tiring and safer. becomes possible.
１０ 画像識別システム
１１ 画像処理装置
１２ 撮像装置
１３ 画像表示装置
１４ ユーザー選択色入力操作受け付け装置
１１１ 入力部
１１２ 記憶部
１１３ 演算部
１１４ 制御部
１１５ 出力部
10
Claims (6)
該撮像装置と接続され、色情報を含む映像データを処理する画像処理装置と、
該画像処理装置と接続され、画像を表示する、ヘッドマウントディスプレイの画像表示装置と、
を備え、
前記画像処理装置が、前記撮像装置から入力された前記映像データのうち、前記対象物が有している色としてユーザーが選択する色が含まれない領域をモノクローム化された無彩色とし、ユーザーが選択する一色以上の色が含まれる領域を、ユーザーの目に付き易い色、ユーザーの光への感受性に応じた色、色覚障害者や視覚異常者や加齢者に見ることができる、若しくは見易い色であって、前記対象物が有している色とは異なる有彩色か、又は前記モノクローム化された無彩色よりも明度が上げられた、強調された無彩色に変更する画像処理をし、該画像処理後の映像データを前記画像表示装置に出力するものである、
画像識別システム。 an imaging device capable of capturing an image including at least one object such as a fishing line, a float, a fishing rod, and a lure ;
an image processing device connected to the imaging device and processing video data including color information;
an image display device of a head-mounted display connected to the image processing device and displaying an image;
Equipped with
The image processing device converts a region of the video data input from the imaging device that does not include the color selected by the user as the color of the object into a monochromatic achromatic color, and Select a region that contains one or more colors that are easily visible to the user, that are appropriate for the user's sensitivity to light, that are visible or easy to see for people who are colorblind, visually impaired, or aging. image processing to change the color to a chromatic color different from the color of the object , or an emphasized achromatic color whose brightness is higher than the monochromatic achromatic color; outputting the video data after the image processing to the image display device;
Image identification system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018230845A JP7349653B2 (en) | 2018-12-10 | 2018-12-10 | image identification system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018230845A JP7349653B2 (en) | 2018-12-10 | 2018-12-10 | image identification system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020095325A JP2020095325A (en) | 2020-06-18 |
| JP7349653B2 true JP7349653B2 (en) | 2023-09-25 |
Family
ID=71086192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018230845A Active JP7349653B2 (en) | 2018-12-10 | 2018-12-10 | image identification system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7349653B2 (en) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002051222A (en) | 2000-08-04 | 2002-02-15 | Noritsu Koki Co Ltd | Image processing method and storage medium recording image processing program |
| JP2004007370A (en) | 2001-12-07 | 2004-01-08 | Ricoh Co Ltd | Device and method for image processing and program to be executed by computer |
| JP2005150840A (en) | 2003-11-11 | 2005-06-09 | Shikoku Res Inst Inc | Water quality monitoring system and fish image recognition method used for same |
| JP2006211525A (en) | 2005-01-31 | 2006-08-10 | Canon Inc | Image pickup device and its control method |
| WO2009050798A1 (en) | 2007-10-17 | 2009-04-23 | Mitsubishi Electric Corporation | Image processing device |
| WO2012039277A1 (en) | 2010-09-22 | 2012-03-29 | 新日本製鐵株式会社 | System for trespasser detection in area of restricted access, device for trespasser detection, method for trespasser detection in area of restricted access, and program thereof |
| JP2012244337A (en) | 2011-05-18 | 2012-12-10 | Sony Corp | Image processing apparatus, image processing method, program, and imaging apparatus |
| JP2013105746A (en) | 2011-11-14 | 2013-05-30 | Planck Co Ltd | Color temperature-regulating device, color temperature-regulating apparatus using the device, and color temperature-regulating method |
| WO2016185563A1 (en) | 2015-05-19 | 2016-11-24 | 日立マクセル株式会社 | Head-mounted display, head-up display, and picture display method |
| JP2016218547A (en) | 2015-05-15 | 2016-12-22 | セイコーエプソン株式会社 | Head mounted display device, method for controlling the same and computer program |
| JP2017085461A (en) | 2015-10-30 | 2017-05-18 | 株式会社日本総合研究所 | Color conversion device, color conversion system and program |
| US20170315384A1 (en) | 2014-11-13 | 2017-11-02 | Oakley, Inc. | Eyewear with variable optical characteristics |
| JP2017225084A (en) | 2016-06-17 | 2017-12-21 | 株式会社ニコン | Imaging device, electronic device, imaging method, and program |
| JP2018004808A (en) | 2016-06-29 | 2018-01-11 | 株式会社Ｊｖｃケンウッド | Head-up display device |
| JP2018084509A (en) | 2016-11-24 | 2018-05-31 | 日本電信電話株式会社 | Image measurement method, image measurement device and image measurement program |
-
2018
- 2018-12-10 JP JP2018230845A patent/JP7349653B2/en active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002051222A (en) | 2000-08-04 | 2002-02-15 | Noritsu Koki Co Ltd | Image processing method and storage medium recording image processing program |
| JP2004007370A (en) | 2001-12-07 | 2004-01-08 | Ricoh Co Ltd | Device and method for image processing and program to be executed by computer |
| JP2005150840A (en) | 2003-11-11 | 2005-06-09 | Shikoku Res Inst Inc | Water quality monitoring system and fish image recognition method used for same |
| JP2006211525A (en) | 2005-01-31 | 2006-08-10 | Canon Inc | Image pickup device and its control method |
| WO2009050798A1 (en) | 2007-10-17 | 2009-04-23 | Mitsubishi Electric Corporation | Image processing device |
| WO2012039277A1 (en) | 2010-09-22 | 2012-03-29 | 新日本製鐵株式会社 | System for trespasser detection in area of restricted access, device for trespasser detection, method for trespasser detection in area of restricted access, and program thereof |
| JP2012244337A (en) | 2011-05-18 | 2012-12-10 | Sony Corp | Image processing apparatus, image processing method, program, and imaging apparatus |
| JP2013105746A (en) | 2011-11-14 | 2013-05-30 | Planck Co Ltd | Color temperature-regulating device, color temperature-regulating apparatus using the device, and color temperature-regulating method |
| US20170315384A1 (en) | 2014-11-13 | 2017-11-02 | Oakley, Inc. | Eyewear with variable optical characteristics |
| JP2016218547A (en) | 2015-05-15 | 2016-12-22 | セイコーエプソン株式会社 | Head mounted display device, method for controlling the same and computer program |
| WO2016185563A1 (en) | 2015-05-19 | 2016-11-24 | 日立マクセル株式会社 | Head-mounted display, head-up display, and picture display method |
| JP2017085461A (en) | 2015-10-30 | 2017-05-18 | 株式会社日本総合研究所 | Color conversion device, color conversion system and program |
| JP2017225084A (en) | 2016-06-17 | 2017-12-21 | 株式会社ニコン | Imaging device, electronic device, imaging method, and program |
| JP2018004808A (en) | 2016-06-29 | 2018-01-11 | 株式会社Ｊｖｃケンウッド | Head-up display device |
| JP2018084509A (en) | 2016-11-24 | 2018-05-31 | 日本電信電話株式会社 | Image measurement method, image measurement device and image measurement program |
Non-Patent Citations (1)
| Title |
|---|
| 第３部：ビジネス用途 あらゆる現場にＭＲ 「ホロレンズ」が先陣切る，日経エレクトロニクス，2018年08月，第1194号，p.34～39 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020095325A (en) | 2020-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107015638B (en) | Method and apparatus for alerting a head mounted display user | |
| RU2473301C2 (en) | Method of perception measurement | |
| US20170344833A1 (en) | Method and system for identifying an individual with increased body temperature | |
| CN108292448B (en) | Information processing apparatus, information processing method, and program | |
| JP6732522B2 (en) | Image processing apparatus, image processing method and program | |
| CN108780578A (en) | Direct light compensation technique for augmented reality system | |
| US20210020141A1 (en) | Information processing apparatus, information processing method, and recording medium | |
| KR20150101612A (en) | Head Mounted Display with closed-view and Method for controlling the same | |
| CN106104630B (en) | Detection apparatus and detection method | |
| US10310269B2 (en) | Method for virtual testing of at least one lens having a predetermined optical feature and associated device | |
| EP2667355A2 (en) | Object detection system and method using a camera and a multiple zone temperature sensor | |
| US20180063510A1 (en) | Forensic three-dimensional measurement device | |
| EP3163407B1 (en) | Method and apparatus for alerting to head mounted display user | |
| EP3351958A1 (en) | Object position detection apparatus | |
| JP5407742B2 (en) | Shape recognition method and shape recognition device | |
| JP5012640B2 (en) | Display device | |
| JP2006146778A (en) | Head mount display device | |
| CN107860559A (en) | Improve the intelligent AR testing agencies of product qualification rate | |
| JP2017228316A (en) | Detection device, detection method, and program | |
| JP7349653B2 (en) | image identification system | |
| US9877006B2 (en) | Image pickup apparatus and method for operating image pickup apparatus | |
| HUE025157T2 (en) | Method for determining the luminance of traffic signs and device for implementing same | |
| KR20210105302A (en) | Information processing apparatus, information processing method, and computer program | |
| KR101692764B1 (en) | Method for Providing Augmented Reality by using Virtual Point | |
| JP6885764B2 (en) | Lens meter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220909 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221018 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230425 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230901 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7349653 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |