JP4733969B2 - Portable information terminal device - Google Patents
Portable information terminal device Download PDFInfo
- Publication number
- JP4733969B2 JP4733969B2 JP2004340681A JP2004340681A JP4733969B2 JP 4733969 B2 JP4733969 B2 JP 4733969B2 JP 2004340681 A JP2004340681 A JP 2004340681A JP 2004340681 A JP2004340681 A JP 2004340681A JP 4733969 B2 JP4733969 B2 JP 4733969B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- beam combiner
- image
- unit
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Telephone Set Structure (AREA)
Description
本発明は、液晶パネルなどの表示素子を有する携帯情報端末装置に関するものである。 The present invention relates to a portable information terminal device having a display element such as a liquid crystal panel.
近年、一人の人間が複数のコンピュータを使用するネットワーク社会、いわゆるユビキタス・ネットワーク社会が提唱されている。ユビキタス・ネットワーク社会では、インターネット等の情報ネットワークに、いつでも、どこからでもアクセスできる環境が実現できる。このようなアクセスに使う携帯情報端末装置は、パソコンに限られず、例えば携帯電話等も用いることができる。 In recent years, a network society in which one person uses a plurality of computers, a so-called ubiquitous network society has been proposed. In the ubiquitous network society, it is possible to realize an environment where information networks such as the Internet can be accessed anytime and anywhere. The portable information terminal device used for such access is not limited to a personal computer, and for example, a mobile phone can be used.
そして、携帯電話においては、通話とディスプレイ認識とを同時に行なえる表示機能付き携帯情報端末装置が、例えば、特許文献1に提案されている。
特許文献1に開示されている構成では、小型のディスプレイをホログラム素子により遠方に拡大投影する。これにより、例えば、通話をしながら表示画像情報を見ることができる。さらに、ホログラム素子を介して遠方の物体の透過像を同時に観察できる。この表示機能付き携帯情報端末装置は、実視野の像にデジタル情報を重畳させて表示する、いわゆるシースルービュアー(see−through viewer)として用いることができる。 In the configuration disclosed in Patent Document 1, a small display is enlarged and projected far away by a hologram element. Thereby, for example, display image information can be seen while making a call. Further, a transmission image of a distant object can be simultaneously observed through the hologram element. This portable information terminal device with a display function can be used as a so-called see-through viewer that displays digital information superimposed on an image of a real field of view.
一般に、実視野内に存在する物体の反射率は、それぞれの物体によって異なる。そのため、シースルービュアーの使用時には、実視野内の場所によって、実視野内での明るさが異なる。従来技術の表示機能付き携帯情報端末装置では、実視野内の位置によっては、実視野内の物体の明るさが、表示素子で表示される画像情報の明るさに対して明るすぎることがある。その結果、使用者が、重畳させた表示画像情報を認識できなくなることが生じるという問題があった。 In general, the reflectance of an object existing in a real field of view varies depending on each object. Therefore, when the see-through viewer is used, the brightness in the real field of view varies depending on the location in the real field of view. In the portable information terminal device with a display function of the prior art, depending on the position in the real field of view, the brightness of the object in the real field of view may be too bright relative to the brightness of the image information displayed on the display element. As a result, there is a problem that the user may not be able to recognize the superimposed display image information.
本発明は、上記に鑑みてなされたものであって、重畳させた表示画像情報を、使用者が認識できる携帯情報端末装置を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide a portable information terminal device that allows a user to recognize superimposed display image information.
上記目的を達成するため、本発明による携帯情報端末装置は、情報入力部を有する把持部と、前記情報入力部で入力した情報又は装置の内部もしくは外部から得た情報を表示する表示面を有する表示部と、前記表示面に表示された情報を反射して使用者の眼に導くと共に、使用者の前方の実視野の対象物の像を透過して使用者の眼に導くビームコンバイナと、前記ビームコンバイナを、前記表示部に対して開閉可能に支持するビームコンバイナ開閉部材と、前記表示部を、前記把持部に対して開閉可能に支持する表示部開閉部材と、前記実視野側から入射する光を受光するように配置された複数の受光面を備えた撮像ユニットと、画像処理ユニットとを備え、前記撮像ユニットは、前記ビームコンバイナを介して使用者の眼に導かれる実視野を撮像して視野画像を作成し、前記画像処理ユニットは、前記視野画像について、所定の閾値との比較を行い、所定の閾値よりも低い値を有する画像領域を、暗い画像領域として検出し、前記画像処理ユニットは、予め使用者に選定された、前記実視野内にある所定の対象物に関連する情報を、装置の内部または外部から検索・抽出して、前記第1の表示領域に表示させ、前記第1の表示領域は、前記暗い画像領域に対応する表示領域であることを特徴とする。
また、本発明の携帯情報端末装置においては、前記画像処理ユニットは、前記暗い画像領域の面積に応じて、前記第1の表示領域に表示させる前記所定の対象物に関連する情報の量を異ならせるようにするのが好ましい。
また、本発明の携帯情報端末装置においては、前記画像処理ユニットは、前記暗い画像領域の色に応じて、前記第1の表示領域に表示させる前記所定の対象物に関連する情報の色を異ならせるようにするのが好ましい。
また、本発明の携帯情報端末装置においては、前記画像処理ユニットは、前記ビームコンバイナを介して使用者の眼に導かれる実視野における前記所定の対象物の像と、前記第1の表示領域に表示させる前記所定の対象物に関連する情報とを対応付けるための画像を、前記表示面の第2の表示領域に表示させるようにするのが好ましい。
In order to achieve the above object, a portable information terminal device according to the present invention has a gripping unit having an information input unit, and a display surface for displaying information input by the information input unit or information obtained from inside or outside the device. A display unit, a beam combiner that reflects and displays information displayed on the display surface to the user's eye, and transmits an image of an object in the real field in front of the user to guide the user's eye; A beam combiner opening / closing member that supports the beam combiner to be openable / closable with respect to the display unit, a display unit opening / closing member that supports the display unit to be openable / closable with respect to the gripping unit, and incident from the real field side an imaging unit having a plurality of light receiving surfaces arranged so as to receive light, and an image processing unit, the imaging unit, the actual field of view directed to the eyes of the user through said beam combiner Create a field image by capturing the image processing unit, for the previous SL-field image, and compares with a predetermined threshold value, the image area having a value lower than a predetermined threshold value is detected as a dark image area, wherein the image processing unit in advance was selected by the user, the information that are related to the predetermined object in the Jisshi cortex, by searching and extracting from an internal or external device, the first display area is displayed on the first display area, characterized in that it is a display area corresponding to the dark image area.
Further, the portable information terminal device of the present invention, the image processing unit, in response to said area of dark image regions, different amounts of the information related to the predetermined object to be displayed in the first display area It is preferable to make it.
Further, the portable information terminal device of the present invention, the image processing unit, in response to said color of dark image regions, different color information related to the predetermined object to be displayed on the first display region It is preferable to make it.
Further, the portable information terminal device of the present invention, the image processing unit includes an image of the predetermined object in the real field of view directed to the eyes of the user through the beam combiner, in the first display area an image for Keru with corresponding information associated with the predetermined object to be displayed, preferably on so that is displayed in the second display area of the display surface.
本発明によれば、実視野内の明るさが変化しても、重畳させた表示画像情報を使用者が良好に認識できる携帯情報端末装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, even if the brightness in a real visual field changes, the portable information terminal device which a user can recognize favorably the superimposed display image information can be provided.
実施例の説明に先立ち、本発明の作用効果について説明する。
図1は、一実施形態にかかる携帯情報端末装置における説明図を示している。図1では、携帯情報端末装置の表示部とビームコンバイナとの位置、及びこれらと使用者の眼Eとの関係を示している。
Prior to the description of the embodiments, the effects of the present invention will be described.
FIG. 1 is an explanatory diagram of a portable information terminal device according to an embodiment. In FIG. 1, the position of the display part of a portable information terminal device and a beam combiner, and the relationship between these and the user's eye E are shown.
携帯情報端末装置は、情報入力部4を有する把持部3と、表示面1aを有する表示部1と、ビームコンバイナ2を有している。表示面1aは、画像(情報)を表示する。ビームコンバイナ2は、表示面1aに表示された画像(情報)を拡大するような光学的パワーを持つ。このビームコンバイナ2は、ハーフミラーで構成されている。また、把持部3と表示部1の接続部には、表示部開閉部材5が設けられている。また、表示部1とビームコンバイナ2の接続部には、ビームコンバイナ開閉部材6が設けられている。そして、表示部1には、受光素子を備えた撮像ユニット7が設けられている。 The portable information terminal device includes a grip unit 3 having an information input unit 4, a display unit 1 having a display surface 1 a, and a beam combiner 2. The display surface 1a displays an image (information). The beam combiner 2 has an optical power for enlarging an image (information) displayed on the display surface 1a. The beam combiner 2 is composed of a half mirror. In addition, a display unit opening / closing member 5 is provided at a connection portion between the grip unit 3 and the display unit 1. Further, a beam combiner opening / closing member 6 is provided at a connection portion between the display unit 1 and the beam combiner 2. Then, the display unit 1, the imaging unit 7 is provided with a light receiving element.
表示部1の表示面1aに表示された画像(情報)は、ビームコンバイナ2で反射されて使用者の眼Eに導かれる。また、使用者の眼Eから、ビームコンバイナ2を隔てた所定の位置に、表示面1aに表示された画像(情報)の虚像が、拡大形成される。よって、使用者は、この虚像を拡大観察できる。このように、使用者の眼Eには、ビームコンバイナ2を通過してくる光が入射すると共に、ビームコンバイナ2で反射された光が入射する。 The image (information) displayed on the display surface 1 a of the display unit 1 is reflected by the beam combiner 2 and guided to the user's eye E. In addition, a virtual image of the image (information) displayed on the display surface 1a is enlarged and formed at a predetermined position separated from the user's eye E by the beam combiner 2. Therefore, the user can enlarge and observe this virtual image. Thus, the light passing through the beam combiner 2 enters the user's eye E and the light reflected by the beam combiner 2 enters.
ここで、ビームコンバイナ2を介して使用者の眼に導かれる領域を、実視野とする。この実視野内の明るさは、場所によって異なる。例えば、実視野内に、高い建物と低い建物があったとした場合に、太陽の位置によっては、低い建物は、高い建物の影の中に入り、低い建物の明るさは、高い建物の明るさより暗くなる。 Here, the space that they led to the eyes of the user by through beam combiner 2, and the actual field of view. The brightness within this real field of view varies from place to place. For example, if there is a high building and a low building in the real field of view, depending on the position of the sun, the low building falls in the shadow of the high building, and the brightness of the low building is higher than that of the high building. Get dark.
表示部1の一面1cは、使用者がビームコンバイナ2を通して見ている領域、すなわち実視野と略対向する面である。撮像ユニット7は、受光素子を有する。受光素子は、複数の受光面で構成されていて、使用者の前方からの入射する光を受光する位置に配置されている。また、図1に示す携帯情報端末装置の構成は、使用者が把持部3を右手で掴んで携帯情報端末装置を保持するようにしている。 One surface 1c of the display unit 1 is a region that the user views through the beam combiner 2, that is, a surface that is substantially opposite to the real field of view. An imaging unit 7 has a light-receiving element. Receiving element is made up of a plurality of light receiving surfaces are disposed at positions for receiving the light incident from the front of the user. In the configuration of the portable information terminal device shown in FIG. 1, the user holds the portable information terminal device by holding the grip portion 3 with the right hand.
そこで、本実施形態の携帯情報端末装置では、撮像ユニット7を実視野と略対向する面である表示部1の面1cに配置して、実視野からの光を受光するようにしている。 Therefore, in the portable information terminal device according to the present embodiment, the imaging unit 7 is arranged on the surface 1c of the display unit 1 that is a surface substantially opposite to the real field of view to receive light from the real field of view.
このような状態において、撮像ユニット7は、使用者の前方にある実視野を撮像して視野画像を作成する。そして、撮像ユニット7は、各画素に入射した光量に応じた信号を出力する。続いて、前記出力された信号は、画像処理ユニット13に入力される。画像処理ユニット13は、入力された信号と所定の閾値との比較を行う。このような工程を経ることで、画像処理ユニット13は、撮像ユニット7が撮像して作成した視野画像のうち、明るさが所定の閾値よりも低い画像領域を、暗い画像領域として検出する。 In such a state, the imaging unit 7 captures an actual visual field in front of the user and creates a visual field image . Then, the imaging unit 7 outputs a signal corresponding to the amount of light incident on each pixel. Subsequently, the output signal is input to the image processing unit 13. The image processing unit 1 3, intends row compares the input signal with a predetermined threshold value. By going through these processes, the image processing unit 13, among the field-of-view image by the imaging unit 7 is created by imaging, the lower image area than brightness is a predetermined threshold value, it detected as a dark image region .
ここで、撮像ユニット7が撮像して作成した視野画像は、ビームコンバイナ2を介して透過観察される実視野と同じ領域の画像である。そのため、上記工程により検出された暗い画像領域は、実視野における暗い領域に相当する。また、使用者はビームコンバイナ2を介して実視野を見ている。よって、実視野における暗い領域に相当する暗い観察領域が、ビームコンバイナ2の光学面にも、同様に存在していることになる。 Here, the visual field image created by imaging by the imaging unit 7 is an image in the same region as the real visual field that is transmitted and observed through the beam combiner 2. Therefore, the dark image area detected by the above process corresponds to a dark area in the real field of view. The user sees the real field of view through the beam combiner 2. Therefore, a dark observation region corresponding to a dark region in the real field of view also exists on the optical surface of the beam combiner 2 as well.
一方、ビームコンバイナ2の光学面は、表示面1aに表示された情報を反射している。そのため、ビームコンバイナ2の光学面内における所定の位置は、表示面1a内における所定の位置と対応していることになる。 On the other hand, the optical surface of the beam combiner 2 reflects information displayed on the display surface 1a. Therefore, the predetermined position in the optical surface of the beam combiner 2 corresponds to the predetermined position in the display surface 1a.
そして、使用者は、表示面1aに表示された情報を、ビームコンバイナ2を介して見ている。よって、表示面1a内にもビームコンバイナ2の光学面における実視野内の暗い観察領域に対応した表示領域が存在していることになる。 The user is viewing the information displayed on the display surface 1 a through the beam combiner 2. Drunk, the display region corresponding to the dark observation area within the actual field of view in the optical surface of the beam combiner 2 to the table示面1a is present.
そこで、画像処理ユニット13は、視野画像における暗い画像領域に対応する表示面1aの表示領域を第1の表示領域として特定する。そして、画像処理ユニット13は、特定した表示面1aの第1の表示領域に、撮像ユニット7によって撮像された実視野内にある所定の対象物に関連する情報を表示させる。以下、「撮像ユニット7によって・・・対象物」を、単に「所定の対象物」と称する。その結果、前記特定した表示面1aの第1の表示領域に、所定の対象物に関連する情報が、表示される。この所定の対象物に関連する情報は、ビームコンバイナ2の光学面における実視野内の暗い観察領域に、実視野の像と重畳される。 Therefore, the image processing unit 13 identifies the display area of the display surface 1a corresponding to dark image areas in visual field image as the first display region. Then, the image processing unit 13, the first display area of the specified display surface 1a, Ru display the information related to the predetermined object in the real field of view imaged by the imaging unit 7. Hereinafter, “the object by the imaging unit 7...” Is simply referred to as “predetermined object”. As a result, information related to the predetermined object is displayed in the first display area of the identified display surface 1a. The information related to the predetermined object is superimposed on the image of the real field on the dark observation region in the real field on the optical surface of the beam combiner 2 .
このような構成とすることで、使用者は、画像処理ユニット13が特定した表示面1aの第1の表示領域に表示された、所定の対象物に関連する情報を、良好に認識することができる。 With such a configuration, the user can well recognize information related to the predetermined object displayed in the first display area of the display surface 1a specified by the image processing unit 13. it can.
なお、本実施形態の携帯情報端末では、画像処理ユニット13が特定した表示面1aの第1の表示領域に表示された、所定の対象物に関連する情報をビームコンバイナ2で反射して、使用者の眼Eに導くように構成している。 In the portable information terminal of the present embodiment, information related to a predetermined object displayed in the first display area of the display surface 1a specified by the image processing unit 13 is reflected by the beam combiner 2 and used. It is comprised so that it may guide to a person's eye E.
なお、このような構成の携帯情報端末装置においては、ビームコンバイナ2が、表示面1aに対して偏心配置されている。このため、ビームコンバイナ2を介して観察される像に偏心収差が生じやすい。 In the portable information terminal device having such a configuration, the beam combiner 2 is eccentrically arranged with respect to the display surface 1a. For this reason, decentration aberrations are likely to occur in an image observed through the beam combiner 2.
しかるに、本実施形態のように、ビームコンバイナ2に非対称なパワーを持たせる。例えば、仮想線Lに沿う方向において、徐々にパワーが変化するように、ビームコンバイナ2の光学面を形成する。このような構成とすれば、表示面1aに対しビームコンバイナ2が偏心していることにより偏心収差が発生しても、この偏心収差を補正することができる。 However, as in this embodiment, the beam combiner 2 is given asymmetric power. For example, the optical surface of the beam combiner 2 is formed so that the power gradually changes in the direction along the virtual line L. With such a configuration, even if decentration aberration occurs due to the beam combiner 2 being decentered with respect to the display surface 1a, the decentration aberration can be corrected.
以下、本発明の実施例について、図面を用いて説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図2は、実施例1の携帯情報端末装置を、側方からみた概略構成図である。ここで、(a)は表示部を閉じた状態、(b)は表示部を展開した状態、(c)は(b)の状態からビームコンバイナを展開した状態を示している。図3は、携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の眼Eの位置との関係を示す説明図である。図4は、表示部開閉部材5と、ビームコンバイナ開閉部材6の構造を示す説明図である。 FIG. 2 is a schematic configuration diagram of the portable information terminal device according to the first embodiment as viewed from the side. Here, (a) shows a state where the display unit is closed, (b) shows a state where the display unit is expanded, and (c) shows a state where the beam combiner is expanded from the state shown in (b). FIG. 3 is an explanatory diagram showing the relationship between the display unit and the beam combiner in the portable information terminal device, and the position of the beam combiner and the user's eye E. FIG. 4 is an explanatory view showing the structure of the display unit opening / closing member 5 and the beam combiner opening / closing member 6.
実施例1の携帯情報端末装置は、情報入力部4を有する把持部3と、表示面1aを有する表示部1と、光学的パワーを有するビームコンバイナ2と、表示部開閉部材5を有している。ここで、表示面1aは、情報入力部4で入力した情報、又は外部から受信した情報を表示する。また、表示部開閉部材5は、表示部1を把持部3に対して開閉可能に支持している。このような構成により、実施例1の携帯情報端末装置は、所謂折り畳みタイプの携帯電話機として構成されている。 The portable information terminal device according to the first embodiment includes a grip unit 3 having an information input unit 4, a display unit 1 having a display surface 1a, a beam combiner 2 having optical power, and a display unit opening / closing member 5. Yes. Here, the display surface 1a displays information input by the information input unit 4 or information received from the outside. The display unit opening / closing member 5 supports the display unit 1 so as to be openable and closable with respect to the grip unit 3. With such a configuration, the portable information terminal device according to the first embodiment is configured as a so-called folding type mobile phone.
そして、更に、ビームコンバイナ2が、ビームコンバイナ開閉部材6を介して、表示部1に接続されている。この接続位置は、表示部1の一端側であって、表示部開閉部材5と対向する位置である。このビームコンバイナ開閉部材6によって、表示部1に対して、所定の角度でビームコンバイナ2を固定することができる。このような構成により、実施例1の携帯情報端末装置は、図3に示すように、シースルービュアーとしても構成されている。 Further, the beam combiner 2 is connected to the display unit 1 via the beam combiner opening / closing member 6. This connection position is one end side of the display unit 1 and is a position facing the display unit opening / closing member 5. With this beam combiner opening / closing member 6, the beam combiner 2 can be fixed to the display unit 1 at a predetermined angle. With such a configuration, the portable information terminal device of Example 1 is also configured as a see-through viewer as shown in FIG.
表示部開閉部材5は、図4に示すように、円筒部5aと、円筒部5bと、バネ5cと、球状部材5dと、ピン5eと、止め具5fとを有している。ここで、円筒部5bは、表示部1の一端に一体形成されている。また、円筒部5aは、把持部3の一端に一体形成されている。 As shown in FIG. 4, the display portion opening / closing member 5 includes a cylindrical portion 5a, a cylindrical portion 5b, a spring 5c, a spherical member 5d, a pin 5e, and a stopper 5f. Here, the cylindrical portion 5 b is integrally formed at one end of the display portion 1. The cylindrical portion 5 a is integrally formed at one end of the grip portion 3.
円筒部5aには、長手方向に沿って、中央に貫通孔5a1が形成されている。そして、円筒部5aの一端には、ピン5eの頭部を収納するための凹部5a2が、他端には、バネ5cを取り付けるための取付部(図示省略)が、それぞれ形成されている。 A through hole 5a 1 is formed in the center of the cylindrical portion 5a along the longitudinal direction. A concave portion 5a 2 for accommodating the head of the pin 5e is formed at one end of the cylindrical portion 5a, and an attachment portion (not shown) for attaching the spring 5c is formed at the other end.
円筒部5bの中央には、長手方向に沿って、中央に貫通孔5b1が形成されている。そして、円筒部5bの一端には、止め具5fを収納するための凹部(図示省略)が、他端には、球状部材5dの一部を嵌合可能な係止溝5b2と,5b3とが、それぞれ形成されている。 A through hole 5b 1 is formed at the center of the cylindrical portion 5b along the longitudinal direction. A recess (not shown) for accommodating the stopper 5f is provided at one end of the cylindrical portion 5b, and locking grooves 5b 2 and 5b 3 into which a part of the spherical member 5d can be fitted at the other end. Are formed.
そして、表示部開閉部材5では、バネ5cを円筒部5aの取付部に取り付けると共に、バネ5cの先端に球状部材5dを取り付けている。そして、この状態で、ピン5eを円筒部5aの凹部5a2側から、円筒部5a及び5bの貫通孔5a1と5b1に通し、その先端を止め具5fで止めている。このような構成により、表示部開閉部材5は、表示部1を把持部3に対し開閉可能に支持している。 And in the display part opening-and-closing member 5, while attaching the spring 5c to the attachment part of the cylindrical part 5a, the spherical member 5d is attached to the front-end | tip of the spring 5c. In this state, the pin 5e from the recess 5a 2 side of the cylindrical portion 5a, through penetration of the cylindrical portion 5a and 5b hole 5a 1 and 5b 1, has stopped its tip stopper 5f. With such a configuration, the display unit opening / closing member 5 supports the display unit 1 so as to be openable and closable with respect to the grip unit 3.
また、表示部開閉部材5では、表示部1を展開したときに、球状部材5dが係止溝5b2,5b3に嵌合し、且つ、バネ5cに付勢される。このような構成とすることで、表示部1と把持部3を、任意の角度で固定することができるようになっている。 In the display portion opening / closing member 5, when the display portion 1 is deployed, the spherical member 5d is fitted into the locking grooves 5b 2 and 5b 3 and is urged by the spring 5c. By setting it as such a structure, the display part 1 and the holding part 3 can be fixed now at arbitrary angles.
なお、表示部開閉部材5の具体的な構成は、上記構成に限定されるものではない。例えば、円筒部5a及び5bのそれぞれに磁石を備えた係止部を設け、互いの係止部が当接したときに、表示部1と把持部3が固定されるように構成してもよい。 The specific configuration of the display unit opening / closing member 5 is not limited to the above configuration. For example, each of the cylindrical portions 5a and 5b may be provided with a locking portion provided with a magnet, and the display portion 1 and the grip portion 3 may be fixed when the locking portions contact each other. .
ビームコンバイナ開閉部材6は、円筒部6aと、係止部6bと、円筒部6cと、係止爪6c2と、図示省略したピン及び止め具を有している。ここで、円筒部6aと係止部6bは、表示部1の他端に一体形成されている。一方、円筒部6cは、ビームコンバイナ2の一端に一体形成されている。また、係止爪6c2は、円筒部6cに一体形成されている。円筒部6a及び6cには、中央に貫通孔6a1及び6c1がそれぞれ形成されている。係止部6b及び係止爪6c2にはそれぞれ磁石が設けられている。 Beam combiner closing member 6 has a cylindrical portion 6a, a locking portion 6b, and the cylindrical portion 6c, and the locking claw 6c 2, has a pin and stop (not shown). Here, the cylindrical portion 6 a and the locking portion 6 b are integrally formed on the other end of the display portion 1. On the other hand, the cylindrical portion 6 c is integrally formed at one end of the beam combiner 2. Further, the locking claw 6c 2 is integrally formed with the cylindrical portion 6c. The cylindrical portions 6a and 6c are formed with through holes 6a 1 and 6c 1 at the center, respectively. Magnets respectively provided on the locking portion 6b and the locking claws 6c 2.
そして、ビームコンバイナ開閉部材6は、図示省略したピンを円筒部6a及び6cの貫通孔6a1及び6c1に通し、その先端を図示省略した止め具で止めて構成されている。このような構成により、ビームコンバイナ開閉部材6は、ビームコンバイナ2を、表示部1に対し開閉可能に支持している。 The beam combiner opening / closing member 6 is configured such that a pin (not shown) is passed through the through holes 6a 1 and 6c 1 of the cylindrical portions 6a and 6c, and the tip thereof is stopped by a stopper (not shown). With such a configuration, the beam combiner opening / closing member 6 supports the beam combiner 2 so as to be openable / closable with respect to the display unit 1.
また、ビームコンバイナ開閉部材6は、ビームコンバイナ2を展開したときに、係止爪6c2が係止部6bに当接し、且つ、互いの磁力でその状態を保持することで、ビームコンバイナ2を表示部1に対して固定することができるようになっている。 The beam combiner closing member 6, when expanding a beam combiner 2, locking claws 6c 2 is brought into contact with the locking portion 6b, and, by holding the state in a mutual magnetic force, a beam combiner 2 It can be fixed to the display unit 1.
なお、ビームコンバイナ開閉部材6は、上記構成に限定されるものではない。例えば、表示部開閉部材5における球状部材5dが係止溝5b2及び5b3に嵌合し、且つ、バネ5cに付勢される構成と同様に構成してもよい。 The beam combiner opening / closing member 6 is not limited to the above configuration. For example, the spherical member 5d in the display unit opening / closing member 5 may be configured in the same manner as the configuration in which the spherical member 5d is fitted in the locking grooves 5b 2 and 5b 3 and is urged by the spring 5c.
このような構成によって、図3に示すように、表示面1aに表示された情報が、使用者の眼E方向に反射されるようになっている。このように、実施例1の携帯情報端末装置は、携帯電話としての使用と、シースルービュアーとしての使用とを可能にすることができる。 With such a configuration, as shown in FIG. 3, the information displayed on the display surface 1a is reflected in the direction of the user's eye E. As described above, the portable information terminal device according to the first embodiment can be used as a mobile phone and as a see-through viewer.
そして、本実施例1の携帯情報端末装置では、撮像ユニット8が、図1の撮像ユニット7に相当する構成として、表示部1内に設けられている。この撮像ユニット8は、面1cを介して、外部を撮像する。この面1cは、実視野と略対向している面である。 In the portable information terminal device according to the first embodiment, the imaging unit 8 is provided in the display unit 1 as a configuration corresponding to the imaging unit 7 in FIG. The imaging unit 8 images the outside via the surface 1c. The surface 1c is a surface that is substantially opposite to the real field of view.
図5は、実施例1の情報表示装置に備えられた撮像ユニットの構造を示す説明図であって、(a)は撮像ユニットの概略構成図、(b)はビームコンバイナを通して使用者が実視野を見る方向と、撮像レンズの光軸方向との関係を示す。撮像ユニット8は、図5(a)に示すように、撮像レンズ8aと、撮像素子8b及びカバーガラス8cを有する。撮像レンズ8aは、プリズムと、負レンズと、正レンズとからなる。なお、カバーガラス8cは、撮像用の窓部となる。また、撮像素子8bは受光素子である。本実施例1では、撮像素子8bはCCDであって、複数の受光部で構成されている。 5A and 5B are explanatory views showing the structure of the imaging unit provided in the information display apparatus of Example 1, wherein FIG. 5A is a schematic configuration diagram of the imaging unit, and FIG. The relationship between the viewing direction and the optical axis direction of the imaging lens is shown. As shown in FIG. 5A, the imaging unit 8 includes an imaging lens 8a, an imaging element 8b, and a cover glass 8c. The imaging lens 8a includes a prism, a negative lens, and a positive lens. Note that the cover glass 8c serves as an imaging window. The image sensor 8b is a light receiving element. In the first embodiment, the image sensor 8b is a CCD, and includes a plurality of light receiving units.
なお、本実施例1では、表示部1を展開した時に、表示部1が把持部3に対して、180°以上の角度で折り曲がった状態になっている。そのため、図5(b)に示すように、矢印X1の方向と矢印X2の方向が異なる。ここで、矢印X1の方向は、ビームコンバイナ2を通して、使用者が実視野を見る方向である。一方、矢印X2の方向は、面1cにおける法線の方向である。 In the first embodiment, when the display unit 1 is unfolded, the display unit 1 is bent with respect to the grip unit 3 at an angle of 180 ° or more. Therefore, as shown in FIG. 5B, the direction of the arrow X1 and the direction of the arrow X2 are different. Here, the direction of the arrow X1 is a direction in which the user views the real field of view through the beam combiner 2. On the other hand, the direction of the arrow X2 is the direction of the normal line on the surface 1c.
そのため、撮像レンズ8aの光軸が矢印X2の方向と平行になるように、撮像レンズ8aを配置すると、使用者が見ている実視野を撮像できない。そこで、撮像レンズ8aの光軸が矢印X3の方向と平行になるように、撮像レンズ8aを配置するようにすることで、撮像素子8bは実視野内(所定の撮像領域)を撮像する。 Therefore, if the imaging lens 8a is arranged so that the optical axis of the imaging lens 8a is parallel to the direction of the arrow X2, it is impossible to capture the real field of view that the user is viewing. Therefore, by arranging the imaging lens 8a so that the optical axis of the imaging lens 8a is parallel to the direction of the arrow X3, the imaging element 8b images in the real field of view (predetermined imaging region).
また、携帯情報端末装置は、メモリ12を内蔵している。よって、撮像ユニット8に備えられている撮像素子8bによって撮像された画像は、一旦、メモリ12に保存される。また、携帯情報端末装置は、画像処理ユニット13を内蔵している。そして、この画像処理ユニット13において、所定の処理が行われる。 The portable information terminal device has a built-in memory 12. Therefore, an image captured by the image sensor 8 b provided in the imaging unit 8 is temporarily stored in the memory 12. Further, the portable information terminal device has an image processing unit 13 built therein. Then, predetermined processing is performed in the image processing unit 13.
図6は、撮像ユニット8で撮像した画像を画像処理ユニット13において処理する工程を示すフローチャートである。まず、画像処理ユニット13は、撮像ユニット8で撮像した画像をメモリ12から読み出す(ステップS1)。ここで、画像は、複数の画素から構成されている。そこで、画像処理ユニット13は、各画素の有する明るさと閾値との比較を行う(ステップS2)。 FIG. 6 is a flowchart illustrating a process of processing an image captured by the imaging unit 8 in the image processing unit 13. First, the image processing unit 13 reads an image captured by the imaging unit 8 from the memory 12 (step S1). Here, the image is composed of a plurality of pixels. Therefore, the image processing unit 13 compares the brightness of each pixel with a threshold value (step S2).
ここで、画素の有する明るさが閾値よりも小さい場合、画像処理ユニット13は、この画素の座標を記憶する(ステップS3)。一方、画素の明るさが閾値以上である場合、画像処理ユニット13は何も行わない。画像処理ユニット13は、上記処理を、全ての画素について行う(ステップS4)。 Here, when the brightness of the pixel is smaller than the threshold, the image processing unit 13 stores the coordinates of the pixel (step S3). On the other hand, when the pixel brightness is equal to or higher than the threshold, the image processing unit 13 does nothing. The image processing unit 13 performs the above process for all the pixels (step S4).
上記比較が全ての画素について終了したら、画像処理ユニット13は、記憶した座標から、座標が連続する画像の集まり、すなわち暗い画像領域、を特定する(ステップS5)。ここで、暗い画像領域の数は、撮像領域の様子によって異なる。そこで、暗い画像領域の数に応じて、処理を異ならせる(ステップS6)。 When the comparison is completed for all the pixels, the image processing unit 13 specifies from the stored coordinates a collection of images with continuous coordinates, that is, a dark image region (step S5). Here, the number of dark image regions varies depending on the state of the imaging region. Therefore, the processing is varied according to the number of dark image regions (step S6).
暗い画像領域が複数存在する場合、最も面積の大きな暗い画像領域が、所定の対象物に関連する情報を表示するための表示用の暗い画像領域に該当する(ステップS7)。以下、「所定の対象物・・・暗い画像領域」を、単に、「表示用の暗い画像領域」と称する。 If a dark image region there are a plurality, large dark image regions most area corresponds to the dark image regions of a display for displaying information related to a predetermined object (step S7). Hereinafter, the “predetermined object... Dark image region” is simply referred to as “dark image region for display”.
一方、暗い画像領域が1つしか存在しない場合、この暗い画像領域が、表示用の暗い画像領域に該当する。 On the other hand, if the dark image region there is only one, the dark image area corresponds to the dark image area of display.
画像処理ユニット13は、表示用の暗い画像領域を特定した後、更に、この特定に基いて、表示用の暗い画像領域に対応する表示面1aの表示領域を第1の表示領域として特定する。(ステップS8)。 The image processing unit 13, after identifying the dark image regions for display, further, on the basis of this particular, to identify the display area of the display surface 1a corresponding to dark image areas of display as the first display region. (Step S8).
そして、画像処理ユニット13は、特定した表示面1aの第1の表示領域に情報を表示させる(ステップS9)。 And, the images processing unit 13, Ru display the information in the first display area of the specified display surface 1a (step S9).
ここで、表示される情報は、所定の対象物に関連する情報である。なお、所定の対象物に関連する情報は、携帯情報端末装置と別体、または、携帯情報端末装置に内蔵して設けられたデータベースから検索抽出するような構成にしてもよい。 Here, the displayed information is information related to a predetermined object. Incidentally, information you related to a predetermined object, a portable information terminal apparatus and another member, or may be configured such that the search and extraction from a database provided in built into the portable information terminal device.
情報を表示させたい対象物は、予め使用者が選定を行っておけばよい。この選定方法としては、例えば、使用者の視線を検出する装置を設けて、撮像領域内の対象物を特定する方法がある。また、例えば、表示面1aに矢印を表示させ、この矢印を、情報入力部4を使って、使用者が操作できるようにしておくことで、撮像領域内の対象物を特定する方法がある。 A user may select an object for which information is to be displayed in advance. As a selection method, for example, there is a method of providing a device for detecting the visual line of a user to identify an object in the imaging region. In addition, for example, there is a method of specifying an object in the imaging region by displaying an arrow on the display surface 1 a and enabling the user to operate the arrow using the information input unit 4.
このように、表示面1aに表示された情報は、ビームコンバイナ2によって、使用者の眼Eに向けて反射される。その際、図7に示すように、所定の対象物に関連する情報は、ビームコンバイナ2の光学面における実視野内の暗い観察領域に、実視野の像と重畳されて表示されることになる。よって、使用者は、実視野内の対象物と表示面1aに表示された所定の対象物に関連する情報との両方を、ビームコンバイナ2を介して良好に見ることができる。 Thus, the information displayed on the display surface 1a is reflected by the beam combiner 2 toward the user's eye E. At that time, as shown in FIG. 7, information related to the predetermined object is displayed in a dark observation region in the real field on the optical surface of the beam combiner 2 so as to be superimposed on the image of the real field. . Therefore, the user can satisfactorily see both the object in the real field of view and the information related to the predetermined object displayed on the display surface 1a through the beam combiner 2 .
なお、図5に示す構成では、撮像用の窓部(カバーガラス8c)が側面1cに設けられている。しかしながら、このような構成に限定されるわけではない。図8は、情報表示装置に備えられた撮像ユニット8の構造の変形例を示す説明図である。 In the configuration shown in FIG. 5, an imaging window (cover glass 8c) is provided on the side surface 1c. However, it is not necessarily limited to such a configuration. FIG. 8 is an explanatory view showing a modification of the structure of the imaging unit 8 provided in the information display device.
例えば、図8(a)に示すように、撮像レンズ8aを構成しているプリズムを表示部1から突出させるようにすれば、表示部1の別の側面1c'に、撮像用の窓部を設けることができる。 For example, as shown in FIG. 8A, if a prism constituting the imaging lens 8a is projected from the display unit 1, an imaging window unit is provided on another side surface 1c ′ of the display unit 1. Can be provided.
また、撮像ユニット8は図8(b)に示すように、図5の撮像ユニット8の配置と直交する方向に配置しても良い。いずれの場合にも、撮像レンズaの光軸が、実視野の方向に向くように、撮像ユニット8を配置している。 Further, as shown in FIG. 8B, the imaging unit 8 may be arranged in a direction orthogonal to the arrangement of the imaging unit 8 in FIG. In either case, the image pickup unit 8 is arranged so that the optical axis of the image pickup lens a is directed in the direction of the real field of view.
以上のように、本実施例1の携帯情報端末装置は、シースルービュアーとして使用する場合、携帯情報端末装置を、側頭部に当接させて保持する構成になっていて、この状態で、撮像レンズ8aの光軸が実視野方向に向くように、撮像ユニット8が配置されている。 As described above, when the portable information terminal device according to the first embodiment is used as a see-through viewer, the portable information terminal device is configured to hold the portable information terminal device in contact with the temporal region. The imaging unit 8 is arranged so that the optical axis of the lens 8a is oriented in the real visual field direction.
本実施例1の携帯情報端末装置によれば、撮像ユニット8によって、使用者が見ている実視野を撮像して視野画像を作成し、画像処理ユニット13によって、視野画像から実視野内の明るさの変化を検出し、実視野の暗い領域に対応する表示面1aの第1の表示領域を特定して、第1の表示領域に所定の対象物に関連する情報を表示させることができる。そのため、表示面1aの第1の表示領域に表示させるべき所定の対象物に関連する情報を、ビームコンバイナ2の光学面における実視野内の暗い観察領域に、実視野の像と重畳して表示させることができる。その結果、使用者は、実視野と撮像した視野画像により特定された第1の表示領域に表示された所定の対象物に関連する情報とを重畳させた表示画像情報を、ビームコンバイナ2を介して良好に認識することができる。 According to the portable information terminal device of the first embodiment, the imaging unit 8 images the real field of view viewed by the user to create a field image, and the image processing unit 13 determines the brightness within the real field from the field image. detects a change in the, by identifying the first display area of the display surface 1a corresponding to the dark areas of the real field of view, it is Rukoto to display information related to a predetermined object in the first display area . Therefore, the first information related to Rubeki predetermined object is displayed in the display area of the display surface 1a, dark observation area within the actual field of view in the optical surface of the beam combiner 2, and overlaps with the actual field of view of the image Can be displayed. As a result, the user, the actual field of view and imaged first display image information by superimposing the information related to the predetermined object that is displayed in the display region specified Ri by the field images, beam combiner 2 it can be satisfactorily recognized through.
図9は、実施例2にかかる携帯情報端末装置の概略構成を側方からみた斜視図である。ここで、(a)は表示部を閉じた状態、(b)は表示部を展開した状態、(c)は(b)の状態からビームコンバイナと表示面構成部を展開した状態を示している。図10は、携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の眼Eの位置との関係を示す説明図である。 FIG. 9 is a perspective view of the schematic configuration of the portable information terminal device according to the second embodiment as viewed from the side. Here, (a) shows a state where the display unit is closed, (b) shows a state where the display unit is expanded, and (c) shows a state where the beam combiner and the display surface configuration unit are expanded from the state (b). . FIG. 10 is an explanatory diagram showing the relationship between the display unit and the beam combiner in the portable information terminal device, and the position of the beam combiner and the eye E of the user.
実施例2の携帯情報端末装置は、情報入力部4を有する把持部3と、表示部1と、光学的パワーを有するビームコンバイナ2と、表示部開閉部材5を有している。ここで、表示部1は、表示面1aと、表示面1aの周りを囲む外枠部1bとを有する。なお、図中1a'は表示面1aを含む表示面構成部である。ここで、表示面1aは、情報入力部4で入力した情報、又は外部から受信した情報を表示する。また、表示部開閉部材5は、表示部1の外枠部1bを把持部3に対して開閉可能に支持している。このような構成により、実施例1の携帯情報端末装置は、所謂折り畳みタイプの携帯電話機として構成されている。 The portable information terminal device according to the second embodiment includes a grip unit 3 having an information input unit 4, a display unit 1, a beam combiner 2 having optical power, and a display unit opening / closing member 5. Here, the display unit 1 includes a display surface 1a and an outer frame portion 1b surrounding the display surface 1a. In the figure, reference numeral 1a 'denotes a display surface constituting part including the display surface 1a. Here, the display surface 1a displays information input by the information input unit 4 or information received from the outside. Moreover, the display part opening / closing member 5 supports the outer frame part 1 b of the display part 1 so as to be openable and closable with respect to the grip part 3. With such a configuration, the portable information terminal device according to the first embodiment is configured as a so-called folding type mobile phone.
そして、更に、ビームコンバイナ2が、ビームコンバイナ開閉部材6を介して、表示部1に接続されている。この接続位置は、表示部1の一端側であって、表示部開閉部材5と対向する位置である。このビームコンバイナ開閉部材6によって、表示部1に対して所定の角度で、ビームコンバイナ2を固定することができる。このような構成により、実施例2の携帯情報端末装置は、図10に示すように、シースルービュアーとしても構成されている。 Further, the beam combiner 2 is connected to the display unit 1 via the beam combiner opening / closing member 6. This connection position is one end side of the display unit 1 and is a position facing the display unit opening / closing member 5. With this beam combiner opening / closing member 6, the beam combiner 2 can be fixed at a predetermined angle with respect to the display unit 1. With this configuration, the portable information terminal device according to the second embodiment is configured as a see-through viewer as shown in FIG.
表示部開閉部材5、ビームコンバイナ開閉部材6は、実施例1で説明したとおりである。また、表示面回動手段9は、表示面1aを外枠部1bに対して回動可能に支持し、且つ、表示面1aを所定量回動させたときの状態を保持する構成を有する。表示面回動手段9としては、公知の回転機構を用いればよい。よって、具体的な構成について、詳細な説明は省略する。 The display part opening / closing member 5 and the beam combiner opening / closing member 6 are as described in the first embodiment. The display surface rotating means 9 has a configuration that supports the display surface 1a so as to be rotatable with respect to the outer frame portion 1b, and holds the state when the display surface 1a is rotated by a predetermined amount. As the display surface rotating means 9, a known rotating mechanism may be used. Therefore, detailed description of a specific configuration is omitted.
そして、実施例2の携帯情報端末装置では、撮像ユニット8が、図1の撮像ユニット7に相当する構成として、外枠部1bに設けられている。この撮像ユニット8は、実施例1と同様に、複数の受光面を有する。本実施例2においても、撮像ユニット8によって、実視野内(所定の撮像領域)を撮像する。そして、実施例1と同様にして、画像処理ユニット13が、暗い画像領域の検出を行う。 And in the portable information terminal device of Example 2, the imaging unit 8 is provided in the outer frame part 1b as a structure equivalent to the imaging unit 7 of FIG. The imaging unit 8 has a plurality of light receiving surfaces as in the first embodiment. Also in the second embodiment, the imaging unit 8 captures an image within the actual visual field (predetermined imaging region). Then, as in the first embodiment, the image processing unit 13 detects a dark image region.
ここで、暗い画像領域の面積は、実視野内の様子によって異なる。そこで、本実施例2では、画像処理ユニット13が、暗い画像領域の面積に応じて、第1の表示領域に表示させる所定の対象物に関連する情報の量を異ならせている。図11は、ビームコンバイナ2の光学面における実視野内の暗い観察領域に、所定の対象物に関連する情報が重畳して表示されている様子を示す説明図である。画像処理ユニット13は、暗い画像領域の面積が大きい場合は、第1の表示領域に表示させる所定の対象物に関連する情報の量を多くする。これにより、ビームコンバイナ2には所定の対象物に関連する情報が、例えば図11(a)のように表示される。一方、暗い画像領域の面積が小さい場合には、第1の表示領域に表示させる所定の対象物に関連する情報の量を少なくする。これにより、ビームコンバイナ2には所定の対象物に関連する情報が、例えば図11(b)のように表示される。 Here, the area of the dark image region varies depending on the state in the real field of view. In a second embodiment, the image processing unit 13, are made different dark image area according to the area of the amount of information associated with a given object Ru is displayed in the first display area. Figure 11 is a dark observation area within the actual field of view in the optical surface of the beam combiner 2 is an explanatory view showing a state in which information associated with a given object are displayed superimposed. The image processing unit 13, if a large area of the darker image area, to increase the amount of information associated with a given object Ru is displayed in the first display area. Thereby, information related to the predetermined object is displayed on the beam combiner 2 as shown in FIG. On the other hand, when the area of the darker image area is small, to reduce the amount of information associated with a given object Ru is displayed in the first display area. As a result, information related to the predetermined object is displayed on the beam combiner 2 as shown in FIG.
本実施例2の携帯情報端末装置によれば、実視野内(所定の撮像領域)の暗い画像領域の面積に応じて、表示面1aの第1の表示領域に表示させる所定の対象物に関連する情報の量を異ならせることができるので、使用者は、撮像した視野画像により特定された第1の表示領域に表示された所定の対象物に関連する情報が効率よく実視野と重畳して表示された表示画像情報を、ビームコンバイナ2を介して効果的に認識することができる。 According to the portable information terminal device of the second embodiment, the predetermined object to be displayed on the first display area of the display surface 1a according to the area of the dark image area in the real field of view (predetermined imaging area). it is possible to vary the amount of relevant information, the user, imaging and information that are related to a predetermined object displayed on the first display region specified Ri by the field images efficiently Jitsushiya The display image information displayed in a superimposed manner can be effectively recognized via the beam combiner 2 .
なお、本実施例2の携帯情報端末装置では、画像処理ユニット13が表示面1aの第1の表示領域に表示させる所定の対象物に関連する情報の量を、暗い画像領域の面積に比例させている。そのため、ビームコンバイナ2に図11(b)のように表示される場合のように、暗い画像領域の面積が小さい場合には、第1の表示領域に表示させる所定の対象物に関連する情報の量が少なくなる。よって、所定の対象物に関連する全ての情報を、一度に表示させることができない場合がある。 In the portable information terminal device of the second embodiment, the amount of information the image processing unit 13 is associated with a first display predetermined object which Ru is displayed in the area of the display surface 1a, proportional to the area of the dark image area I am letting . Information Therefore, as in the case of display as shown in FIG. 11 (b) to the beam combiner 2, when the area of the dark image area is small, associated with a given object Ru is displayed in the first display area The amount of. Therefore, all information related to the predetermined object may not be displayed at a time.
そこで、第1の表示領域に表示させる所定の対象物に関連する情報は、所定の時間が経過した時に、所定の対象物に関連する次の情報を表示させるようにすればよい。あるいは、情報入力部4を操作することで、所定の対象物に関連する次の情報を表示させるようにすればよい。 Therefore, information associated with a given object Ru is displayed on the first display area, when a predetermined time has elapsed, it suffices to display the following information associated with a given object. Or what is necessary is just to display the following information relevant to a predetermined target object by operating the information input part 4. FIG.
図12は、実施例3にかかる携帯情報端末装置の概略構成を側方からみた斜視図である。ここで、 (a)は表示部を閉じた状態、(b)は表示部を展開した状態、(c)は(b)の状態からビームコンバイナを展開した状態を示している。図13は、携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の眼Eの位置との関係を示す説明図である。 FIG. 12 is a perspective view of the schematic configuration of the portable information terminal device according to the third embodiment as viewed from the side. Here, (a) shows a state where the display unit is closed, (b) shows a state where the display unit is expanded, and (c) shows a state where the beam combiner is expanded from the state (b). FIG. 13 is an explanatory diagram showing the relationship between the display unit and the beam combiner in the portable information terminal device, and the position of the beam combiner and the eye E of the user.
実施例3の携帯情報端末装置は、情報入力部4を有する把持部3と、表示面1aを有する表示部1と、光学的パワーを有するビームコンバイナ2と、表示部開閉手段5とを有している。ここで、表示面1aは、情報入力部4で入力した情報、又は外部から受信した情報を表示する。また、表示部開閉手段5は、表示部1を把持部3に対して開閉可能に支持する。このような構成により、実施例1の携帯情報端末装置は、所謂折り畳みタイプの携帯電話機として構成されている。 The portable information terminal device according to the third embodiment includes a grip unit 3 having an information input unit 4, a display unit 1 having a display surface 1a, a beam combiner 2 having optical power, and a display unit opening / closing means 5. ing. Here, the display surface 1a displays information input by the information input unit 4 or information received from the outside. The display unit opening / closing means 5 supports the display unit 1 so that it can be opened and closed with respect to the grip unit 3. With such a configuration, the portable information terminal device according to the first embodiment is configured as a so-called folding type mobile phone.
そして、ビームコンバイナ2が、ビームコンバイナ開閉部材6と、ビームコンバイナ連結部材10及びビームコンバイナ移動部材11を介して、表示部1に接続されている。このような構成により、実施例3の携帯情報端末装置は、図11に示すように、シースルービュアーとしても構成されている。 The beam combiner 2 is connected to the display unit 1 via a beam combiner opening / closing member 6, a beam combiner connecting member 10, and a beam combiner moving member 11. With such a configuration, the portable information terminal device of Example 3 is also configured as a see-through viewer as shown in FIG.
表示部開閉部材5は、実施例1で説明したとおりである。また、ビームコンバイナ連結部材10は、棒状部材である。また、ビームコンバイナ開閉部材6、ビームコンバイナ移動部材11は、公知の回転機構を用いればよい。よって、具体的な構成について、詳細な説明は省略する。 The display portion opening / closing member 5 is as described in the first embodiment. The beam combiner connecting member 10 is a rod-shaped member. The beam combiner opening / closing member 6 and the beam combiner moving member 11 may use a known rotation mechanism. Therefore, detailed description of a specific configuration is omitted.
ビームコンバイナ連結部材10には、一端にビームコンバイナ2が接続され、他端に表示部1が接続されている。そして、ビームコンバイナ移動部材11は、ビームコンバイナ連結部材10を表示部1に対して、移動可能に支持している。移動方向は、ビームコンバイナ2が表示面1aから離れる方向である。 The beam combiner connecting member 10 is connected to the beam combiner 2 at one end and to the display unit 1 at the other end. The beam combiner moving member 11 supports the beam combiner connecting member 10 so as to be movable with respect to the display unit 1. The moving direction is a direction in which the beam combiner 2 moves away from the display surface 1a.
また、ビームコンバイナ移動部材11は、ビームコンバイナ連結部材10を所定量移動させた時に、その位置での状態を保持できるような機構を有している。また、ビームコンバイナ開閉部材6は、ビームコンバイナ2をビームコンバイナ連結部材10に対して開閉可能に支持している。また、ビームコンバイナ開閉部材6は、ビームコンバイナ2を所定量展開したとき、その位置での状態を保持できるような機構を有している。 The beam combiner moving member 11 has a mechanism that can maintain the state at that position when the beam combiner connecting member 10 is moved by a predetermined amount. The beam combiner opening / closing member 6 supports the beam combiner 2 so as to be openable / closable with respect to the beam combiner connecting member 10. The beam combiner opening / closing member 6 has a mechanism that can maintain the state at the position when the beam combiner 2 is deployed a predetermined amount.
そして、実施例3の携帯情報端末装置では、図1の撮像ユニット7に相当する構成として、撮像ユニット8が表示部1内に設けられている。この撮像ユニット8は、実施例1と同様に、複数の受光面を有する。本実施例3においても、撮像ユニット8によって、実視野内(所定の撮像領域)を撮像して視野画像を作成する。そして、実施例1と同様にして、画像処理ユニット13が、視野画像における暗い画像領域の検出を行う。 And in the portable information terminal device of Example 3, the imaging unit 8 is provided in the display part 1 as a structure corresponded to the imaging unit 7 of FIG. The imaging unit 8 has a plurality of light receiving surfaces as in the first embodiment. Also in the third embodiment, the imaging unit 8 captures an image within the actual visual field (predetermined imaging region) and creates a visual field image . Then, in the same manner as in the first embodiment, the image processing unit 13 detects a dark image region in the visual field image .
なお、本実施例3では、撮像ユニット8はカラーCCDであるため、画像処理ユニット13が、検出した暗い画像領域について、その画像領域の色情報を得ることができる。そこで、本実施例3では、画像処理ユニット13が、暗い画像領域の色に応じて、第1の表示領域に表示させる所定の対象物に関連する情報の色を異ならせている。そして、最も認識しやすい色を、情報表示用の色として使用している。 In the third embodiment, the imaging unit 8 is for a color CCD, image processing unit 13, the dark image area detected, it is possible to obtain color information of the image area. Therefore, in the third embodiment, the image processing unit 13 changes the color of information related to the predetermined object displayed in the first display area according to the color of the dark image area . The color that is most easily recognized is used as a color for displaying information.
図14は、ビームコンバイナ2の光学面における実視野の暗い観察領域に、所定の対象物に関連する情報が重畳して表示されている様子を示す説明図であって、暗い画像領域の色と、表示される情報の色との関係を示す。画像処理ユニット13は、暗い画像領域1の色が色Aの場合は所定の対象物に関連する情報を表示する色を色αとしている。暗い画像領域2の色が色Bの場合は所定の対象物に関連する情報を表示する色を色βとしている。暗い画像領域3の色が色Cの場合は所定の対象物に関連する情報を表示する色を色γとしている。色Aと色αは、互いに異なる色である。色Bと色β、色Cと色γについても、同様である。 FIG. 14 is an explanatory diagram showing a state in which information related to a predetermined object is superimposed and displayed on a dark observation region in the real field on the optical surface of the beam combiner 2, and the color of the dark image region and The relationship with the color of the displayed information is shown. When the color of the dark image region 1 is the color A , the image processing unit 13 uses the color α for displaying information related to a predetermined object . When the color of the dark image area 2 is the color B, the color displaying information related to the predetermined object is the color β. When the color of the dark image region 3 is the color C, the color for displaying information related to the predetermined object is the color γ. The color A and the color α are different from each other. The same applies to the color B and the color β, and the color C and the color γ.
また、実視野の暗い領域と、所定の対象物とが離れている場合には、所定の対象物から離れた位置に、所定の対象物に関連する情報が表示されることになる。この場合には、所定の対象物に関連する情報と、所定の対象物を結びつける画像を表示させればよい。例えば、画像処理ユニット13が、暗い画像領域に表示される所定の対象物に関連する情報と所定の対象物とを対応付けるために矢印などの画像を表示面1aの第2の表示領域に表示させればよい。これにより、ビームコンバイナ2には上記矢印などの対応付けるための画像が、例えば図15のように表示される。 Moreover, the actual viewing dark area, when a predetermined object is apart, in a position away from the predetermined object, information related to the predetermined object is displayed. In this case, information relating to the predetermined object and an image connecting the predetermined object may be displayed. For example, the image processing unit 13, information related to a predetermined object and a predetermined object in the second display area of the display surface 1a of the image such as an arrow for Keru with corresponding displayed on the dark image area Display it. As a result, an image for associating the arrow and the like is displayed on the beam combiner 2 as shown in FIG. 15, for example.
本実施例3の携帯情報端末装置も、実施例1や実施例2と同様の効果を得られる。 The portable information terminal device according to the third embodiment can also obtain the same effects as those of the first and second embodiments.
1 表示部
1a 表示面
1a' 表示面構成部
1b 外枠部
1c(1c') 表示部の一面(側面)
2 ビームコンバイナ
3 把持部
3a,3b 把持部の一面(側面)
4 情報入力部
5 表示部開閉手段
5a,5b 円筒部
5a11,5b1 貫通孔
5a2 凹部
5b2,5b3 係止溝
5c バネ
5d 球状部材
5e ピン
5f 止め具
6 ビームコンバイナ開閉手段
6a,6c 円筒部
6a1,6c1 貫通孔
6b 係止部
6c2 係止爪
7,8 撮像ユニット
8a 撮像レンズ
8b 撮像素子
8c カバーガラス
9 表示面回動手段
10 ビームコンバイナ連結部材
11 ビームコンバイナ移動部材
12 メモリ
13 画像処理ユニット
E 使用者の眼
L 仮想線
DESCRIPTION OF SYMBOLS 1 Display part 1a Display surface 1a 'Display surface structure part 1b Outer frame part 1c (1c') One surface (side surface) of display part
2 Beam combiner 3 Gripping part 3a, 3b One side (side) of the gripping part
4 information input unit 5 display unit closing means 5a, 5b cylindrical portion 5a 1 1 and 5 b 1 through hole 5a 2 recesses 5b 2, 5b 3 engaging grooves 5c spring 5d spherical member 5e pins 5f stop 6 beam combiner switching means 6a, 6c cylindrical portion 6a 1, 6c 1 through hole 6b engaging portion 6c 2 locking claw
7, 8 Imaging unit 8a Imaging lens 8b Imaging element 8c Cover glass 9 Display surface rotating means 10 Beam combiner connecting member 11 Beam combiner moving member 12 Memory 13 Image processing unit E User's eye L Virtual line
Claims (4)
前記情報入力部で入力した情報又は装置の内部もしくは外部から得た情報を表示する表示面を有する表示部と、
前記表示面に表示された情報を反射して使用者の眼に導くと共に、使用者の前方の実視野の対象物の像を透過して使用者の眼に導くビームコンバイナと、
前記ビームコンバイナを、前記表示部に対して開閉可能に支持するビームコンバイナ開閉部材と、
前記表示部を、前記把持部に対して開閉可能に支持する表示部開閉部材と、
前記実視野側から入射する光を受光するように配置された複数の受光面を備えた撮像ユニットと、
画像処理ユニットとを備え、
前記撮像ユニットは、前記ビームコンバイナを介して使用者の眼に導かれる実視野を撮像して視野画像を作成し、
前記画像処理ユニットは、前記視野画像について、所定の閾値との比較を行い、所定の閾値よりも低い値を有する画像領域を、暗い画像領域として検出し、
前記画像処理ユニットは、予め使用者に選定された、前記実視野内にある所定の対象物に関連する情報を、装置の内部または外部から検索・抽出して、前記第1の表示領域に表示させ、
前記第1の表示領域は、前記暗い画像領域に対応する表示領域であることを特徴とする携帯情報端末装置。 A gripping part having an information input part;
A display unit having a display surface for displaying information input in the information input unit or information obtained from inside or outside the device ;
A beam combiner that reflects and displays information displayed on the display surface to the user's eye and transmits an image of an object in the real field in front of the user to the user's eye;
A beam combiner opening and closing member that supports the beam combiner so as to be opened and closed with respect to the display unit;
A display unit opening and closing member that supports the display unit so as to be openable and closable with respect to the gripping unit;
An imaging unit having a plurality of light receiving surfaces arranged to receive light incident from the real field side;
An image processing unit,
The imaging unit images a real field of view guided to the user's eye through the beam combiner to create a field of view image ,
Said image processing unit, for the previous SL-field image, and compares with a predetermined threshold value, the image area having a value lower than a predetermined threshold value is detected as a dark image area,
Wherein the image processing unit in advance was selected by the user, the information that are related to the predetermined object in the Jisshi cortex, by searching and extracting from an internal or external device, the first display area to be displayed on,
The portable information terminal device, wherein the first display area is a display area corresponding to the dark image area .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004340681A JP4733969B2 (en) | 2004-11-25 | 2004-11-25 | Portable information terminal device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004340681A JP4733969B2 (en) | 2004-11-25 | 2004-11-25 | Portable information terminal device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006153966A JP2006153966A (en) | 2006-06-15 |
JP4733969B2 true JP4733969B2 (en) | 2011-07-27 |
Family
ID=36632392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004340681A Expired - Fee Related JP4733969B2 (en) | 2004-11-25 | 2004-11-25 | Portable information terminal device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4733969B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5464130B2 (en) * | 2010-11-18 | 2014-04-09 | 日本電気株式会社 | Information display system, apparatus, method and program |
WO2015159847A1 (en) * | 2014-04-18 | 2015-10-22 | シャープ株式会社 | See-through display device and display method therefor |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09192164A (en) * | 1996-01-23 | 1997-07-29 | Topcon Corp | Spectacle device for amblyopia person |
JP2001308997A (en) * | 2000-04-20 | 2001-11-02 | Dainippon Printing Co Ltd | Portable information device with display |
JP2003121167A (en) * | 2001-10-12 | 2003-04-23 | Denso Corp | Guidance image-generating apparatus, guidance image- displaying apparatus, navigation apparatus, and program |
JP2003219435A (en) * | 2002-01-24 | 2003-07-31 | Fuji Photo Film Co Ltd | On-screen display device |
-
2004
- 2004-11-25 JP JP2004340681A patent/JP4733969B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09192164A (en) * | 1996-01-23 | 1997-07-29 | Topcon Corp | Spectacle device for amblyopia person |
JP2001308997A (en) * | 2000-04-20 | 2001-11-02 | Dainippon Printing Co Ltd | Portable information device with display |
JP2003121167A (en) * | 2001-10-12 | 2003-04-23 | Denso Corp | Guidance image-generating apparatus, guidance image- displaying apparatus, navigation apparatus, and program |
JP2003219435A (en) * | 2002-01-24 | 2003-07-31 | Fuji Photo Film Co Ltd | On-screen display device |
Also Published As
Publication number | Publication date |
---|---|
JP2006153966A (en) | 2006-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9906721B2 (en) | Apparatus and method to record a 360 degree image | |
US9622654B2 (en) | Device for and method of corneal imaging | |
US7397511B2 (en) | Information terminal device | |
US8773326B2 (en) | Terminal device and recording medium with control program recorded therein | |
JP4807167B2 (en) | Impersonation detection device | |
JP6214481B2 (en) | Imaging device | |
US20170098322A1 (en) | Image display device and image display method | |
EP2988487B1 (en) | Information processing device, information processing method, and imaging device | |
JP2012084967A (en) | Operator state detection camera | |
US9219859B2 (en) | Camera assembly having a wide viewing angle and image acquisition method using the same | |
CN110275613A (en) | Screen display processing method, device, electronic equipment and storage medium | |
CN105144704B (en) | Show equipment and display methods | |
KR100967128B1 (en) | Portable video magnifying apparatus | |
JP4733969B2 (en) | Portable information terminal device | |
US20160189341A1 (en) | Systems and methods for magnifying the appearance of an image on a mobile device screen using eyewear | |
JP2006154069A (en) | Personal digital assistant | |
EP1056270A2 (en) | Digital camera system and method for displaying images via an optical viewfinder | |
JP4217137B2 (en) | Binoculars with digital camera function | |
US20190121105A1 (en) | Dynamic zoom lens for multiple-in-one optical system title | |
KR100648932B1 (en) | Up-right camcorder | |
KR102574288B1 (en) | Method and bendable device for constructing 3D data items | |
JP2006148349A (en) | Personal digital assistant | |
JP2009199000A (en) | Imaging apparatus | |
JP2006135765A (en) | Imaging apparatus | |
JP5637434B2 (en) | Electronics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110128 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110412 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110425 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |