CN103905683A - 显示处理装置、图像形成装置、远程画面的显示处理*** - Google Patents

显示处理装置、图像形成装置、远程画面的显示处理*** Download PDF

Info

Publication number
CN103905683A
CN103905683A CN201310722196.0A CN201310722196A CN103905683A CN 103905683 A CN103905683 A CN 103905683A CN 201310722196 A CN201310722196 A CN 201310722196A CN 103905683 A CN103905683 A CN 103905683A
Authority
CN
China
Prior art keywords
picture
ejection portion
mobile communication
communication terminal
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310722196.0A
Other languages
English (en)
Other versions
CN103905683B (zh
Inventor
大畑勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Konica Minolta Opto Inc
Original Assignee
Konica Minolta Opto Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Opto Inc filed Critical Konica Minolta Opto Inc
Publication of CN103905683A publication Critical patent/CN103905683A/zh
Application granted granted Critical
Publication of CN103905683B publication Critical patent/CN103905683B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1205—Improving or facilitating administration, e.g. print management resulting in increased flexibility in print job configuration, e.g. job settings, print requirements, job tickets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G06F3/1256—User feedback, e.g. print preview, test print, proofing, pre-flight checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1292—Mobile client, e.g. wireless printing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/002—Interacting with the operator
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00278—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a printing apparatus, e.g. a laser beam printer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273—Display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Facsimiles In General (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供显示处理装置、图像形成装置、远程画面的显示处理***以及显示处理方法，该显示处理装置在便携终端中显示的远程画面被扩大的状态下用户进行了使显示弹出部的操作时，在便携终端的显示部中显示的下一个画面区域内能够使可靠地显示弹出部。从显示了基于操作用画面数据的显示处理装置侧的远程画面的便携终端，接收表示用户对远程画面进行的操作的操作信息，在画面被扩大的状态下对远程画面进行了用户操作时，从便携终端接收操作信息和表示被扩大后的显示状态的扩大显示信息。在接收到的操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置，生成并发送下一个画面数据，以使以图像扩大状态在便携终端中显示弹出部。

Description

显示处理装置、图像形成装置、远程画面的显示处理***
技术领域
本发明涉及能够通过无线通信等连接智能手机、平板终端等便携终端装置的显示处理装置、作为具备有该显示处理装置的多功能数字复合机的MFP（Multi Function Peripherals，多功能外设）等图像形成装置、远程画面的显示处理***以及显示处理方法。
背景技术
近年，智能手机、平板终端等便携终端装置能够储存电子化的文档，能够无论时间和地点而阅览或编辑文档。此外，能够将在便携终端装置中进行了编辑等的文件发送至所述MFP等图像形成装置，使在图像形成装置中执行印刷或者保存等处理。进而，还能够将由图像形成装置的扫描仪部所读取到的原稿的图像数据等构成的文件发送至便携终端装置，在便携终端装置中进行编辑等。
但是，存在需要分别单独操作便携终端装置和图像形成装置，操作变得烦杂的问题。
因此，最近，提出了图像形成装置和便携终端装置的联合***，该联合***能够将图像形成装置的操作用画面作为远程画面在便携终端装置的显示部中显示，从便携终端装置对图像形成装置进行联合操作。在该联合***中，在便携终端装置的显示部中显示的图像形成装置侧的远程画面，基于从图像形成装置发送的画面数据而显示。
也就是说，表示进行了操作的信息从便携终端装置被发送至图像形成装置，图像形成装置基于该信息生成下一个画面数据，将该画面数据发送至便携终端装置，便携终端装置基于该画面数据对远程画面进行更新显示。
另一方面，便携终端装置具备触摸面板，通过用户对显示画面进行捏小、捏大等手势操作，能够对图像进行变倍。也就是说，能够将在便携终端装置中显示的远程画面的图像根据用户的扩大操作，在便携终端装置中扩大而显示。
然而，远程画面的图像以被扩大的状态在便携终端装置中显示时，用户对远程画面进行的操作是显示其他窗口的弹出部的操作的情况下，产生了如下的问题。
另外，在专利文献1中，公开了即使在操作设定按钮与操作对象图像重叠的情况下，也使操作对象图像不隐藏的显示装置。
此外，在专利文献2中，公开了使一个画面上不重叠多个窗口的最佳配置的技术。
此外，在专利文献3中，公开了在控制计算机以及被控制计算机的显示器尺寸不同的情况下，进行控制以使在控制计算机中未显示的区域的图像信息不转发至被控制计算机的技术。
现有技术文献
专利文献
专利文献1：日本特开2006-039469号公报
专利文献2：日本特开2010-244189号公报
专利文献3：日本特开2004-005582号公报
即，若远程画面的图像以被扩大的状态在便携终端装置中显示时，用户对远程画面进行使显示弹出部的操作，则操作信息从便携终端装置被转发至图像形成装置，图像形成装置生成包含与操作信息对应的弹出部的下一个画面数据。
但是，若由于画面内的弹出部的配置位置被设定为适于对图像形成装置的显示面板的显示的位置，因此保持了该配置而在便携终端装置中直接扩大下一个画面并使显示部显示，则有弹出部的一部分或者全部从画面偏离的危险。此时，便携终端装置的用户需要滚动画面或拖拉弹出部，使弹出部位于画面内，但该操作费事。
而且，若弹出部的全部从显示区域偏离，则有用户连弹出部的存在都不能识别的危险。
另外，前述的专利文献1-3所述的技术不能对在便携终端装置中显示的远程画面的图像被扩大的状态下在用户进行了使显示弹出部的操作时的上述问题提供解决方案。
发明内容
本发明是为了解决上述的问题而完成的，其课题在于，提供显示处理装置以及图像形成装置，所述装置能够在便携终端装置中显示的远程画面的图像被扩大的状态下在用户进行了使显示弹出部的操作时，在便携终端的显示部中显示的下一个画面的显示区域内使可靠地显示弹出部，进而提供远程画面的显示处理***以及显示处理方法。
上述课题通过以下的手段解决。
（1）一种显示处理装置，其特征在于，具备：连接部件，能够与便携终端装置连接；发送部件，将本装置操作用的画面数据发送至通过所述连接部件连接的便携终端装置；接收部件，从显示部件中显示了基于所述画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息；判断部件，判断由所述接收部件接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及画面生成部件，生成与由所述接收部件接收到的操作信息对应的下一个画面数据，并且在通过所述接收部件接收所述操作信息和扩大显示信息，且通过所述判断部件判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部，所述发送部件将由所述画面生成部件生成的下一个画面数据发送至所述便携终端装置。
（2）如前项1所述的显示处理装置，所述画面生成部件基于弹出部的尺寸、画面整体的尺寸、画面的不可隐蔽区域、画面内的显示区域的优先级中的至少一个，决定弹出部的可显示区域，在该决定的可显示区域中配置弹出部。
（3）如前项1或2所述的显示处理装置，在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件变更弹出部的尺寸。
（4）如前项1或2所述的显示处理装置，在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件变更弹出部的形状。
（5）如前项1或2所述的显示处理装置，在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件将扩大率的变更通知给便携终端装置。
（6）如前项1或2所述的显示处理装置，在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件向便携终端装置请求画面的滚动。
（7）如前项1或2所述的显示处理装置，在弹出部的显示位置上存在不可隐蔽的图像的情况下，所述画面生成部件使透过显示弹出部。
（8）如前项3所述的显示处理装置，所述画面生成部件变更弹出部内的字符的尺寸。
（9）如前项1或2所述的显示处理装置，在所述弹出部中显示输入键。
（10）一种图像形成装置，具备有前项1或2所述的显示处理装置。
（11）如前项10所述的图像形成装置，所述本装置操作用的画面是用于进行本装置的设定的画面，所述弹出部用于设定值的输入。
（12）一种远程画面的显示处理***，具备有能够相互连接的显示处理装置和便携终端装置，其特征在于，所述显示处理装置具备：连接部件，能够与便携终端装置连接；发送部件，将本装置操作用的画面数据发送至通过所述连接部件连接的便携终端装置；接收部件，从显示部件中显示了基于所述操作用画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息；判断部件，判断由所述接收部件接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及画面生成部件，生成与由所述接收部件接收到的操作信息对应的下一个画面数据，并且在通过所述接收部件接收所述操作信息和扩大显示信息，且通过所述判断部件判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部，所述发送部件将由所述画面生成部件生成的下一个画面数据发送至所述便携终端装置。所述便携终端装置具备：接收部件，接收从所述显示处理装置发送的画面数据；显示部件，显示基于所述画面数据的显示处理装置侧的远程画面；以及发送部件，若用户对所述远程画面进行操作，则将操作信息发送至显示处理装置，且在画面被扩大的状态下对远程画面进行了用户操作时，将操作信息和表示被扩大后的显示状态的扩大显示信息发送至显示处理装置。
（13）一种远程画面的显示处理方法，在通过连接部件与便携终端装置连接的显示处理装置中执行，其特征在于，具备：发送步骤，将本装置操作用的画面数据发送至通过所述便携终端装置；接收步骤，从显示部件中显示了基于所述画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息；判断步骤，判断在所述接收步骤中接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及画面生成步骤，生成与所述接收步骤中接收到的操作信息对应的下一个画面数据，并且在所述接收步骤中接收所述操作信息和扩大显示信息，且在所述判断步骤中判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部，在所述发送步骤中将在所述画面生成步骤中生成的下一个画面数据发送至所述便携终端装置。
（14）一种远程画面的显示处理方法，在具备有能够相互连接的显示处理装置和便携终端装置的远程画面的显示处理***中执行，其特征在于，所述显示处理装置执行：发送步骤，将本装置操作用的画面数据发送至所述便携终端装置；接收步骤，从显示部件中显示了基于所述画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息；判断步骤，判断在所述接收步骤中接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及画面生成步骤，生成与所述接收步骤中接收到的操作信息对应的下一个画面数据，并且在所述接收步骤中接收所述操作信息和扩大显示信息，且在所述判断步骤中判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部，在所述发送步骤中将在所述画面生成步骤中生成的下一个画面数据发送至所述便携终端装置，所述便携终端装置具备：接收步骤，接收从所述显示处理装置发送的画面数据；显示步骤，在显示部件中显示基于所述画面数据的显示处理装置侧的远程画面；以及发送步骤，若用户对所述远程画面进行操作，则将操作信息发送至显示处理装置，且在画面被扩大的状态下对远程画面进行了用户操作时，将操作信息和表示被扩大后的显示状态的扩大显示信息发送至显示处理装置。
根据前项（1）所述的发明，若用户对在便携终端装置的显示部中显示的显示处理装置的远程画面进行图像的扩大操作，则便携终端装置扩大远程画面的***作的图像部分并显示。在该状态下，对远程画面进行了用户操作时，显示处理装置接收来自便携终端装置的操作信息和表示被扩大后的显示状态的扩大显示信息。显示处理装置判断接收到的操作信息所示出的操作是否是使显示弹出部的操作，在判断为是使显示弹出部的操作的情况下，生成包含弹出部的下一个画面数据。
此时，由于调整弹出部的显示位置，以使以图像扩大状态在便携终端装置的显示部件中显示弹出部，因此能够在便携终端装置的显示部件中显示的下一个画面的显示区域内使可靠地显示弹出部，从而不需要用户为了使从画面偏离的弹出部位于画面内而对便携终端装置的画面进行滚动操作等，且能够可靠地识别显示弹出部的情况。
根据前项（2）所述的发明，基于弹出部的尺寸、画面整体的尺寸、画面的不可隐蔽区域、画面内的显示区域的优先级中的至少一个，决定弹出部的可显示区域，由于在该决定的可显示区域中配置弹出部，因此能够在便携终端的显示部中显示的下一个画面的显示区域内使进一步可靠地显示弹出部。
根据前项（3）所述的发明，在即使调整弹出部的显示位置也不能以图像扩大状态在所述便携终端装置的显示部件中显示弹出部的情况下，能够通过变更弹出部的尺寸，在便携终端的显示部件中可靠地显示弹出部。
根据前项（4）所述的发明，在即使调整弹出部的显示位置也不能以图像扩大状态在所述便携终端装置的显示部件中显示弹出部的情况下，能够通过变更弹出部的形状，在便携终端的显示部件中可靠地显示弹出部。
根据前项（5）所述的发明，在即使调整弹出部的显示位置也不能以图像扩大状态在所述便携终端装置的显示部件中显示弹出部的情况下，由于通过扩大率的变更请求在便携终端侧变更扩大率，因此能够在便携终端的显示部件中可靠地显示弹出部。
根据前项（6）所述的发明，在即使调整弹出部的显示位置也不能以图像扩大状态在所述便携终端装置的显示部件中显示弹出部的情况下，由于向便携终端装置请求画面的滚动，因此便携终端装置能够通过滚动图像扩大后的画面，从而在显示部件中可靠地显示弹出部。
根据前项（7）所述的发明，在弹出部的显示位置上存在不可隐蔽的图像的情况下，由于透过显示弹出部，因此能够防止由于弹出部不可隐蔽的图像被隐蔽的情况。
根据前项（8）所述的发明，通过变更弹出部内的字符的尺寸，从而弹出部的尺寸变更的自由度增大。
根据前项（9）所述的发明，由于在弹出部中显示软件数字键或软件键盘等输入键，因此用户能够使用该输入键进行数值等的输入。
根据前项（10）所述的发明，能够成为图像形成装置，该图像形成装置在便携终端装置的显示部件中显示的远程画面的图像被扩大的状态下，在用户进行了使显示弹出部的操作的情况下，能够以图像扩大状态生成在便携终端装置的显示区域内可靠地显示弹出部的下一个画面数据，并发送至便携终端装置。
根据前项（11）所述的发明，用户能够通过在便携终端装置中显示的操作画面以及弹出部，进行图像形成装置的设定。
根据前项（12）所述的发明，成为***，该***在便携终端的显示部中显示的远程画面被扩大的状态下，在用户进行了使显示弹出部的操作的情况下，显示处理装置能够以图像扩大状态在便携终端装置的显示区域内生成显示弹出部的下一个画面数据，并发送至便携终端装置。
根据前项（13）以及（14）所述的发明，在便携终端的显示部中显示的远程画面被扩大的状态下，在用户进行了使显示弹出部的操作的情况下，显示处理装置能够以图像扩大状态在便携终端装置的显示区域内生成显示弹出部的下一个画面数据，并发送至便携终端装置，因此用户能够在便携终端中显示的画面内可靠地识别弹出部。
附图说明
图1是本发明的一实施方式所涉及的远程画面的显示处理***的结构图。
图2是表示图像处理装置以及便携终端装置的电结构的框图。
图3是表示图像处理装置以及便携终端装置的固件结构的框图。
图4是表示图像处理装置以及便携终端装置的各软件的关系的图。
图5（A）～（B）是表示显示了弹出部的画面的一例的图。
图6（A）～（C）是用于说明弹出部的显示位置的调整方法的图。
图7是用于说明弹出部的可显示区域的决定方法的图。
图8是表示在图像形成装置和便携终端装置中执行的远程画面的显示处理动作的流程图。
标号说明
1 图像形成装置
2 便携终端装置
101 CPU
102 ROM
104 扫描仪部
105 打印部
106 存储部
107 操作面板部
107b 显示部
109 WIFI模块
111 USB接口
201 CPU
202 RAM
203 存储部
204a 显示部
204b 操作部
205 WIFI模块
207 USB接口
209 联合部
300 数值输入区域
400 弹出部
具体实施方式
以下，基于附图说明本发明的实施方式。
图1是使用了作为本发明的一实施方式所涉及的显示处理装置的图像形成装置的显示处理***的结构图。
该显示处理***具备作为显示处理装置的图像形成装置1、和由智能手机或平板终端等构成的便携终端装置2等，这些图像形成装置1和便携终端装置2能够经由无线LAN路由器3、网络4进行相互连接。另外，图像形成装置1和便携终端装置2还能够通过USB接口等进行有线连接，但在该实施方式中，设为通过无线通信进行相互连接。
在该实施方式中，作为图像形成装置1使用具备有复制功能、打印功能、扫描功能、传真功能等的前述的MFP。以下，将图像形成装置也写做MFP。此外，将便携终端装置也写做便携终端。
图2是表示所述MFP1和便携终端2的电结构的框图。
MFP1具备CPU101、ROM102、RAM103、扫描仪部104、打印部105、存储部106、操作面板部107、WIFI（Wireless Fidelity，无线保真）模块109、LAN（Local Area Network，局域网）控制器110、USB接口（USB I/F）111等。
所述CPU101是通过按照在ROM102等中存储的动作程序而动作，从而统一地控制MFP1的整体的部件。例如，除了以能够使用MFP1的各种功能的方式进行控制之外，在该实施方式中，基于来自便携终端2的请求，生成在便携终端2中显示的MFP1的操作画面的画面数据并发送至便携终端2，或生成与从便携终端2发送的操作信息对应的下一个画面数据并发送至便携终端2。此外，判断所述操作信息所示出的操作是否是使显示弹出部的操作，在判断为是使显示弹出部的操作的情况下，执行生成包含弹出部的下一个画面数据并发送至便携终端2等的处理，但这些点如后述。
所述ROM102是存储CPU101的动作程序等的存储器，RAM103是提供CPU101按照动作程序而动作时的作业区域的存储器。
所述扫描仪部104是读取在未图示的压板玻璃上设置的原稿、或在同样未图示的自动原稿传输装置上设置的原稿的图像，输出作为电子数据的图像数据的部件。
所述打印部105是将由扫描仪部104读取到的原稿的图像数据、或从便携终端2等发送的打印数据印刷到用纸上的部件。
所述存储部106是存储各种数据或应用等的部件，使用硬盘装置等。特别是，在该实施方式中，在操作面板部107中显示的各种操作画面的显示用数据（画面数据）被存储，通过CPU101从存储部106调用与用户的操作相应的操作画面的显示用数据，在操作面板部107中显示，或发送至便携终端2。此外，保存由扫描仪部104读取到的图像数据构成的文档文件、或从外部装置发送的文档文件等多个文件。
操作面板部107是操作MFP1或向用户显示消息等的部件，具备具有开始键、数字键等的键部107a、由液晶等触摸面板构成的显示部107b。
所述WIFI模块109是用于与便携终端2无线连接的接口，所述LAN控制器110是控制与个人计算机或其他MFP等外部装置之间的通信的部件。
所述USB接口111是用于与便携终端2有线连接的接口。
另一方面，在便携终端2中，使用智能手机、平板终端、电子纸等。便携终端2具备CPU201、RAM202、存储部203、显示部204a、操作部204b、WIFI模块205、LAN控制器206、USB接口207、文件处理部208a、208b、联合部209等。
所述CPU201是统一地控制便携终端2的整体的部件，按照作为基本软件的OS（Operating System，操作***）、或后述的联合应用或通用应用而动作。
所述RAM202是成为CPU201按照动作程序而动作时的作业区域的存储器。
所述存储部203是存储各种数据或应用等的部件，使用硬盘装置等。在该实施方式中，存储从MFP1发送的画面数据、基本OS、联合应用、通用应用等程序。另外，在以下的说明中将应用（アプリケーション）简称为应用（アプリ）。
所述显示部204a由液晶等设备构成，操作部204b被设置于显示部204a且由可触摸操作输入的触摸面板构成。触摸操作通常根据触摸的手指的数目或手指的移动，通过规定操作内容的手势操作而进行。作为手势操作的一例，能够例示用于对在画面中显示的图像，指示变倍（扩大或者缩小）或旋转等的编辑加工的捏小操作、捏大操作等。
所述WIFI模块205是用于将便携终端2与MFP1无线连接的接口，所述LAN控制器206是用于控制与用户终端等外部装置之间的通信的部件。此外，所述USB接口207是用于将便携终端装置2与MFP1有线连接的接口。
所述文件处理部208a，208b对文件实施编辑、转发或邮件分发等的处理。以下，将文件处理部208a，208b也写做文件处理部208。
所述联合部209是用于为了顺利地进行MFP1和便携终端2之间的功能联合，使得能够使用MFP1的功能的部件。具体而言，为了使用MFP1的复制功能、打印功能、扫描功能、传真功能等，从MFP1接收用于再现与在MFP1的操作面板部107中显示的画面相同的画面的画面数据等并作为远程画面在显示部204a中显示，或在用户操作了被显示的远程画面时，通过操作部204b检测画面（触摸面板）上的操作位置的坐标并作为操作信息发送至MFP1。MFP1通过分析所述操作位置的坐标，确定用户的操作指示，执行与操作指示相应的动作。
此外，不限于在显示部204a中显示基于从MFP1接收到的画面数据的远程画面的全部（全部区域），在根据手势操作而扩大显示那样的情况下存在以缺少远程画面的一部分的状态显示的情况。在MFP1侧，需要知道是发送的画面数据的全部被显示，还是以缺少一部分的状态怎样被显示，对便携终端2进行“表示远程画面的显示状态的信息”的发送请求。
根据来自MFP1的请求，联合部209将在显示部204a中显示的“表示远程画面的显示状态的信息”发送至MFP1。作为“表示远程画面的显示状态的信息”，例如有显示部204a的显示区域的画面尺寸（纵横的显示像素数）、对于远程画面的显示区域的显示位置、其扩大率（放大缩小率、长宽比可否固定），的信息。
通过CPU201执行通用应用，所述文件处理部208实现该功能。也就是说，通用应用是用于实现处理各种文件的文件处理部208的软件，能够使用例如文件编辑用应用、具有以电子邮件分发文件的功能的应用、具有在网页上存储文件的功能的应用等，各种应用。
此外，通过CPU201执行前述的联合应用，所述联合部209实现这些功能。也就是说，联合应用是用于实现MFP1和便携终端2的平稳的功能联合的软件。此外，在联合应用和通用应用之间，能够进行文件的转发或下载。
图3是表示MFP1和便携终端2的固件结构的框图。
MFP1在应用层上具备操作面板（应用）121或开放API（Open ApplicationProgram Interface，开放式应用程序接口）122等，在公共API层上具备公共API（Common API）125或面板显示图像生成部126等，在硬件依赖层上具备面板画面生成部123、面板控制部124、便携终端用控制部127等。
进而，在核心层上具备面板输入控制部129、面板LCD控制部130、JPEG编码器驱动器131等，在设备层上具备操作面板部107、USB接口部111、JPEG压缩部133、WIFI模块109等。
在从便携终端2进行了联合操作的情况下，面板画面生成部123生成在操作面板部107中显示的MFP1侧的画面数据。
面板控制部124进行与操作面板部107的通信状态的控制等。此外，面板显示图像生成部126基于来自便携终端2的操作信息，生成在便携终端2中显示的下一个画面数据，但在联合操作时在便携终端2中显示的远程画面在便携终端2侧被扩大，且从便携终端2通知的操作信息所示出的操作是使显示弹出部的操作的情况下，生成下一个画面数据，以使以图像扩大状态在便携终端2的显示部204a中显示弹出部。也就是说，在没有以图像扩大状态在便携终端2的显示部204a中显示弹出部的一部分或者全部的情况下，调整弹出部的位置，进而根据需要变更弹出部的尺寸或形状等。
便携终端用控制部127在与便携终端2的联合处理时，控制用于与便携终端2通信的接口等。
面板输入控制部129进行与操作面板部107的操作输入相关的控制，面板LCD控制部130进行与操作面板部107的显示部107b的显示控制。JPEG压缩部133是经由JPEG编码器驱动器131对从便携终端用控制部127发送来的画面数据等进行JPEG压缩的部件，被压缩的数据经由USB接口111或WIFI模块109被发送至便携终端2。
另一方面，便携终端2由具备有图像显示应用221、显示图像生成应用222、JPEG展开应用223、浏览器等各种应用的应用层，具备有各种管理225、226等的平台层，具备有各种程序库227以及核心228的OS层，以及硬件229而构成。
所述JPEG展开应用223是对从MFP1发送来的压缩数据进行扩展的部件。
显示图像生成应用222是在用户对便携终端2的显示部204a中显示的远程画面进行了图像的扩大/缩小操作等时，使用当前显示且在存储部203中存储的画面数据，在本装置中进行编辑加工，并使显示部204显示的部件。
所述图像显示应用221是使用从MFP1发送且在JPEG展开应用223中扩展的画面数据，将MFP1的画面作为远程画面而生成并使显示部204显示的部件。
另外，在该实施方式中，图像显示应用221、显示图像生成应用222、JPEG展开应用223作为通过联合应用实现的功能的一部分而构成。
接着，说明联合操作MFP1和便携终端2的情况的处理。
用户将便携终端2经由网络与MFP1无线连接，想要从便携终端2远程操作MFP1。便携终端2和MFP1的联合操作，通过用户启动在便携终端2安装的联合应用而开始。
图4是表示MFP1以及便携终端2的各软件的关系的图，分别在左侧表示MFP1侧的软件，在右侧表示便携终端2的软件。
便携终端2的联合应用位于便携终端2的OS和作为通用的软件的应用软件的中间，能够取得用户的操作信息、与便携终端2的发送接收数据、以及便携终端2侧的画面数据，能够根据需要将这些数据发送至MFP1。也就是说，便携终端2的联合软件执行应用的调用等在便携终端2侧的用户操作受理处理、MFP1的操作画面显示用的画面数据的接收/显示处理（便携终端侧操作画面处理）、以及联合操作关联处理等。作为联合操作关联处理，能够举出表示用户经由操作部204b进行的操作的内容的操作信息的与MFP1的通信等。
另一方面，在MFP1侧的OS或MFP1用的应用软件全部是本公司设计/本公司定制且得到全部必要的信息的情况下，MFP1的联合应用也可以位于OS-应用软件间，也可以通过与OS或应用软件独立且与OS或应用软件通信从而获得必要的信息。MFP1的联合应用执行应用的调用等MFP1侧的用户操作受理处理、至便携终端2的MFP侧画面数据的发送处理（MFP侧操作画面处理）、以及联合操作关联处理等。作为联合操作关联处理，可以举出来自便携终端2的操作信息等的接收/执行处理等。
若用户选择在便携终端2的显示部204中显示的操作画面中的远程操作图标，指示MFP联合，则便携终端2的联合软件进行至被注册的MFP1的通信，调用MFP1的联合软件，请求画面数据的取得。由此，开始远程操作模式，为了提高转发效率，初始画面的画面数据从MFP1以JPEG等被压缩的状态被发送至便携终端2。
便携终端2将接收到的MFP侧的画面数据在显示部204a中作为远程画面而显示。在便携终端2的显示部204a的画面尺寸与MFP1的显示部107b的画面尺寸不同的情况下，便携终端2与自己的显示部204a的画面尺寸配合而调整画面数据并显示。
另外，与在便携终端2中的画面显示同时，可以将同一画面在MFP1的显示部105a中显示，也可以不显示。
若用户对在便携终端2中显示的MFP1侧的画面即远程画面进行触摸操作，则判断触摸操作是指示画面数据的扩大/缩小的手势操作，还是通常的按钮操作。然后，若判断为触摸操作是指示画面数据的扩大/缩小的手势操作，则对被指示的部位进行扩大/缩小并在显示部204a中显示。
另一方面，若判断为是通常的按钮操作，则便携终端2将操作部204b上的触摸位置的坐标数据作为操作信息发送至MFP1。
MFP1分析由接收到的坐标数据构成的操作信息，判定画面上的哪个按钮被按压，生成与该按钮按下对应的下一个画面数据并发送至便携终端2，或执行与按钮按下对应的作业处理等。便携终端2将接收到的下一个画面数据在显示部204b中显示并更新画面。
这样，能够通过便携终端2对MFP1进行远程操作。
然而，存在用户对在便携终端2中显示的远程画面进行的操作是使显示由其他窗口构成的弹出部的操作的情况。
在为了有效活用画面显示区域而需要进行MFP1的功能设定时，弹出部在例如数值输入时等被显示。图5是表示在这样的数值输入时显示弹出部400的情况的图，以在MFP1的显示部107b中显示的状态表示。另外，不限定于以哪样的情景使显示弹出部400。
如图5（A）所示，在显示部107b中显示有具有数值输入区域300的画面D1。若用户触摸该数值输入区域300，则如同图（B）的画面D2所示的，作为弹出部400显示由软件数字键构成的输入键。另外，也可以不是软件数字键而是软件键盘等输入键。
预先设定弹出部400，以使防止在MFP1的显示部107b中被显示的数值输入区域300的隐蔽且被配置于用户的视线移动少而容易操作的位置，在该实施方式中被配置于例如数值输入区域300的右侧。
用户能够使用在弹出部400中显示的输入键进行对数值输入区域300的数值输入。
在图5中，表示了弹出部400在MFP1的显示部107b中显示的情况，但在远程操作时，相同的画面作为远程画面在便携终端2的显示部204a中显示。
然而，存在在便携终端2侧对进行用于使显示弹出部400的操作前的画面（图5（A）的画面）进行扩大并显示的情况下，即使用户进行了使显示弹出部400的操作，弹出部400也没有显示在画面内的情况。以图6对其进行说明。
图6（A）表示用户进行基于捏合操作的图像扩大操作而图像被扩大的状态的画面D3，被扩大的结果在显示部204a的显示区域中以缺少远程画面的一部分的状态显示，数值输入区域300右侧的一部分从显示区域偏离。
如图6（B）所示，若用户触摸被扩大的画面中的数值输入区域300，则触摸位置的坐标数据作为操作信息被发送至MFP1。此时，由于在便携终端2图像被扩大，因此便携终端2将包含扩大率和中心坐标的信息作为表示当前的显示状态的扩大显示信息，与操作信息一起发送至MFP1。
MFP1生成与操作信息对应且显示了弹出部400的下一个画面数据。若生成的下一个画面数据被扩大，则数值输入区域300右侧的一部分从便携终端2的显示部204a的显示区域偏离，但如图5（B）所示，由于弹出部400以被配置于数值输入区域300的右侧的方式被预先设定在MFP1中，因此在该状态下如图6（C）中以虚线×印表示的那样，弹出部400的全部或一部分也从便携终端2的显示部204a的显示区域偏离。这样，有用户不能识别弹出部400的危险，此外还不能进行数值输入操作。
因此，在该实施方式中，以将弹出部400的显示位置如例如图6（C）的画面D4所示那样向数值输入区域300的左侧进行移动调整的状态，生成下一个画面数据，以使扩大后的弹出部400在便携终端2的显示部204a中显示。
由此，能够使便携终端2以图像扩大状态显示弹出部400，用户能够可靠地识别弹出部400，能够进行数值输入。
关于弹出部400的显示位置的调整，基于弹出部400的尺寸、画面整体的尺寸、画面的不可隐蔽区域、以及画面内的显示区域的优先级中的至少一个，决定弹出部400的可显示区域，将弹出部400配置于该决定的可显示区域。
预先设定这些弹出部400的尺寸、画面整体的尺寸、画面的不可隐蔽区域、画面内的显示区域的优先级且存储至存储部106。
使用图7说明弹出部400的可显示区域的决定方法的一例。
在图7中，画面整体的尺寸是800（横）×480（纵）点，弹出部400的尺寸是200（横）×240（纵）点，数值输入区域的尺寸是160（横）×60（纵）点，数值输入区域的中心被配置于画面的中心。
若设为在便携终端2侧扩大为1.33倍，则将画面左上作为坐标原点（0，0），原图像的600（横）×360（纵）点的部分在显示部204a中被扩大显示，画面的中心坐标是（x，y）=（300，180）。
在此，由于若数值输入区域300通过弹出部400被隐蔽，则用户不能进行被输入的数值的确认，因此不优选通过弹出部400隐蔽数值输入区域300。此外，在扩大后的数值输入区域300的右侧，只有120点（横）的可显示区域，不能显示弹出部400。
另一方面，由于在数值输入区域300的左侧与扩大前相同地有320点（横）的可显示区域，因此能够进行弹出部400的显示，为此，在数值输入区域300的左侧配置弹出部400。进而，加进弹出部400的显示区域的优先级。在此，由于在上下方向存在可显示区域，因此能够将弹出部400向上下挪动而配置，但为了减轻用户的视线移动，将数值输入区域300的中心线和弹出部400的中心线设为相同。
另外，在图7的例中，在数值输入区域300的左侧存在有弹出部400的可显示区域，但在数值输入区域300的左侧的区域尺寸小的情况下，例如在160点（横）的情况下，也可以将弹出部400的尺寸缩小为例如150（横）×180（纵）点而配置。此外，在纵向上区域小的情况等下，也可以使弹出部400的形状变形为150（横）×150（纵）点等。
此外，在即使调整弹出部400的显示位置也不能在便携终端2的显示部204a中以图像扩大状态显示弹出部400的情况下，也可以与下一个画面数据的发送一起，将扩大率的变更通知给便携终端2。MFP1决定变更的扩大率。通过以被通知的扩大率扩大下一个画面数据，接受了该通知的便携终端2能够可靠地显示弹出部400。
此外，在即使调整弹出部400的显示位置也不能在便携终端2的显示部204a中以图像扩大状态显示弹出部400的情况下，也可以将画面滚动的请求通知给便携终端2。MFP1决定滚动量。通过仅以被通知的滚动量对图像扩大后的画面进行滚动而显示，接受了该通知的便携终端2能够可靠地显示弹出部400。
此外，在弹出部400的调整后的显示位置上存在不可隐蔽的图像的情况下，希望构成为通过使透过显示弹出部400，不可隐蔽的背景图像和弹出部400的任一个都能够视觉辨认。
此外，考虑到为了容易看见图像所以用户在便携终端2扩大了图像，也可以在将弹出部400内的字符尺寸变更为画面中央部附近的最小的字符尺寸的基础上，使弹出部400的尺寸尽量小，增大弹出的显示位置的调整的自由度，使容易进行调整。在图像扩大后，变更了尺寸的弹出部400内的字符被扩大显示为与画面中央部附近的字符相同的大小，成为容易看见的大小。
另外，也可以将弹出部400的尺寸的变更、形状的变更、字符的变更等任意地组合而执行。
接着，参照图8的流程图说明在远程模式中，MFP1和便携终端2所执行的远程画面的显示处理动作。另外，这些动作通过MFP1的CPU101以及便携终端2的CPU201按照各自的动作程序而动作从而执行。
基于来自便携终端2的画面取得请求，MFP1在步骤S101中生成显示画面数据，在步骤S102中转发至便携终端2。
此时转发的画面数据基于在MFP1中作为操作画面在显示部107b中显示的画面数据而生成。生成的画面数据的文件格式基本上不是与便携终端2的OS或应用对应的固有的格式，而是将在MFP1的显示部107b中显示的操作用的画面数据原样变换为JPEG、TIFF等影像数据的通用的文件格式的格式。
另外，在MFP1中，先于图8的流程图，或依次地，从便携终端2接收在便携终端2的显示部204a中显示的“表示远程画面的显示状态的信息”。
便携终端2在步骤S201中将基于接收到的画面数据的远程画面在显示部204a中显示。
若用户进行使显示弹出部400的操作，则便携终端2在步骤S202中，取得在操作部204b中的触摸面板上的操作位置的坐标数据，在步骤S203中将该坐标数据作为操作信息通知给MFP1。
接收到操作信息的MFP1在步骤S103中分析操作信息，按照通常的处理，生成具有与操作相应的弹出部400的下一个画面数据。然后，在步骤S105中，将生成的下一个画面数据转发至便携终端2，便携终端2在步骤S204中更新画面。
至此是以在便携终端2未进行对远程画面的图像扩大操作的状态，进行了使显示弹出部400的操作时的处理，是通常的画面更新处理。
接着，若用户对远程画面进行图像扩大操作，则便携终端2在步骤S205中扩大图像。
若在扩大后，用户对远程画面进行使显示弹出部400的操作，则便携终端2在步骤S206中取得在操作部204b中的触摸面板上的操作位置的坐标数据，在步骤S207中将由该坐标数据构成的操作信息、包含图像的扩大率以及中心坐标的扩大显示信息通知给MFP1。
MFP1在步骤S106中分析操作信息，判断是否是使显示需要使用户视觉辨认的弹出部400的操作。进而根据扩大显示信息识别是在图像扩大状态下的操作。需要使用户视觉辨认的弹出部400是指用户在数值输入等下一个操作中可靠地使用（触摸）的弹出部400。关于不需要使用户视觉辨认的弹出部400，不进行弹出部400的显示位置的调整而进行在前述的步骤S104、步骤S204中说明的通常的处理。预先设定是否是需要使用户视觉辨认的弹出部400。
关于需要使用户视觉辨认的弹出部400，在步骤S107中，调整在弹出部400的下一个画面数据内的显示位置，进而判断有无弹出部400的尺寸或形状的变更、字符尺寸的变更、以及弹出部400的透过显示的各必要性，以使在便携终端2中下一个画面被扩大显示时弹出部400也在显示部204a的画面内显示。此外，也判断是否需要在即使调整弹出部400的显示位置也不能在便携终端2中以图像扩大状态显示弹出部400的情况的，扩大率的变更或画面滚动的请求。
然后，在步骤S108中反映上述的弹出部400的显示位置的调整结果或判断结果，生成下一个画面数据后，在步骤S109中发送至便携终端2。在需要扩大率的变更或画面滚动的情况下，也一并进行该含义的请求。
若便携终端2接收下一个画面数据，则在步骤S208中，以与前一个画面相同的扩大率扩大该下一个画面数据的图像，在显示部204a中显示并更新画面。在请求扩大率的变更或画面滚动时，以被指定的扩大率扩大或进行被指定的量的画面滚动，将弹出部400可靠地在显示部204a中显示。
这样，由于在该实施方式中，通过MFP1调整弹出部400的显示位置，以使在图像扩大状态下在便携终端2的显示部204a中显示弹出部400，因此能够在便携终端2的显示部204a中扩大显示的下一个画面的显示区域内使可靠地显示弹出部400。从而，用户不需要为了显示在显示区域外隐藏的弹出部400，对便携终端2的画面进行滚动操作等，且能够可靠地识别弹出部400显示的内容，能够提高操作性。

Claims (14)

1.一种显示处理装置，其特征在于，具备：
连接部件，能够与便携终端装置连接；
发送部件，将本装置操作用的画面数据发送至通过所述连接部件连接的便携终端装置；
接收部件，从显示部件中显示了基于所述画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息；
判断部件，判断由所述接收部件接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及
画面生成部件，生成与由所述接收部件接收到的操作信息对应的下一个画面数据，并且在通过所述接收部件接收所述操作信息和扩大显示信息，且通过所述判断部件判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部，
所述发送部件将由所述画面生成部件生成的下一个画面数据发送至所述便携终端装置。
2.如权利要求1所述的显示处理装置，
所述画面生成部件基于弹出部的尺寸、画面整体的尺寸、画面的不可隐蔽区域、画面内的显示区域的优先级中的至少一个，决定弹出部的可显示区域，在该决定的可显示区域中配置弹出部。
3.如权利要求1或2所述的显示处理装置，
在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件变更弹出部的尺寸。
4.如权利要求1或2所述的显示处理装置，
在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件变更弹出部的形状。
5.如权利要求1或2所述的显示处理装置，
在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件将扩大率的变更通知给便携终端装置。
6.如权利要求1或2所述的显示处理装置，
在即使调整弹出部的显示位置也不能在所述便携终端装置的显示部件中以图像扩大状态显示弹出部的情况下，所述画面生成部件向便携终端装置请求画面的滚动。
7.如权利要求1或2所述的显示处理装置，
在弹出部的显示位置上存在不可隐蔽的图像的情况下，所述画面生成部件使透过显示弹出部。
8.如权利要求3所述的显示处理装置，
所述画面生成部件变更弹出部内的字符的尺寸。
9.如权利要求1或2所述的显示处理装置，
在所述弹出部中显示输入键。
10.一种图像形成装置，具备权利要求1或2所述的显示处理装置。
11.如权利要求10所述的图像形成装置，
所述本装置操作用的画面是用于进行本装置的设定的画面，所述弹出部用于设定值的输入。
12.一种远程画面的显示处理***，具备有能够相互连接的显示处理装置和便携终端装置，其特征在于，
所述显示处理装置具备：
连接部件，能够与便携终端装置连接；
发送部件，将本装置操作用的画面数据发送至通过所述连接部件连接的便携终端装置；
接收部件，从显示部件中显示了基于所述操作用画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息；
判断部件，判断由所述接收部件接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及
画面生成部件，生成与由所述接收部件接收到的操作信息对应的下一个画面数据，并且在通过所述接收部件接收所述操作信息和扩大显示信息，且通过所述判断部件判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部，
所述发送部件将由所述画面生成部件生成的下一个画面数据发送至所述便携终端装置。
所述便携终端装置具备：
接收部件，接收从所述显示处理装置发送的画面数据；
显示部件，显示基于所述画面数据的显示处理装置侧的远程画面；以及
发送部件，若用户对所述远程画面进行操作，则将操作信息发送至显示处理装置，且在画面被扩大的状态下对远程画面进行了用户操作时，将操作信息和表示被扩大后的显示状态的扩大显示信息发送至显示处理装置。
13.一种远程画面的显示处理方法，在通过连接部件与便携终端装置连接的显示处理装置中执行，其特征在于，具备：
发送步骤，将本装置操作用的画面数据发送至所述便携终端装置；
接收步骤，从显示部件中显示了基于所述画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息；
判断步骤，判断在所述接收步骤中接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及
画面生成步骤，生成与所述接收步骤中接收到的操作信息对应的下一个画面数据，并且在所述接收步骤中接收所述操作信息和扩大显示信息，且在所述判断步骤中判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部，
在所述发送步骤中将在所述画面生成步骤中生成的下一个画面数据发送至所述便携终端装置。
14.一种远程画面的显示处理方法，在具备有能够相互连接的显示处理装置和便携终端装置的远程画面的显示处理***中执行，其特征在于，
所述显示处理装置执行：
发送步骤，将本装置操作用的画面数据发送至所述便携终端装置；
接收步骤，从显示部件中显示了基于所述画面数据的显示处理装置侧的远程画面的便携终端装置，接收表示用户对所述远程画面进行的操作的操作信息，且在画面被扩大的状态下对缺少一部分而显示的所述远程画面进行了用户操作时，从便携终端装置接收操作信息和表示被扩大后的显示状态的扩大显示信息；
判断步骤，判断在所述接收步骤中接收到的所述操作信息所示出的操作是否是使显示弹出部的操作；以及
画面生成步骤，生成与所述接收步骤中接收到的操作信息对应的下一个画面数据，并且在所述接收步骤中接收所述操作信息和扩大显示信息，且在所述判断步骤中判断为所述操作信息所示出的操作是使显示弹出部的操作的情况下，调整弹出部的显示位置并生成下一个画面数据，以使以基于所述扩大显示信息的图像扩大状态在所述便携终端装置的显示部件中显示弹出部，
在所述发送步骤中将在所述画面生成步骤中生成的下一个画面数据发送至所述便携终端装置，
所述便携终端装置具备：
接收步骤，接收从所述显示处理装置发送的画面数据；
显示步骤，在显示部件中显示基于所述画面数据的显示处理装置侧的远程画面；以及
发送步骤，若用户对所述远程画面进行操作，则将操作信息发送至显示处理装置，且在画面被扩大的状态下对远程画面进行了用户操作时，将操作信息和表示被扩大后的显示状态的扩大显示信息发送至显示处理装置。
CN201310722196.0A 2012-12-25 2013-12-24 显示处理装置、图像形成装置、远程画面的显示处理*** Active CN103905683B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-281840 2012-12-25
JP2012281840A JP5696721B2 (ja) 2012-12-25 2012-12-25 表示処理装置、画像形成装置、リモート画面の表示処理システム及び表示処理方法

Publications (2)

Publication Number Publication Date
CN103905683A true CN103905683A (zh) 2014-07-02
CN103905683B CN103905683B (zh) 2017-01-04

Family

ID=50002409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310722196.0A Active CN103905683B (zh) 2012-12-25 2013-12-24 显示处理装置、图像形成装置、远程画面的显示处理***

Country Status (4)

Country Link
US (1) US9247082B2 (zh)
EP (1) EP2750029B1 (zh)
JP (1) JP5696721B2 (zh)
CN (1) CN103905683B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114115642A (zh) * 2020-09-01 2022-03-01 夏普株式会社 信息处理装置和信息处理装置的控制方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6180994B2 (ja) * 2014-05-20 2017-08-16 京セラドキュメントソリューションズ株式会社 画像形成装置
JP6557457B2 (ja) * 2014-07-25 2019-08-07 クラリオン株式会社 画像表示システム、画像表示方法、及び表示装置
JP6439439B2 (ja) * 2014-12-24 2018-12-19 株式会社リコー 情報処理装置、画像処理装置、プログラム、ユーザインタフェース
JP7163667B2 (ja) * 2018-08-24 2022-11-01 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
US20210243332A1 (en) * 2020-02-04 2021-08-05 Toshiba Tec Kabushiki Kaisha System and method for processing cost accounting for multiple device functions
JP2023018906A (ja) * 2021-07-28 2023-02-09 キヤノン株式会社 情報処理装置とその制御方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005582A (ja) * 2002-04-17 2004-01-08 Matsushita Electric Ind Co Ltd 通信制御システムと画像転送プログラムを格納した記憶媒体
JP2006039469A (ja) * 2004-07-30 2006-02-09 Kyocera Mita Corp 表示装置、画像形成装置
CN101976173A (zh) * 2010-11-24 2011-02-16 广州市久邦数码科技有限公司 一种用于嵌入式触摸屏虚拟键盘上的多语言混合输入方法
US20120192078A1 (en) * 2011-01-26 2012-07-26 International Business Machines Method and system of mobile virtual desktop and virtual trackball therefor

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002040880A (ja) * 2000-07-31 2002-02-06 Kyocera Mita Corp ユーザーインターフェース用表示装置
KR20020089744A (ko) * 2001-05-24 2002-11-30 삼성전자 주식회사 팩스 데이터의 선택적 인쇄가 가능한 팩시밀리 겸용프린터 및 팩스 데이터의 선택적 인쇄방법
JP3941624B2 (ja) * 2002-07-30 2007-07-04 コニカミノルタビジネステクノロジーズ株式会社 ファイル保存装置
KR20040060361A (ko) * 2002-12-30 2004-07-06 삼성테크윈 주식회사 기능이 서로 보완된 디지털 카메라 및 휴대용 디지털 기기
JP4381761B2 (ja) * 2003-09-26 2009-12-09 キヤノンソフトウェア株式会社 表示制御装置および表示制御方法およびプログラムおよび記録媒体
JP2006067116A (ja) * 2004-08-25 2006-03-09 Canon Inc 情報処理システムのデータ処理方法、情報処理システム、記憶媒体、プログラム
US7730157B2 (en) * 2005-02-03 2010-06-01 The Trustees Of Columbia University In The City Of New York Methods, media, and systems for displaying information on a thin-client in communication with a network
US8495514B1 (en) * 2005-06-02 2013-07-23 Oracle America, Inc. Transparency assisted window focus and selection
JP4806625B2 (ja) * 2006-02-20 2011-11-02 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム及び画像処理システム
JP2008276693A (ja) * 2007-05-07 2008-11-13 Konica Minolta Business Technologies Inc 画像形成装置及びプログラム
US10091345B2 (en) * 2007-09-04 2018-10-02 Apple Inc. Media out interface
US20090158152A1 (en) * 2007-12-12 2009-06-18 Kodimer Marianne L System and method for generating context sensitive help for a graphical user interface
JP2010026629A (ja) * 2008-07-16 2010-02-04 Casio Comput Co Ltd サーバ装置、クライアント装置、サーバベース・コンピューティング・システム、サーバ制御プログラム、クライアント制御プログラム
JP5109854B2 (ja) * 2008-07-28 2012-12-26 富士通株式会社 表示制御プログラム、方法及び装置
JP5097680B2 (ja) * 2008-10-29 2012-12-12 京セラ株式会社 携帯電子機器
JP4783447B2 (ja) 2009-04-02 2011-09-28 株式会社エヌ・ティ・ティ・ドコモ 表示制御装置及び表示制御方法
US20100268762A1 (en) * 2009-04-15 2010-10-21 Wyse Technology Inc. System and method for scrolling a remote application
US20120054320A1 (en) * 2009-04-21 2012-03-01 Minoru Yoshida Server device, server-client system, server program, and recording medium with same recorded thereon
JP5725604B2 (ja) * 2010-12-28 2015-05-27 シャープ株式会社 表示装置、電子機器、及び機器制御システム
JP5786828B2 (ja) 2012-08-29 2015-09-30 コニカミノルタ株式会社 表示装置、表示装置の制御方法、および表示装置の制御プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005582A (ja) * 2002-04-17 2004-01-08 Matsushita Electric Ind Co Ltd 通信制御システムと画像転送プログラムを格納した記憶媒体
JP2006039469A (ja) * 2004-07-30 2006-02-09 Kyocera Mita Corp 表示装置、画像形成装置
CN101976173A (zh) * 2010-11-24 2011-02-16 广州市久邦数码科技有限公司 一种用于嵌入式触摸屏虚拟键盘上的多语言混合输入方法
US20120192078A1 (en) * 2011-01-26 2012-07-26 International Business Machines Method and system of mobile virtual desktop and virtual trackball therefor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114115642A (zh) * 2020-09-01 2022-03-01 夏普株式会社 信息处理装置和信息处理装置的控制方法

Also Published As

Publication number Publication date
US9247082B2 (en) 2016-01-26
US20140185090A1 (en) 2014-07-03
JP5696721B2 (ja) 2015-04-08
EP2750029A1 (en) 2014-07-02
EP2750029B1 (en) 2019-09-18
CN103905683B (zh) 2017-01-04
JP2014126955A (ja) 2014-07-07

Similar Documents

Publication Publication Date Title
CN103905683A (zh) 显示处理装置、图像形成装置、远程画面的显示处理***
CN103856667B (zh) 便携终端装置、图像处理联合***及画面数据的显示方法
CN104158996B (zh) 图像处理协作***、便携终端装置、图像处理协作方法
US9223531B2 (en) Image processing apparatus that generates remote screen display data, portable terminal apparatus that receives remote screen display data, and recording medium storing a program for generating or receiving remote screen display data
US9875433B2 (en) Linkage system and linkage method for image processing, portable terminal device, and image processing linkage program
US10126907B2 (en) Emulation of multifunction peripheral via remote control device based on display aspect ratios
EP2562637A2 (en) Information processing apparatus that carries out remote operation, control method therefor, and storage medium
US10356258B2 (en) Image processing system performing screen data selection, image processing device, terminal device and non-transitory readable recording medium
CN108804628B (zh) 一种图片显示方法及终端
CN103731581B (zh) 图像处理协作***、协作方法、便携式终端装置
JP6252028B2 (ja) 画像処理システム、画像処理装置及びリモート画面の表示制御プログラム
JP6418258B2 (ja) 画像処理装置及びリモート画面制御プログラム
JP5853999B2 (ja) 画像形成システム、画像形成装置、遠隔操作装置およびプログラム
US10785376B2 (en) Image processing apparatus for sending user interface data
JP6191470B2 (ja) 画像処理システム、画像処理装置及び携帯端末装置
JP2014174864A (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
JP2022074772A (ja) 情報処理装置、情報処理の制御方法、並びにコンピュータプログラム
JP6443224B2 (ja) 画像処理連携システムと連携方法、画像処理装置および画像処理連携プログラム
JP2022138660A (ja) 情報処理装置、情報処理の制御方法、並びにコンピュータプログラム
JP6040970B2 (ja) 文字入力システム、文字入力方法、情報処理装置、携帯端末装置及び文字入力プログラム
CN110557510A (zh) 图像形成装置、图像形成***及通信处理方法
JP2009110365A (ja) 情報表示装置及び情報表示システム
KR20060133360A (ko) 화상을 캡처하여 프린팅 할 수 있는 화상형성시스템 및화상형성방법
JP2007274025A (ja) ファクシミリ装置、表示方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant