Display control method and electronic device

Abstract

A display control method includes: in response to obtaining a target interaction operation, controlling a target device to enter a target display mode corresponding to the target interaction operation; and determining a target display area based on the target display mode to output target content in the target display area, wherein the target interaction operation includes an operation acting on a target interaction area of an electronic device and / or an operation triggering a state change of a communication port of the electronic device, and the target device includes or does not include the electronic device.

Description

DISPLAY CONTROL METHOD AND ELECTRONIC DEVICERELATED APPLICATION (S)

[0001] This application claims priority to Chinese Patent Application No. 202411201318.6 filed with China Intellectual Property Administration on August 29, 2024, which is incorporated herein by reference in entirety. FIELD OF THE TECHNOLOGY

[0002] The present disclosure relates to a field of terminal devices, and in particular to a display control method and an electronic device.BACKGROUND

[0003] In operating systems such as Windows 11, Linux, Hongmeng or iOS, users often rely on system hotkeys or interface options to set the screen duplication or extension mode to adapt to the multi-screen working environment. However, with an increase in the number of devices and the diversification of screen layouts, system hotkeys or interface options may become cumbersome and difficult to understand intuitively. In order to improve the user experience, a more natural and intuitive gesture operation method is desirable, which may allow users to quickly and accurately duplicate a desktop or extend content based on the desktop. Such a solution may simplify the multi-screen management process, which may allow users to use multiple display devices more efficiently.SUMMARY

[0004] In one aspect, the present disclosure provides a display control method. The method includes: in response to obtaining a target interaction operation, controlling a target device to enter a target display mode corresponding to the target interaction operation; and determining a target display area based on the target display mode to output target content in the target display area, wherein the target interaction operation includes an operation acting on a target interaction area of an electronic device and / or an operation triggering a state change of a communication port of the electronic device, and the target device includes or does not include the electronic device.

[0005] In another aspect, the present disclosure provides an electronic device. The electronic device includes: a memory storing computer program instructions; and a processor coupled to the memory and configured to execute the computer program instructions and perform: in response to obtaining a target interaction operation, controlling a target device to enter a target display mode corresponding to the target interaction operation; and determining a target display area based on the target display mode to output target content in the target display area, wherein the target interaction operation includes an operation acting on a target interaction area of the electronic device and / or an operation triggering a state change of a communication port of the electronic device, and the target device includes or does not include the electronic device.

[0006] In yet another aspect, the present disclosure provides an electronic device. The electronic device includes: a first screen and a second screen connected to the first screen in rotation; and a processor, arranged on a body where the first screen or the second screen is located, wherein the processor is configured to perform: in response to a target interaction operation acting on the first screen and / or the second screen, controlling the electronic device to enter a target display mode corresponding to the target interaction operation; and determining a target display area based on the target display mode to output target content in the target display area, and wherein the target display area includes at least a portion of a display area of the first screen and / or the second screen.

[0007] In yet another aspect, the present disclosure provides a non-transitory computer-readable storage medium storing computer program instructions executable by at least one processor to perform: in response to obtaining a target interaction operation, controlling a target device to enter a target display mode corresponding to the target interaction operation; and determining a target display area based on the target display mode to output target content in the target display area, wherein the target interaction operation includes an operation acting on a target interaction area of an electronic device and / or an operation triggering a state change of a communication port of the electronic device, and the target device includes or does not include the electronic device.BRIEF DESCRIPTION OF THE DRAWINGS

[0008] Certain features and advantages of the present disclosure become more apparent through the following description of the embodiments of the present disclosure with reference to the accompanying drawings, in which:

[0009] FIG. 1 schematically shows an application scenario diagram of a display control method according to certain embodiments of the present disclosure;

[0010] FIG. 2 schematically shows a flow chart of a display control method according to certain embodiments of the present disclosure;

[0011] FIG. 3 schematically shows several association methods for associating a target mode of a target device based on a target interaction operation according to certain embodiments of the present disclosure;

[0012] FIG. 4A schematically shows an operation diagram of entering a target display mode according to certain embodiments of the present disclosure;

[0013] FIG. 4B schematically shows an operation diagram of entering a target display mode according to certain embodiments of the present disclosure;

[0014] FIG. 4C schematically shows an operation diagram of entering a target display mode according to certain embodiments of the present disclosure;

[0015] FIG. 5A schematically shows a schematic diagram of controlling a device to enter a target display mode through a single touch area according to certain embodiments of the present disclosure;

[0016] FIG. 5B schematically shows a schematic diagram of controlling a device to enter a target display mode through at least two touch areas according to certain embodiments of the present disclosure;

[0017] FIG. 5C schematically shows a schematic diagram of controlling a device to enter a target display mode through an application window according to certain embodiments of the present disclosure;

[0018] FIG. 6 schematically shows a method for determining a target display mode based on target interaction operation according to certain embodiments of the present disclosure; and

[0019] FIG. 7 schematically shows a block diagram of an electronic device for implementing a display control method according to certain embodiments of the present disclosure.DETAILED DESCRIPTION

[0020] Hereinafter, embodiments of the present disclosure will be described with reference to the accompanying drawings. These descriptions are exemplary only and are not intended to limit the scope of the present disclosure. In the following detailed description, for ease of explanation, details are set forth to provide a comprehensive understanding of the embodiments of the present disclosure. One or more embodiments may also be implemented without these specific details. In addition, in the following description, descriptions of well-known structures and technologies may be omitted to avoid unnecessary confusion of the concepts of the present disclosure.

[0021] The terms used herein are only for the purpose of describing embodiments and are not intended to limit the present disclosure. The terms "including" , "comprising" , or the like used herein indicate the presence of the features, steps, operations and / or components, but do not necessarily exclude the presence or addition of one or more other features, steps, operations or components.

[0022] Terms (including technical and scientific terms) used herein have the meanings commonly understood by those skilled in the technical field unless otherwise defined. The terms used herein should be interpreted as having a meaning consistent with the context of the present disclosure and should not be interpreted in an idealized or overly rigid manner.

[0023] When expressions such as "at least one of A, B, and C" or the like are used, the expressions should generally be interpreted according to the meaning of the expression generally understood by those skilled in the technical field (for example, "a system having at least one of A, B, and C" should include but is not limited to a system having A alone, B alone, C alone, A and B, A and C, B and C, and / or A, B, C, or the like) .

[0024] The acquisition, transmission, storage, use, and processing of data in the disclosed technical solution are in compliance with the relevant provisions of national laws and regulations.

[0025] In the embodiments of the present disclosure, certain software, components, models and other existing solutions in the industry may be mentioned, and they should be regarded as exemplary. Their purpose is only to illustrate the feasibility of implementing the technical solution of the present disclosure, but it does not mean that the solution is necessarily used.

[0026] In the technical solution of the present disclosure, the user information (including but not limited to user personal information, user image information, user device information, such as location information, or the like) and data (including but not limited to data used for analysis, stored data, displayed data, or the like) involved are information and data authorized by the user or authorized by all parties, and the collection, storage, use, processing, transmission, provision, disclosure and application of the relevant data comply with relevant laws, regulations and standards, take necessary confidentiality measures, do not violate public order and good morals, and provide corresponding operation entrances for users to choose to authorize or refuse.

[0027] FIG. 1 schematically shows an application scenario diagram of the display control method according to an embodiment of the present disclosure.

[0028] As shown in FIG. 1, the application scenario 100 according to this embodiment may include application scenarios such as screen duplication and screen extension of an electronic device. The first screen 101 and the second screen 102 may be two screens of the same electronic device, or may be screens of a first electronic device and a second electronic device, respectively. In certain embodiments, when the first screen 101 and the second screen 102 are screens of a first electronic device and a second electronic device, respectively, the first electronic device and the second electronic device may interact through a network communication link. The first screen 101 and the second screen 102 may be used to display images of one or more systems or applications of the electronic device to which they belong, respectively, and the image contents displayed by the first screen 102 and the second screen 102 may be different. When the user has a multi-screen display requirement, the user copies or extends the image displayed on the first screen 101 to the second screen 102 through hotkeys or command manipulation. When it is the duplication mode, the content displayed on the first screen 101 is mirrored to the second screen 102 in real time, and the two screens will display exactly the same content; when it is the extension mode, the first screen 101 and the second screen 102 serves as independent display areas, each displaying different content, thereby providing the user with a wider field of view and more efficient multi-tasking capabilities.

[0029] Certain existing methods of setting screen duplication or extension mode through system hotkeys or complex interface options have gradually reached its limitations. These limitations are mainly reflected in the following aspects: First, the operation may be complicated. Users may need to be familiar with and master a series of system hotkeys or complex menu options, which have a high learning cost for non-technical users or beginners. Even for users who are familiar with the operation, they may need to go through multiple steps each time to set up the screen, such as opening the control panel, selecting display settings, adjusting resolution and layout, or the like. These steps are relatively cumbersome and time-consuming; second, the flexibility of screen projection may be poor. Certain existing settings usually provide limited screen layouts and setting options, which may not meet the diverse needs of users. For example, some users may need special screen arrangements, but certain existing settings may not provide these options; third, the device compatibility may be poor. Certain existing settings may not be able to support various types of displays and connection methods well, causing users to encounter obstacles when using; fourth, due to the complexity of the operation, in scenarios where screen modes or layouts may need to be switched frequently (such as multitasking, conference presentations, or the like) , certain existing settings may reduce user work efficiency.

[0030] Certain embodiments of the present disclosure provide a display control method, including: in response to obtaining a target interaction operation, controlling a target device to enter a target mode corresponding to the target interaction operation; determining a target display area based on the target mode to output target content in the target display area. The target interaction operation includes an operation that acts on a target interaction area of an electronic device and / or an operation that triggers a state change in a communication port of an electronic device, and the target device may or may not include an electronic device. Based on this method, the operation of screen duplication or screen expansion may be simplified, making it easier for users to understand the operation intent and improve the operation efficiency, thereby improving the user's operation experience.

[0031] Further in view of FIG. 1, the display control method is described in detail through FIG. 2 to FIG. 6.

[0032] FIG. 2 schematically shows a flow chart of the display control method according to certain embodiments.

[0033] As shown in FIG. 2, the display control method includes operations S210 to S220, and the transaction processing method may be executed sequentially.

[0034] In operation S210, in response to obtaining a target interaction operation, the target device is controlled to enter a target mode corresponding to the target interaction operation.

[0035] The target interaction operation includes an operation acting on the target interaction area and / or an operation that triggers a state change in the communication port of the target device. The target interaction area may be the sensing area of various sensors of the electronic device, such as a touchpad, a touch screen area, a camera, a radar, a TOF, or the like. The target interaction operation may be an operation actively performed by the user. In certain embodiments, the target interaction operation may be a touch operation, a press operation, a sliding operation, or the like, which the user acts on the screen; the target interaction operation may also be a user's spatial gesture operation, which may be based on the acquisition of devices such as cameras and sensors, and recognized based on image recognition algorithms; the target interaction operation may also be a user's touch operation, a spatial gesture operation, and a combination of a key operation or a voice command, or the like. The target interaction operation may also be a passively triggered operation, such as an operation to establish a connection between an electronic device and an external device, which may be an interconnection operation such as a screen projection connection, a Bluetooth connection, or a WIFI direct connection operation, or an IO interface plug-in operation, or a pairing connection operation of a communication port.

[0036] In certain embodiments of the present disclosure, before obtaining the target interaction operation of the user, the user's consent or authorization may be obtained. In certain embodiments, before operation S210, a request to obtain the target interaction operation may be sent to the user through an electronic device. When the user agrees or authorizes that the target interaction operation may be obtained, operation S210 is performed based on the electronic device.

[0037] The target device may include or not include the electronic device that performs operation S210. When the target device includes the electronic device, in response to the user's target interaction operation on the electronic device, the electronic device itself enters a target mode that corresponds to the target interaction operation, or the electronic device and its external device both enter the corresponding target mode; when the target device does not include the electronic device, the target device may be an external electronic device that establishes a connection relationship with the electronic device, and in response to the user's target interaction operation on the electronic device, the electronic device generates a corresponding control instruction and sends it to the external device, so that the external device enters a target mode that corresponds to the target interaction operation. In certain embodiments, the external device and the electronic device are devices with the same operating system or devices with different operating systems. The number of target devices may be one or more, which is not limited here.

[0038] The target mode may include multiple display modes such as extension display mode, duplication display mode, split screen display mode, full screen display mode, monitor mode, and system display mode. Among them, the extension display mode refers to a display mode that extends the desktop to one or more screens; the duplication mode refers to a display mode that mirrors the screen content from one screen to other screens; the full screen mode refers to a display mode that displays a display content through one screen or combines multiple screens into a large screen for common display; the monitor mode refers to a display mode that controls the device to project the display content, that is, a mode that acts as a monitor display. Different target interaction operations may trigger the electronic device and / or an external device connected to the electronic device to enter different target modes.

[0039] In operation S220, a target display area is determined based on the target mode to output the target content in the target display area.

[0040] The target display area of the target device is different for different target modes. The target display area may be a display area for outputting the target content. In certain embodiments, when the target device enters a split screen display mode, the target display area may be at least one split screen area of the target device; when the target device enters a full screen display mode, the target display area may be determined as the entire display area of the target device; when the target device enters a duplication display mode or an extension display mode, the target display area may be a second screen area for duplicating or extending the screen, and the second screen area may be the entire display area or a portion of the display area of the target device, or may be extended to an external display screen connected to the target device.

[0041] According to the display control method provided by certain embodiments of the present disclosure, by obtaining the user's target interaction operation, corresponding to the target mode, corresponding to different target operations, the target device may quickly enter different target modes and output the response target content. The method is simple to operate and may be implemented by defining simple target interaction operations according to the user's personal preferences, which is convenient for users to understand and remember operation behaviors and saves users' learning costs; the method may flexibly set a variety of different target modes by configuring a variety of different target interaction operations, and realize a variety of display effects to cope with a variety of application scenarios; the method may be applied to display control between multiple devices, realize device control based on interaction operations, and then realize cross-device and cross-system display applications.

[0042] The operations S210 to S220 are described below.

[0043] FIG. 3 schematically shows several methods for associating the target mode of the target device based on the target interaction operation according to certain embodiments of the present disclosure.

[0044] As shown in FIG. 3, in operation S210, the method for controlling the target device to enter the target mode corresponding to the target interaction operation includes at least one of S211 to S214.

[0045] In operation S211, the operation data generated by the target interaction operation is obtained, and the target device is controlled to enter the target display mode corresponding to the operation data based on the operation data.

[0046] The target interaction operation may be an operation acting on the target interaction area of the electronic device. The target interaction operation may be a touch operation, a press operation, a sliding operation, or the like, which is performed by the user on the screen. The operation data generated by the target interaction operation may include touch operation data such as touch position, touch area, touch pressure, and touch track. The target interaction operation may also be a spatial gesture operation of the user. The operation data generated by the target interaction operation may include spatial gestures and their motion data, or the like. The target interaction operation may also be an operation that triggers a state change in the communication port of the target device. The operation data generated by the target interaction operation may include the port number, port position, port type, and / or signal generated by the port of the communication port, or the like. The target interaction operation may be a combination of one or more of the above possible operations, or a combination of one or more of the above possible operations with other operations (such as issuing voice commands or key commands) . The corresponding operation data may be the sum of the operation data generated by multiple operations. The target interaction operation and operation data may be defined according to actual needs, and are not limited here.

[0047] After acquiring the target interaction operation, the electronic device may generate a control instruction based on the operation data generated by the target interaction operation, and send the control instruction to the target device, so that the target device enters the target mode according to the control instruction. The control instruction is generated based on the operation data, and different target interaction operations generate different operation data, generate different control instructions, and make the target mode entered by the target device based on the control instruction also different.

[0048] In certain embodiments of the present disclosure, the target device may be the electronic device itself. Taking the electronic device as a laptop computer as an example, assuming that the laptop computer is currently in full screen display mode, in response to the user performing a preset touch operation in the touch area, the operation data of the touch operation is identified, and the operation data may be a touch track; assuming that the pattern formed by the touch track is a straight line extending from top to bottom, indicating that the user wants to control the laptop computer to enter the left-right split screen mode, the laptop computer generates a split screen control instruction in response to the generation of the touch track, and switches the laptop computer to the split screen display mode.

[0049] In certain embodiments of the present disclosure, the target device may also be other devices that establish a communication connection with the electronic device, and the other device may be a device or display with an operating system, or the like. For example, when the electronic device is a computer and the other device is an external display of the computer, the computer responds to the user's spatial gesture operation and obtains the operation data of the spatial gesture operation (including gesture action and action track, or the like) , and the spatial gesture operation may be an operation in which the user places his hand on the computer screen and then slides his hand onto the screen of the external display; the computer determines whether the spatial gesture operation acts on the computer and the external display based on the operation data of the spatial gesture operation, and determines whether the spatial gesture operation meets the preset gesture specification; when the computer determines that the spatial gesture operation meets the above requirements, it generates a control instruction to control the external display to enter the screen duplication mode and project the display screen of the computer onto the external display.

[0050] The description of the target interaction operation, operation data, and controlling the target device to enter the target display mode based on the operation data in the above embodiments is only illustrative. In implementations, the above contents may have a variety of expressions and combinations. The descriptions may be suitably adjusted.

[0051] In operation S212, the type information of the target interaction operation is obtained, and the target device is controlled to enter the target display mode corresponding to the type information.

[0052] The operation types of the target interaction operation may be divided into touch operation, spatial gesture operation, key operation and voice operation. Furthermore, the subdivided operation types of the touch operation may include a combination of one or more of touch operation, press operation, sliding operation and the like acting on the screen. The subdivided operation types of the spatial gesture operation may include control operations for a single device and control operations across devices. The operation types of the target interaction operation may also include a combination of touch operation, spatial gesture operation, key operation and voice operation.

[0053] In certain embodiments of the present disclosure, different target display modes are preset or predefined to correspond to match different type information of the target interaction operation. In certain embodiments, when the target interaction operation is a touch operation, the corresponding target display mode may be a full screen display mode; when the target interaction operation is a spatial gesture operation, the corresponding target display mode may be an extension display mode; when the electronic device obtains the target interaction operation and identifies that the type information of the target interaction operation is a touch operation or a spatial gesture operation, based on the type information, the target device is controlled to enter a full screen display mode or an extension display mode that corresponds to the type information.

[0054] In certain embodiments of the present disclosure, when the target interaction operation is one of touch operation, spatial gesture operation, key operation or voice operation, different target display modes may be obtained according to the type information of the subdivided operation type of the target interaction operation. Taking the spatial gesture operation as an example, when the spatial gesture operation is a control operation for the electronic device itself, the type information of the operation may correspond to the full screen display mode or the split screen display mode. The electronic device may combine the operation data of the spatial gesture operation (such as gesture form) to determine which of the full screen display mode and the split screen display mode the target display mode corresponding to the operation data of the spatial operation gesture is, and control the target device to enter the corresponding target display mode based on the determined result.

[0055] In operation S213, the source information of the target interaction operation is obtained, and the target device is controlled to enter a target display mode corresponding to the source information.

[0056] The source information of the target interaction operation indicates which operating object the target interaction operation comes from, and the operating object may be a user. Since different users may have different operation habits, in order to enable users to quickly get started and get used to switching the target display mode through the target interaction operation, the operating system of the electronic device may determine the preference or habit of the operation object based on the user's portrait information, and then control the electronic device to enter a corresponding target display mode.

[0057] In certain embodiments, assuming that the electronic device is a tablet computer, user A and user B are frequent users of the tablet computer, where user A is accustomed to using the tablet computer with a top-bottom split screen, and user B is accustomed to using the tablet computer with a left-right split screen. When user A or user B respectively performs a touch operation for splitting the screen on the tablet computer, the tablet computer enters a top-bottom split screen display mode when facing user A, and enters a left-right split screen display mode when facing user B by identifying the user.

[0058] In operation S214, the object being operated on by the target interaction operation is determined, and the target device is controlled to enter a target display mode corresponding to the attribute information of the object being operated on.

[0059] In certain embodiments, the objects being operated on by the target interaction operation include the electronic device itself and the external device. The corresponding target display mode may be determined in combination with the properties of the object being operated on. The properties of the object being operated on characterize the device type of the object being operated on, for example, the object being operated on may be a single-screen device, a dual-screen device, a device with an independent operating system or a display, or the like. The object being operated on may be the electronic device itself, and the electronic device may be a dual-screen device. After determining that the electronic device itself is the object being operated on, the electronic device itself is controlled to enter a duplication mode, an extension mode, or a full screen mode, a split screen mode, or the like. The object being operated on may be a laptop, a tablet computer, or a display connected to the electronic device, or the like, and the laptop or tablet computer may be controlled to enter a projection mode, a monitor mode, or the like.

[0060] According to operation S220, after controlling the target device to enter the target display mode, the electronic device determines the target display area on the target device based on the target device, and outputs the target content in the target display area. The target content is generated from the electronic device or from an external device connected to the electronic device.

[0061] In certain embodiments, in a scenario where the target device is the electronic device itself, the electronic device may be a dual-screen display device and perform duplication or extension between its own screens, the target display area may be at least a portion of the display area of the first screen and / or the second screen of the dual-screen display device, and the target content may be the content displayed on the first screen and / or the second screen of the dual-screen display device itself; in a scenario where the target device is an external device of the electronic device, the electronic device may control the external device to enter a duplication mode, an extension mode, a monitor mode, or the like, so that the external device projects, expands, or monitors the electronic device. At this time, the target display area is the display area of the external device, and the target content output by the target display area is the display content output by the electronic device, or the external device may control the electronic device for the electronic device to be forced to enter a duplication mode, an extension mode, a monitor mode, or the like, so that the electronic device may duplicate, extend or monitor the screen of an external device. At this time, the target display area is the display screen of the electronic device, and the target content output is generated from the external device. In the scenario where the target device is the electronic device and an external device of the electronic device, the electronic device and its external device may enter the system display mode together, and the display screens of the electronic device and the external device may be used to monitor multiple display screens of the system composed of the electronic device and external devices (including the screen display screens of the electronic device and the external device) . In this mode, the display screens of the electronic device and the external device are both target display screens, and the target content output is the screen display content of the electronic device and the external device.

[0062] FIG. 4A to FIG. 4C schematically illustrate an operation diagram of entry to a target display mode according to certain embodiments of the present disclosure. The implementation method involved in operation S211 is described below in conjunction with FIG. 4A to FIG. 4C.

[0063] As shown in FIG. 4A, the target interaction operation may be a touch operation acting on the touch area of the target device, and the target device may be an electronic device that executes the display control method of the present disclosure and / or an external device that establishes a communication connection with the electronic device. The touch data may include touch operation data such as touch position, touch area, touch pressure, and touch track. When the electronic device obtains the touch operation generated by the user in the touch area of the target device, the electronic device controls the electronic device itself and / or the external device connected to the electronic device to enter the target display mode corresponding to the touch operation data based on the touch operation data generated by the touch operation acting on the touch area of the target device.

[0064] In certain embodiments, when a user performs a sliding operation on the touch area of a computer, the operation data of the sliding operation includes a sliding position, a sliding track, and a sliding direction, or the like. When the sliding position of the sliding operation indicates that the user's finger slides from the middle position of the touch area to multiple edge positions of the touch area, and the electronic device determines that the sliding track is a track corresponding to entering the full screen display mode, the computer is controlled to enter the full screen display mode, and the full screen display form may be determined to be horizontal or vertical based on the sliding direction.

[0065] As shown in FIG. 4B, the target interaction operation may be a spatial gesture operation acting on the spatial sensing area of the electronic device. The operation data of the spatial gesture operation includes gesture data, gesture change data, and gesture motion data. Based on the gesture operation data acting on the spatial sensing area of the electronic device, the electronic device itself and / or an external device connected to the electronic device is controlled to enter a target display mode corresponding to the gesture operation data.

[0066] Controlling the target display mode entered by the electronic device itself and / or an external device connected to the electronic device based on gesture operation data acting on the spatial sensing area of the electronic device may include: controlling the electronic device itself to enter any of a duplication display mode, an extension display mode, a full screen display mode, a split screen display mode, and a display mode based on gesture operation data acting on the spatial sensing area of the electronic device, and / or controlling an external device connected to the electronic device to enter a host mode or a monitor mode.

[0067] In certain embodiments of the present disclosure, gesture operation data acting on the spatial sensing area of the electronic device is used to control the electronic device to enter the target display mode. In certain embodiments, the electronic device may be a dual-screen electronic device, and the spatial gesture operation may be a selection operation of controlling the two screens of the dual-screen electronic device to enter a duplication display mode, an extension display mode, a full screen display mode, a split screen display mode, or a monitor mode as shown in FIG. 4B. In certain embodiments, the gesture data of the spatial gesture operation may be a gesture of the thumb and index finger opening or separating from each other, which indicates that the secondary screen of the electronic device is controlled to enter the duplication display mode, which is used to duplicate the display content of the main screen. The display effect of the spatial gesture operation may be that the main screen and the secondary screen of the electronic device display the same content, or the main screen content of the electronic device is transferred to the secondary screen, and the main screen may be used to display other content in addition to the original display content (such as a window that is originally covered or minimized on the main screen) ; the gesture change data of the spatial gesture operation may be the change data of the thumb and index finger from pinching to opening, which cooperates with the gesture data to control the electronic device to form a dynamic effect of gradually expanding the screen; the gesture movement data of the spatial gesture operation may be, for example, the data of the hand moving upward or downward when performing the gesture operation, which indicates the extension direction of the current extended screen, for example, the hand moving upward indicates extension from the lower screen to the upper screen. In certain embodiments, when the electronic device may be connected to other devices, the spatial gesture may control the electronic device to enter the monitor mode, and use the electronic device as an extension display screen of the external device.

[0068] In certain embodiments of the present disclosure, a gesture operation acting on a spatial sensing area of an electronic device is used to control an external device connected to the electronic device to enter a host mode or a monitor mode. When it is determined to control the external device to enter the host mode, the external device acts as a host system, so that the electronic device is used as an external display; when it is determined to control the external device to enter the monitor mode, the external device is used as an extended display of the electronic device. The two screens shown in FIG. 4B may also be screens of an electronic device and an external device, respectively. Similar to the situation where a dual-screen electronic device obtains operation data, based on the operation data of the spatial gesture operation, the electronic device may determine and control the external device to enter a target display mode. As shown in FIG. 4C, the target interaction operation may be an operation of establishing a connection or disconnecting a connection between an electronic device (acomputer shown in the figure) and an external device (atablet shown in the figure) , and the operation data corresponding to the operation may be data for establishing a communication connection or operation data for disconnecting a connection. Based on the connection operation data for changing the connection state of the communication port of the electronic device, the electronic device itself and / or an external device connected to the electronic device is controlled to enter a target display mode corresponding to the connection state.

[0069] In certain embodiments, the target interaction operation for establishing a connection between an electronic device and an external device may be connection operations such as screen projection connection, Bluetooth connection, and line plugging. The operation data of the connection operation may include pairing information, screen projection format data, screen projection control signal, screen projection synchronization information, display parameters (such as resolution, refresh rate, or the like) , or the like, which may be used to control the electronic device and the external device to transmit screen projection data in accordance with the agreed screen projection format based on the screen projection control signal when the screen projection pairing between the electronic device and the external device is determined to be successful, and to synchronize the screen projection data between the electronic device and the external device based on the screen projection synchronization information. The resolution and refresh rate of the projection on the external device may be controlled based on the display parameters.

[0070] In certain embodiments, the target interaction operation may be an operation of disconnecting the electronic device from the external device, and the operation data of the disconnection operation may include the disconnection reason (such as user-initiated disconnection, network failure, device failure, or the like) , the status information of the device after disconnection (for example, the external device updates its input source status to "no signal" or "idle" ) , or the like. The disconnection reason may be provided to the electronic device and / or the external device for troubleshooting and other operations. When the disconnection reason is a non-fault reason (for example, the user actively disconnects) , the external device may switch from the projection mode to the original display mode, such as the system display mode or full screen mode of the device itself. When the disconnection reason is a fault reason, the external device may switch from the projection mode to, for example, the monitor mode. While the system of the external device monitors whether the connection relationship between the electronic device and the external device is being repaired or whether the relationship is re-established, the connection status generated during the re-establishment of the connection between the electronic device and the external device is displayed and monitored in the monitor mode. The connection status includes connection nodes and connection parameters, or the like. The user may analyze and locate the faults that occurred during the connection process based on the nodes and connection parameters that may not continue to establish the connection during the connection process.

[0071] Controlling the electronic device itself and / or an external device connected to the electronic device to enter a target display mode that corresponds to the connection state based on connection operation data that changes the connection state of the communication port of the electronic device may include: controlling the electronic device itself to enter any of monitor mode, duplication display mode, extension display mode, full screen display mode or split screen display mode based on the connection state change data between the electronic device and the external device, and / or controlling the external device to enter monitor mode or host mode. The control based on the connection state change data between the electronic device and the external device is similar to the control based on touch data and gesture operation data, and both may be used as operation features to match the corresponding display mode. The embodiments of controlling the electronic device or external device to enter different target display modes are also similar to the aforementioned embodiments, and will not be repeated here.

[0072] FIGs. 5A to 5C schematically illustrate schematic diagrams of controlling the device to enter the target display mode through different touch areas according to certain embodiments of the present disclosure. The following uses the operation data as touch data as an example to illustrate the operation control of the electronic device or external device to enter different target display modes based on different touch areas.

[0073] FIGs. 5A and 5B schematically illustrate two situations in which the target device is controlled to enter the target display mode based on the operation data, and the electronic device itself is controlled to enter any of the duplication display mode, the extension display mode, the full screen display mode, the split screen display mode, and the display mode based on the operation data of at least one of the touch position, the touch area, the touch pressure, and the touch track of the target touch area of the electronic device, and / or the external device connected to the electronic device is controlled to enter the host mode or the display mode.

[0074] As shown in FIG. 5A, the electronic device may be a device having a unique touch area, and the unique touch area may be, for example, a touch pad or touch display screen of a traditional notebook, tablet computer, or other device. Based on the first touch operation data acting on the touch area of the electronic device, the electronic device itself may be controlled to enter any of the split screen display mode, extension display mode, duplication display mode, or monitor mode corresponding to the first touch operation data.

[0075] The first touch operation data may include touch operation data such as touch position, touch area, touch pressure, and touch track. Different first touch operation data may enable the electronic device to enter different display modes, for example, different touch positions may enable the electronic device to enter a split screen display mode or a full screen display mode, and different touch areas may enable the electronic device to enter a duplication display mode or an extension display mode, etc. In certain embodiments, when the electronic device is connected to an external device, in response to a touch operation of sliding at a preset touch position (for example, the edge of the touch area) in the touch area with a preset touch track (for example, sliding from the edge of the touch area to the outside of the touch area) , the electronic device may enter the display mode and use the electronic device as an extension display screen of the external device.

[0076] As shown in FIG. 5B, the electronic device may be a dual-screen device, such as a dual-screen laptop computer, etc. The touch area of the dual-screen device includes at least its two touch screens, and may also include its touchpad, external touch screen, and external touchpad, etc. The second touch operation data based on at least two touch areas of the electronic device can control the electronic device itself to enter any of the extension display mode, duplication display mode, full screen display mode, or display mode, and / or control the external device connected to the electronic device to enter the host mode or monitor mode.

[0077] The second touch operation data may include touch operation data such as touch position, touch area, touch pressure, and touch track. Different second touch operation data may enable the electronic device or external device to enter different display modes. In certain embodiments, when the target device of the display control operation is an electronic device, the different touch areas, touch positions, touch pressures, and touch tracks formed by the touch operation on the dual screens may be combined to form different touch instructions, so that the electronic device enters any of the full screen display mode, split screen display mode, duplication display mode, extension display mode, or monitor mode.

[0078] As shown in FIG. 5B, in the initial state, the B-side screen of the dual-screen electronic device may be used to display screen 1, and the C-side screen may be used as a touchpad or keyboard. When the user touches the B-side screen and the C-side screen at the same time with the thumb and index finger, the area of the B-side screen being acted on is larger than the area of the C-side screen being acted on, and the two fingers remain stable at the touch position for a certain period of time, the electronic device enters the duplication display mode, and determines the B-side screen as the main screen according to the size of the touch area, and duplicates the screen content of the B-side screen to the C-side screen; when the user touches the B-side screen and the C-side screen at the same time with the index finger and thumb, and slides the index finger to the thumb, the electronic device is controlled to enter the full screen display mode according to the touch position of the two fingers and the sliding track of the index finger, where the screen 1 of the B-side screen is extended to the C-side screen according to the touch track of the index finger touching the B-side screen, so that the B-side screen and the C-side screen of the electronic device are used as a whole screen to display and output the screen 1; when the user touches the B-side screen and the C-side screen with the index finger and the thumb at the same time, and when the touch pressure of the index finger is greater than the touch pressure of the thumb, and the touch positions of the index finger and the thumb remain unchanged, the electronic device enters the split screen display mode, and determines to divide part of the screen content of screen 1 of the B-side screen of the electronic device to be displayed on the C-side screen, that is, screen 2 may be a part of the screen content divided from screen 1; when the user touches the B-side screen and the C-side screen with the index finger and the thumb at the same time, and when the touch pressure of the index finger is greater than the touch pressure of the thumb, and the index finger slides to the touch position of the thumb, the electronic device enters the extension display mode, and determines that the B-side screen is the main screen and the C-side screen is the sub-screen according to the greater touch pressure of the index finger, and the screen of the main screen is extended to the sub-screen, that is, screen 2 is the extended content of screen 1. In certain embodiments, when the user performs an action on the electronic device, such as sliding a single finger from the screen of the external device to the C-side screen, the electronic device enters the monitor mode and may select the C-side screen as an extended display screen of the external device according to the touch position where the finger stops sliding, that is, screen 2 displays the display content of the external device.

[0079] In certain embodiments, when the target device of the display control operation is an electronic device, based on the same target interaction operation or different target interaction operations, the second touch operation data acting on the dual screens is different, so that the dual screens enter different display modes respectively.

[0080] In certain embodiments, when the target device of the display control operation is an external device of the electronic device, according to the touch track of the touch operation, for example, sliding from an inner screen area of the electronic device into an outer screen area, it is determined that the external device is controlled to enter the host mode, the external device serves as the host system and the electronic device serves as the external display mode; or sliding from an outer screen area of the electronic device into an inner screen area, it is determined that the external device is controlled to enter the monitor mode, that is, the external device serves as an extended display of the electronic device.

[0081] As shown in FIG. 5C, the touch area of the electronic device may be a first application window, which is an APP window for controlling the display mode of the electronic device. The APP window may display the number and status of the display screen of the electronic device, and the display mode may be switched or adjusted by the interaction operation acting in the application window. Based on the third touch operation data acting on the first application window of the electronic device, the electronic device itself is controlled to enter any of the duplication display mode, extension display mode, full screen display mode, split screen display mode, and monitor mode, and / or, the external device connected to the electronic device is controlled to enter the host mode or the monitor mode.

[0082] The third touch operation data may be at least one of the operation track, touch area, touch pressure or operation position acting on the first application window or the second application window of the electronic device. The second application window may be the same window as the first application window, or it may be an APP window on an external device that displays the same content as the first application window. The operation track may include screen motion tracks such as sliding, dragging, and zooming. The touch area may be used to indicate whether the touch operation is clicking on the screen or selecting the screen displayed in the APP window. The difference in touch pressure may indicate the target display mode that the electronic device or external device enters. The operation position reflects whether the user clicks a button or operates the screen displayed in the APP window. The screen displayed on the first application window is a virtual image of the display screen of the electronic device and / or the external device, and the operation is more convenient than operating on a physical screen.

[0083] In certain embodiments, in the image shown in FIG. 5C, screen A of the electronic device is pressed, and when the touch time exceeds a preset value (for example, 1 second) , screen A is duplicated to generate screen A' , and screen A' is dragged to screen B of the electronic device or screen C of the external device, and screen B of the electronic device or screen C of the external device is controlled to enter the duplication display mode, and the display content of screen A is duplicated onto screen B and screen C. In certain embodiments, screen A is duplicated to generate screen A' , and screen A' is dragged to screen C of the external device, and screen C is controlled as an extended screen of the electronic device, and the content of screen A is displayed.

[0084] In certain embodiments, the electronic device may control the electronic device itself to enter any of the duplication display mode, extension display mode, full screen display mode, split screen display mode, and monitor mode based on the operation data and the attribute information of the object being operated on, and / or control the external device connected to the electronic device to enter the host mode or monitor mode. The attribute information of the object being operated on represents the device type attribute of the object being operated on. In certain embodiments, the object being operated on may be a monitor, an all-in-one computer, a tablet computer, or the like. When the object being operated on is the electronic device itself, taking the electronic device as a monitor as an example, since the monitor does not have an operating system, the monitor may generally be used as a display of an external device. When the operation data such as the operation track, operation position, touch pressure or touch area of the touch operation corresponds to the preset control data of the display mode, the display may be controlled to enter the display mode for displaying the display content output by the external device. When the object being operated on is the electronic device itself, taking the electronic device as an all-in-one computer as an example, since the all-in-one computer has an independent operating system, it is possible to determine which target display mode to control the all-in-one computer or the external device to enter according to different operation tracks. For example, when the all-in-one computer is originally in a split screen display mode, the all-in-one computer is switched to a full screen display mode according to the horizontal sliding track of the touch operation; or, when the user's hand touches the display screen of the all-in-one computer and then moves to the external display screen, the all-in-one computer controls the external display screen to enter a duplication display mode according to the operation track.

[0085] Based on the method of controlling the target device to enter the target mode corresponding to the target interaction operation, the present disclosure further discloses a method of confirming the target display mode in combination with other information, including S610～S630.

[0086] As shown in FIG. 6, the various types of operation data obtained according to the target interaction operation shown in FIG. 3 may be combined with other relevant auxiliary data to further correspond to the target display mode of the target device.

[0087] In operation S610, based on the obtained target posture data and the operation data generated by the target interaction operation acting on the electronic device, the electronic device and / or the external device connected to the electronic device is controlled to enter the corresponding target display mode, where the target posture data includes posture morphology data of the electronic device and / or the external device.

[0088] The target posture data may be the posture form of the electronic device or the external device, for example, when the display screen of the electronic device or the external device may be in a horizontal screen posture or a vertical screen posture. The target posture data may present an elevation angle or a depression angle according to user needs. The target posture data may also be the relative posture form between the electronic device and the external device, for example, the external device is located above, below, to the left or to the right of the electronic device, or the electronic device is in a horizontal screen and the external device is in a vertical screen relative to the electronic device.

[0089] Based on the operation data of the target interaction operation to determine which target display mode the electronic device and / or the external device enters, combined with the target posture data, the display mode of the target display mode may be determined. In certain embodiments, when the electronic device is in a horizontal screen posture, and when the electronic device is controlled to enter a split screen display mode based on the operation data, splitting the electronic device into left and right screens is more convenient for users to read, so the split screen display mode may be determined as a left-right split screen mode in combination with the horizontal screen posture of the electronic device. In certain embodiments, when the electronic device and the external device are in an upper and lower position relationship, and when the electronic device controls the external device to enter an extension display mode based on operating data, the screen expansion direction of the electronic device may be determined according to the position of the external device relative to the electronic device, and the extension display mode is an upward extension display mode or a downward extension display mode.

[0090] In operation S620, based on the device operation information of the electronic device and the operation data acting on the electronic device, the electronic device and / or the external device connected to the electronic device are controlled to enter the corresponding target display mode.

[0091] In certain embodiments, the device operation information of the electronic device includes operating application information, operation mode, operation duration, power, power consumption, or the like. The operating application information of the electronic device may include application type, device type, technical support information, or the like, which may be used to determine the category of the target display mode that the electronic device may enter or control the external device to enter. The operation mode of the electronic device may include projection mode, full screen mode, power-on mode, standby mode, sleep mode, power-off mode, or the like, and the operation mode of the electronic device may be changed in combination with the operation data to enter the target display mode. When the electronic device and / or the external device enters the target display mode, the power consumption of the device may increase, accelerating the consumption of the power of the device. When the device is a battery-powered device, the increase in power consumption may shorten its operation duration.

[0092] Based on the operation data of the target interaction operation to determine which target display mode the electronic device and / or external device is controlled to enter, combined with the device operation information, the form and display effect of the target display mode of the target device may be determined. In certain embodiments, when the electronic device is currently in a low-power state, when the electronic device is controlled to enter a split screen display mode according to the operation data, the power consumption of the electronic device may be reduced by reducing the screen brightness, reducing the resolution, or the like, that is, the electronic device is controlled to enter a low-power split screen mode. In certain embodiments, when the current electronic device is in a high-speed operation state, when it is intended to control the external device to enter a monitor mode, the operating burden of the electronic device may be reduced by reducing the frame refresh rate of the external device, so that the external device enters a low-power, low-refresh rate monitor mode.

[0093] In operation S630, based on the operation data acting on the electronic device and the number and / or type of external devices connected to the electronic device, the electronic device and / or external device are controlled to enter the corresponding target display mode.

[0094] In certain embodiments of the present disclosure, when the number of external devices connected to the electronic device is 1, when according to different operation data, the electronic device may control the electronic device and / or the external device to enter one of the following modes: duplication display mode, extension display mode, full screen display mode, split screen display mode, host mode or monitor mode; when the number of external devices connected to the electronic device is greater than 1, when the same operation data acts on controlling multiple external devices, the electronic device and the multiple external devices may simultaneously enter the full screen display mode or extension display mode, thereby reducing the number of operations, reducing the difficulty of operation, and improving the operation efficiency.

[0095] In certain embodiments of the present disclosure, the types of external devices may include displays, computers, mobile phones, tablets, or the like. When the external device is a display without an operating system, the electronic device may control the display to enter the screen copy mode, screen extension mode or monitor mode according to the operation data, but may not control the monitor itself to enter the split screen mode and host mode; when the external device is a computer with an operating system, the electronic device may control the external device to enter different target display modes according to different operation data.

[0096] In certain embodiments, operation S220 determines the target display area based on the target mode, and outputting the target content in the target display area may include operations S221～S224.

[0097] In operation S221, when the electronic device is controlled to enter the full screen display mode, the display layout information of the two display areas of the electronic device is adjusted to output a part of the target content in the two display areas respectively.

[0098] In the situation where the electronic device includes at least two screens, when the electronic device enters the full screen display mode, for example, when performing dual-screen display, a part of the full screen content may be displayed on the display areas of the two screens by adjusting the display layout of each screen. For example, the display area edge of a screen may be dragged to reduce the area used to display the full screen content to half of the original area, and the remaining area is used to display the virtual keyboard or other pages. Through this method, on the basis of extending the display area compared to displaying the full screen content on one screen, more information may be exposed in the remaining area.

[0099] In operation S222, when the electronic device is controlled to enter the duplication display mode or the extension display mode, the first display area of the electronic device is determined as the target display area to output the target content in the first display area, and the first display area is the area pointed to by the first operation data generated by the target interaction operation.

[0100] The first display area of the electronic device may be a partial display area on a display screen, or may be one of the screens of the dual-screen device. When the electronic device enters the duplication display mode or the extension display mode, the first display area is the area pointed to by the first operation data generated by the target interaction operation, for example, the first display area may be an area with a larger touch area or touch pressure in a two-finger touch operation, or may be an area pointed to by touch data with an indication direction in a two-finger touch, such as an area where the index finger slides or points. In certain embodiments, when the dual-screen device enters the extension display mode, according to the position of the index finger touch included in the first operation data, the screen pointed to by the index finger is determined for display expansion, and the extended target content may be a screen image of another screen extended in the direction of the screen pointed to by the index finger. In certain embodiments, when the dual-screen device enters the duplication display mode, based on the area of the finger pressed on the dual screens included in the first operation data, the screen with a larger touch area is determined to be the main screen, and the screen with a smaller touch area is determined to be the secondary screen, thereby determining the secondary screen as the target display area for duplicating the display content of the main screen.

[0101] In operation S223, when the electronic device is controlled to enter the split screen display mode, the first split screen area of the electronic device is determined as the target display area to output the target content in the first split screen area. The first split screen area is the area pointed to by the second operation data generated by the target interaction operation.

[0102] The second operation data may include the touch area, touch pressure, touch duration, touch position, or the like of the finger. The first split screen area may be, for example, an area with a larger touch area or touch pressure in a two-finger touch operation, or an area with a smaller touch area or touch pressure in a two-finger touch operation, or an area represented by touch data indicating a direction in a two-finger touch. For example, when the electronic device enters the split screen display mode, according to the contact pressure between the two fingers and the screen in the second operation data, it is determined that the split screen area on the side with a larger contact pressure is larger, and the split screen is confirmed as the target display area to display the target content.

[0103] In operation S224, when the second display area of the electronic device is controlled to enter the monitor mode, the third display area or the second display area of the electronic device is determined as the target display area to output the target content.

[0104] When the second display area of the electronic device is controlled to enter the monitor mode, when the target content comes from an external device, the second display area of the electronic device may be determined as the target display area, and the display content of the external device may be displayed through the second display area; when the target content comes from the electronic device itself, the third display area of the electronic device may be determined as the target display area, and the target content may be displayed through the third display area, and the display content of the external device may be displayed through the second display area, so that the electronic device may display its own content in the third display area while displaying the display content of the external device through the second display area.

[0105] In certain embodiments, the target content output in the target display area includes at least one of the following.

[0106] First, the target content to be output is determined based on the operation data generated by the target interaction operation.

[0107] In certain embodiments of the present disclosure, different interaction operations may call up different applications, so the target content to be output may be determined based on the different applications (or display modes) called up by the interaction operation. For example, two fingers acting on the screen of an electronic device can control the electronic device to enter a split screen display mode. According to the size of the touch area of the two fingers, the split screen area on the side with a larger touch area on the screen is set larger, and the split screen area on the side with a smaller touch area on the screen is set smaller, that is, the amount of split screen output content is adjusted according to the size of the touch area. For another example, both hands act on two touch display screens to make a cross action, and according to the gesture data of the cross operation, the two screens may be controlled to exchange display content.

[0108] Second, the target content to be output is determined based on the operation data generated by the target interaction operation and the posture of the electronic device.

[0109] In certain embodiments of the present disclosure, the electronic device may determine the target display mode entered by the electronic device based on the operation data of the target interaction operation, and determine the output form of the original output content in combination with the posture of the electronic device, such as the horizontal screen posture, the vertical screen posture, the elevation posture, or the like, that is, determine the target content to be output. In certain embodiments, when the electronic device is in an elevation posture, its screen is not facing the user, and is presented to the user in a trapezoidal form with a narrow upper end and a wide lower end. After determining that the electronic device has entered the target display mode, in order to facilitate the user to read the screen content, the output image form may be adjusted based on the elevation posture of the electronic device, and it may be adjusted to a rectangular form to form the target content and displayed to the user. In certain embodiments, when the electronic device is in a vertical screen posture, when the electronic device is controlled to enter the split screen display mode according to the operation data, the electronic device may be controlled to split the screen up and down according to the characteristics of its vertical screen, thereby determining the display content above and below the screen of the electronic device.

[0110] Third, the target content to be output is determined based on the operation data generated by the target interaction operation and the source information of the target interaction operation.

[0111] In certain embodiments of the present disclosure, the electronic device may determine which user the operation object is based on the source of the target interaction operation, and then determine some habits or preferences of the user, and determine the content to be output in combination with the user's habits or preferences. In certain embodiments, when the user is accustomed to selecting the left split screen to display the desktop and the right split screen to display the application interface in the split screen display mode, when the electronic device is controlled to enter the split screen display mode according to the operation data, it may be determined that the left split screen displays the left content and the right split screen is used to display the current application interface.

[0112] In certain embodiments, the determination of the target content output in the target display area is performed along with the control of the target device to enter the target display mode, that is, after the electronic device obtains the target interaction operation, while controlling the target device to enter the target display mode according to the operation data, the target content to be output is determined according to the operation data, so as to achieve content synchronization while switching the mode.

[0113] In certain embodiments of the present disclosure, the electronic device may be controlled by touch operation or spatial gesture operation to achieve display control effects such as sliding, page turning or brightness control of the screen display content. For example, the electronic device is a mobile phone, and the up / down waving action is performed in front of the camera of the mobile phone or the up / down sliding operation is performed on the mobile phone screen with a finger to achieve the display effect of sliding the mobile phone screen up / down, or the left / right waving action is performed in front of the camera of the mobile phone or the left / right sliding operation is performed on the mobile phone screen with a finger to achieve the left / right page turning effect of the mobile phone, or, in the form of a combined gesture, after the volume or brightness adjustment function is turned on by the first gesture, the volume or brightness is adjusted by the second gesture such as sliding up or down. In certain embodiments, the display screen of the electronic device may be controlled to turn off or on by setting a gesture operation. For example, by tapping the touch area of the laptop with your hand, when the number of taps reaches 3, the display screen of the laptop is turned off; when the laptop is in the off state, the display screen is turned on by touching the touch area with your palm. Through gesture operations, the display control operation of the electronic device may be simplified.

[0114] Based on the display control method, the present disclosure further provides an electronic device for implementing the display control method. The device is described in conjunction with FIG. 7.

[0115] FIG. 7 schematically shows a block diagram of an electronic device suitable for implementing a display control method according to certain embodiments of the present disclosure.

[0116] As shown in FIG. 7, an electronic device 700 includes a first screen, a second screen, and a processor 701. The first screen and the second screen are connected, and may be rotationally connected, and the processor is arranged on the body where the first screen or the second screen is located. The processor 701 may be used to control the electronic device to enter a target mode corresponding to the target interaction operation in response to a target interaction operation acting on the first screen and / or the second screen; and determine a target display area based on the target mode to output target content in the target display area; where the target display area includes at least a portion of the display area in the first screen and / or the second screen.

[0117] Processor 701, which may perform various appropriate actions and processes according to the program stored in read-only memory (ROM) 702 or the program loaded from storage part 708 to random access memory (RAM) 703. Processor 701 may include, for example, a general-purpose microprocessor (such as a CPU) , an instruction set processor and / or a related chipset and / or a special-purpose microprocessor (such as an application-specific integrated circuit (ASIC) ) , or the like. Processor 701 may also include an on-board memory for cache purposes. Processor 701 may include a single processing unit or multiple processing units for performing different actions of the method flow according to certain embodiments of the present disclosure.

[0118] In RAM 703, various programs and data required for the operation of electronic device 700 are stored. Processor 701, ROM 702 and RAM 703 are connected to each other through bus 704. Processor 701 performs various operations of the method flow according to certain embodiments of the present disclosure by executing the program in ROM 702 and / or RAM 703. The program may also be stored in one or more memories other than ROM 702 and RAM 703. The processor 701 may also perform various operations of the method flow according to certain embodiments of the present disclosure by executing programs stored in the one or more memories.

[0119] According to certain embodiments of the present disclosure, the electronic device 700 may include an input / output (I / O) interface 705 for outputting display data to the first screen and the second screen. The input / output (I / O) interface 705 may be connected to the bus 704. The electronic device 700 may include one or more of the following components connected to the input / output (I / O) interface 705: an input portion 706 including a keyboard, a mouse, or the like; an output portion 707 including a cathode ray tube (CRT) , a liquid crystal display (LCD) , or the like and a speaker, or the like; a storage portion 708 including a hard disk, or the like; and a communication portion 709 including a network interface card such as a LAN card, a modem, or the like. The communication portion 709 performs communication processing via a network such as the Internet. The drive 710 may be connected to the input / output (I / O) interface 705. A removable medium 711, such as a disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is installed on the drive 710, so that the computer program read therefrom is installed into the storage portion 708.

[0120] The present disclosure in certain embodiments provides a computer-readable storage medium, which may be included in the device / apparatus / system described herein elsewhere; or may exist independently without being assembled into the device / apparatus / system. The computer-readable storage medium carries one or more programs, and when the above one or more programs are executed, the method according to certain embodiments of the present disclosure is implemented.

[0121] According to certain embodiments of the present disclosure, the computer-readable storage medium may be a non-volatile computer-readable storage medium, for example, it may include but is not limited to: a portable computer disk, a hard disk, a random access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or flash memory) , a portable compact disk read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination thereof. A computer-readable storage medium may be any tangible medium containing or storing a program, which may be used by or in combination with an instruction execution system, an apparatus or a device. For example, the computer-readable storage medium may include the ROM 702 and / or RAM 703 and / or one or more memories other than ROM 702 and RAM 703.

[0122] The present disclosure in certain embodiments provides a computer program product, which includes a computer program, and the computer program includes a program code for executing the method shown in the flowchart. When the computer program product is run in a computer system, the program code is used to enable the computer system to implement the display control method provided by certain embodiments of the present disclosure.

[0123] When the computer program is executed by the processor 701, certain functions defined in the system / device are executed. According to certain embodiments of the present disclosure, the system, device, module, unit, or the like may be implemented by a computer program module.

[0124] In certain embodiments, the computer program may rely on a tangible storage medium such as an optical storage device, a magnetic storage device, or the like. The computer program may also be transmitted and distributed in the form of a signal on a network medium, and downloaded and installed through the communication part 709, and / or installed from a removable medium 711. The program code contained in the computer program may be transmitted using any appropriate network medium, including but not limited to: wireless, wired, or the like, or any suitable combination of thereof.

[0125] In certain embodiments, the computer program may be downloaded and installed from the network through the communication part 709, and / or installed from the removable medium 711. When the computer program is executed by the processor 701, certain functions defined in the system are executed. According to certain embodiments of the present disclosure, the system, device, apparatus, module, unit, or the like may be implemented by a computer program module.

[0126] According to certain embodiments of the present disclosure, the program code for executing the computer program provided may be written in any combination of one or more programming languages. These computing programs may be implemented using high-level procedural and / or object-oriented programming languages, and / or assembly / machine languages. Programming languages include, but are not limited to, Java, C++, python, "C" language or similar programming languages. The program code may be executed entirely on the user computing device, partially on the user device, partially on the remote computing device, or entirely on the remote computing device or server. Where a remote computing device is involved, the remote computing device may be connected to the user computing device through any type of network, including a local area network (LAN) or a wide area network (WAN) , or may be connected to an external computing device (for example, through the Internet using an Internet service provider) .

[0127] The flow charts and block diagrams in the accompanying drawings illustrate the possible architecture, functions and operations of the systems, methods and computer program products according to certain embodiments of the present disclosure. In this regard, each box in the flow chart or block diagram may represent a module, a program segment, or a part of a code, and the module, program segment, or a part of a code contains one or more executable instructions for realizing the specified logical function. In certain embodiments, the functions marked in the box may also occur in a different order from the order marked in the accompanying drawings. For example, two boxes represented in succession may actually be executed substantially in parallel, and may be executed in the opposite order, depending on the functions involved. Each box in the block diagram or flow chart, and the combination of the boxes in the block diagram or flow chart may be implemented with a hardware-based system that performs a function or operation, or may be implemented with a combination of hardware and computer instructions.

[0128] Those skilled in the technical field appreciate that the features described in certain embodiments of the present disclosure may be combined and / or combined in various ways, even if such combinations or combinations are not explicitly described in the present disclosure. In particular, without departing from the spirit and teachings of the present disclosure, the features described in certain embodiments of the present disclosure may be combined and / or combined in various ways. These combinations and / or combinations fall within the scope of the present disclosure.

[0129] Certain embodiments of the present disclosure are described above. However, these embodiments are for illustrative purposes only and are not intended to necessarily limit the scope of the present disclosure. Although the embodiments may be described separately, features in these embodiments may be employed in combination to advantage. Without departing from the scope of the present disclosure, those skilled in the technical field may make various substitutions and modifications, which should fall within the scope of the present disclosure.

Claims

1.A display control method, comprising:in response to obtaining a target interaction operation, controlling a target device to enter a target display mode corresponding to the target interaction operation; anddetermining a target display area based on the target display mode to output target content in the target display area,wherein the target interaction operation includes an operation acting on a target interaction area of an electronic device and / or an operation triggering a state change of a communication port of the electronic device, and the target device includes or does not include the electronic device.2.The method of claim 1, wherein controlling the target device to enter the target display mode includes one or more of:obtaining operation data generated by the target interaction operation, and controlling the target device to enter the target display mode;obtaining type information of the target interaction operation, and controlling the target device to enter the target display mode;obtaining source information of the target interaction operation, and controlling the target device to enter the target display mode; anddetermining an object being operated on by the target interaction operation, and controlling the target device to enter the target display mode,wherein the target device includes the electronic device itself and / or an external device connected to the electronic device, andwherein the target content is generated from the electronic device or from the external device connected to the electronic device.3.The method of claim 2, wherein controlling the target device to enter the target display mode includes one or more of:based on touch operation data generated by a touch operation acting on a touch area of the target device, controlling the electronic device itself and / or the external device connected to the electronic device to enter the target display mode;based on gesture operation data acting on a spatial sensing area of the electronic device, controlling the electronic device itself and / or the external device connected to the electronic device to enter the target display mode; andbased on connection operation data for changing the connection state of the communication port of the electronic device, controlling the electronic device itself and / or the external device connected to the electronic device to enter the target display mode.4.The method of claim 2, wherein controlling the target device to enter the target display mode includes one or more of:based on first touch operation data acting on a touch area of the electronic device, controlling the electronic device itself to enter any of a split screen display mode, and extension display mode, a duplication display mode, or a monitor mode, corresponding to the first touch operation data;based on second touch operation data acting on at least two touch areas of the electronic device, controlling the electronic device itself to enter any of the extension display mode, the duplication display mode, a full screen display mode, or the electronic device monitor mode, and / or controlling the external device connected to the electronic device to enter a host mode or an external device monitor mode; andbased on third touch operation data acting on a first application window of the electronic device, controlling the electronic device itself to enter any of the duplication display mode, the extension display mode, the full screen display mode, the split screen display mode, the electronic device monitor mode, and / or controlling the external device connected to the electronic device to enter the host mode or the external device monitor mode.5.The method of claim 4, wherein controlling the target device to enter the target display mode includes one or more of:based on at least one of touch position, touch area, touch pressure, and touch track of a target touch area of the electronic device, controlling the electronic device itself to enter any one of the duplication display mode, the extension display mode, the full screen display mode, the split screen display mode, and the electronic device monitor mode, and / or controlling the external device connected to the electronic device to enter the host mode or the external device monitor mode;based on at least one of operation track, touch area, touch pressure, or operation position of a second application window of the electronic device, controlling the electronic device itself to enter any one of the duplication display mode, the extension display mode, the full screen display mode, the split screen display mode, and the electronic device monitor mode, and / or controlling the external device connected to the electronic device to enter the host mode or the external device monitor mode; andbased on operation data and attribute information of an object being operated on, controlling the electronic device itself to enter any one of the duplication display mode, the extension display mode, the full screen display mode, the split screen display mode, and the electronic device monitor mode, and / or controlling the external device connected to the electronic device to enter the host mode or the external device monitor mode.6.The method of claim 2, wherein controlling the target device to enter the target display mode includes one or more of:based on gesture operation data acting on a spatial sensing area of the electronic device, controlling the electronic device itself to enter any one of the duplication display mode, the extension display mode, the full screen display mode, the split screen display mode, and the electronic device monitor mode, and / or controlling the external device connected to the electronic device to enter the host mode or the external device monitor mode; andbased on connection status change data between the electronic device and the external device, controlling the electronic device itself to enter any one of the duplication display mode, the extension display mode, the full screen display mode, the split screen display mode, and the electronic device monitor mode, and / or controlling the external device connected to the electronic device to enter the host mode or the external device monitor mode.7.The method of claim 1, wherein controlling the target device to enter the target display mode includes one or more of:based on target posture data and operation data generated by the target interaction operation acting on the electronic device, controlling the electronic device and / or the external device connected to the electronic device to enter the target display mode, wherein the target posture data includes posture morphological data of the electronic device and / or the external device;based on device operation information of the electronic device and the operation data acting on the electronic device, controlling the electronic device and / or the external device connected to the electronic device to enter the target display mode; andbased on the operation data acting on the electronic device and number and / or type of external devices connected to the electronic device, controlling the electronic device and / or the external device to enter the target display mode.8.The method of claim 1, wherein determining the target display area based on the target display mode includes one or more of:when the electronic device is controlled to enter the full screen display mode, adjusting display layout information of two display areas of the electronic device to output a part of the target content in the two display areas respectively;when the electronic device is controlled to enter the duplication display mode or the extension display mode, determining a first display area of the electronic device as the target display area to output the target content in the first display area, the first display area is an area pointed to by first operation data generated by the target interaction operation;when the electronic device is controlled to enter the split screen display mode, determining first split screen area of the electronic device as the target display area to output the target content in the first split screen area, the first split screen area is an area pointed to by second operation data generated by the target interaction operation; andwhen a second display area of the electronic device is controlled to enter the target display mode, determining a third display area or the second display area of the electronic device as the target display area to output the target content.9.The method according to claim 1, further comprising one or more of:determining the target content to be output based on operation data generated by the target interaction operation;determining the target content to be output based on the operation data generated by the target interaction operation and posture information of the electronic device; anddetermining the target content to be output based on the operation data generated by the target interaction operation and source information of the target interaction operation.10.An electronic device, comprising: a memory storing computer program instructions; and a processor coupled to the memory and configured to execute the computer program instructions and perform:in response to obtaining a target interaction operation, controlling a target device to enter a target display mode corresponding to the target interaction operation; anddetermining a target display area based on the target display mode to output target content in the target display area,wherein the target interaction operation includes an operation acting on a target interaction area of the electronic device and / or an operation triggering a state change of a communication port of the electronic device, and the target device includes or does not include the electronic device.11.The electronic device of claim 10,wherein controlling the target device to enter the target display mode includes one or more of:obtaining operation data generated by the target interaction operation, and controlling the target device to enter the target display mode;obtaining type information of the target interaction operation, and controlling the target device to enter the target display mode;obtaining source information of the target interaction operation, and controlling the target device to enter the target display mode; anddetermining an object being operated on of the target interaction operation, and controlling the target device to enter the target display mode,wherein the target device includes the electronic device itself and / or an external device connected to the electronic device, andwherein the target content is generated from the electronic device or from the external device connected to the electronic device.12.The electronic device of claim 11, wherein controlling the target device to enter the target display mode includes one or more of:based on touch operation data generated by a touch operation acting on a touch area of the target device, controlling the electronic device itself and / or the external device connected to the electronic device to enter the target display mode;based on gesture operation data acting on a spatial sensing area of the electronic device, controlling the electronic device itself and / or the external device connected to the electronic device to enter the target display mode; andbased on connection operation data for changing the connection state of the communication port of the electronic device, controlling the electronic device itself and / or the external device connected to the electronic device to enter the target display mode.13.The electronic device of claim 11, wherein controlling the target device to enter the target display mode includes one or more of:based on first touch operation data acting on a touch area of the electronic device, controlling the electronic device itself to enter any of a split screen display mode, and extension display mode, a duplication display mode, or a monitor mode, corresponding to the first touch operation data;based on second touch operation data acting on at least two touch areas of the electronic device, controlling the electronic device itself to enter any of the extension display mode, the duplication display mode, a full screen display mode, or the electronic device monitor mode, and / or controlling the external device connected to the electronic device to enter a host mode or an external device monitor mode; andbased on third touch operation data acting on a first application window of the electronic device, controlling the electronic device itself to enter any of the duplication display mode, the extension display mode, the full screen display mode, the split screen display mode, the electronic device monitor mode, and / or controlling the external device connected to the electronic device to enter the host mode or the external device monitor mode.14.The electronic device of claim 13, wherein controlling the target device to enter the target display mode includes one or more of:based on at least one of touch position, touch area, touch pressure, and touch track of a target touch area of the electronic device, controlling the electronic device itself to enter any one of the duplication display mode, the extension display mode, the full screen display mode, the split screen display mode, and the electronic device monitor mode, and / or controlling the external device connected to the electronic device to enter the host mode or the external device monitor mode;based on at least one of operation track, touch area, touch pressure, or operation position of a second application window of the electronic device, controlling the electronic device itself to enter any one of the duplication display mode, the extension display mode, the full screen display mode, the split screen display mode, and the electronic device monitor mode, and / or controlling the external device connected to the electronic device to enter the host mode or the external device monitor mode; andbased on operation data and attribute information of an object being operated on, controlling the electronic device itself to enter any one of the duplication display mode, the extension display mode, the full screen display mode, the split screen display mode, and the electronic device monitor mode, and / or controlling the external device connected to the electronic device to enter the host mode or the external device monitor mode.15.The electronic device of claim 11, wherein controlling the target device to enter the target display mode includes one or more of:based on gesture operation data acting on a spatial sensing area of the electronic device, controlling the electronic device itself to enter any one of the duplication display mode, the extension display mode, the full screen display mode, the split screen display mode, and the electronic device monitor mode, and / or controlling the external device connected to the electronic device to enter the host mode or the external device monitor mode; andbased on connection status change data between the electronic device and the external device, controlling the electronic device itself to enter any one of the duplication display mode, the extension display mode, the full screen display mode, the split screen display mode, and the electronic device monitor mode, and / or controlling the external device connected to the electronic device to enter the host mode or the external device monitor mode.16.The electronic device of claim 10, wherein controlling the target device to enter the target display mode includes one or more of:based on target posture data and operation data generated by the target interaction operation acting on the electronic device, controlling the electronic device and / or the external device connected to the electronic device to enter the target display mode, wherein the target posture data includes posture morphological data of the electronic device and / or the external device;based on device operation information of the electronic device and the operation data acting on the electronic device, controlling the electronic device and / or the external device connected to the electronic device to enter the target display mode; andbased on the operation data acting on the electronic device and number and / or type of external devices connected to the electronic device, controlling the electronic device and / or the external device to enter the target display mode.17.The electronic device of claim 10, wherein determining the target display area based on the target display mode includes one or more of:when the electronic device is controlled to enter the full screen display mode, adjusting display layout information of two display areas of the electronic device to output a part of the target content in the two display areas respectively;when the electronic device is controlled to enter the duplication display mode or the extension display mode, determining a first display area of the electronic device as the target display area to output the target content in the first display area, the first display area is an area pointed to by first operation data generated by the target interaction operation;when the electronic device is controlled to enter the split screen display mode, determining first split screen area of the electronic device as the target display area to output the target content in the first split screen area, the first split screen area is an area pointed to by second operation data generated by the target interaction operation; andwhen a second display area of the electronic device is controlled to enter the target display mode, determining a third display area or the second display area of the electronic device as the target display area to output the target content.18.The electronic device of claim 10, wherein the processor is further configured to perform one or more of:determining the target content to be output based on operation data generated by the target interaction operation;determining the target content to be output based on the operation data generated by the target interaction operation and posture information of the electronic device; anddetermining the target content to be output based on the operation data generated by the target interaction operation and source information of the target interaction operation.19.A non-transitory computer-readable storage medium storing computer program instructions executable by at least one processor to perform:in response to obtaining a target interaction operation, controlling a target device to enter a target display mode corresponding to the target interaction operation; anddetermining a target display area based on the target display mode to output target content in the target display area,wherein the target interaction operation includes an operation acting on a target interaction area of an electronic device and / or an operation triggering a state change of a communication port of the electronic device, and the target device includes or does not include the electronic device.20.The non-transitory computer-readable storage medium of claim 19, wherein controlling the target device to enter the target display mode includes one or more of:obtaining operation data generated by the target interaction operation, and controlling the target device to enter the target display mode;obtaining type information of the target interaction operation, and controlling the target device to enter the target display mode;obtaining source information of the target interaction operation, and controlling the target device to enter the target display mode; anddetermining an object being operated on of the target interaction operation, and controlling the target device to enter the target display mode,wherein the target device includes the electronic device itself and / or an external device connected to the electronic device, andwherein the target content is generated from the electronic device or from the external device connected to the electronic device.

Images