Intelligent application launch boost

Abstract

This disclosure provides systems, methods, and devices for improved processing system control that provides better responsiveness to user applications and interactions. In a first aspect, a method of operating a processing system includes determining that a first application window for an application is present on a user interface; adjusting an operating parameter for the at least one processor based on determining that the first application window is present on the user interface; determining that a second application window for the application is present on the user interface; and adjusting the operating parameter for the at least one processor based on determining that a second application window for the application is present on the user interface. Other aspects and features are also claimed and described.

Description

INTELLIGENT APPLICATION LAUNCH BOOSTTECHNICAL FIELD

[0001] Aspects of the present disclosure relate generally to integrated circuits, and more particularly, to integrated circuits for improving system on chips (SoCs) . Some features may enable and provide improved an application launch boost. INTRODUCTION

[0002] User devices such as smartphones and laptops, have become ubiquitous worldwide as users engage their user devices to run applications for various needs and entertainment. These applications typically rely on various processing units on systems on chips (SoCs) of the user devices. The processing units and other hardware of the SoC of the user device may affect the user experience with respect to these applications.

[0003] In particular, an application launch latency, or the time delay from when an application is selected to be launched (e.g., by clicking or tapping on its icon) to when the application actually launches, is particularly affected by the SoC. Reducing an application launch for enhances user experience. An application launch latency of over 2000 milliseconds can cause users to lose focus from an application they may have originally selected and may cause the users to navigate away from engaging the application. BRIEF SUMMARY OF SOME EXAMPLES

[0004] The following summarizes some aspects of the present disclosure to provide a basic understanding of the discussed technology. This summary is not an extensive overview of all contemplated features of the disclosure and is intended neither to identify key or critical elements of all aspects of the disclosure nor to delineate the scope of any or all aspects of the disclosure. Its sole purpose is to present some concepts of one or more aspects of the disclosure in summary form as a prelude to the more detailed description that is presented later.

[0005] In some aspects, various systems, methods, and devices are disclosed for boosting an application launch intelligently. In various embodiments, an application launch may be boosted intelligently by determining that application windows pertinent to an application launch are presented on a user interface, for example by detecting windows outputted on the user interface and determining that such windows are windows associated with the application launch (application windows) prior to presentation of a main application user interface (UI) for receiving user input and interacting with the user. The application windows may include a first application window, such as an application launch notification indicating a start of an application launch, and a second application window, such as a main user interface for the application indicating an end of an application launch period. The boosting may be achieved by modifying (e.g., increasing) one or more parameters of operation (e.g., frequency, voltage) of a processor associated with the application launch after determining that the first application window is present on the user interface, and reduced after determining the second application window after determining that the second application is present on the user interface.

[0006] In various embodiments, windows outputted on the user interface may be determined to be application windows for the purpose of adjusting the frequency of the processor by applying reinforcement learning to a list of window identifications that are periodically updated using a least frequently used (LFU) protocol, as will be described herein. For example, after a processor detects a window that is output on the user interface, the detected window is compared to a list of window IDs associated with the application. Each window ID on the list may be associated with a respective time duration. Furthermore, the list is automatically and / or periodically ranked (e.g., at each clock cycle) based on time duration, such that the window ID at the top of the list (list head) is associated with the highest time duration and the window ID at the bottom of the list (list tail) is associated with the least time duration. If the detected window is identified among the list of window IDs, the processor may increase a time counter associated with a window ID corresponding to the detected window, thereby increasing the time duration associated with that window ID. The processor may determine, at least tentatively, that a window ID associated with the highest time duration is the application window. If and when the window ID corresponding to the detected window in the list is associated with or achieves the highest time duration, the detected window is determined to the application window.

[0007] As there may be a lag in time before the window ID associated with the detected window achieves the highest time duration among the list of window IDs, reinforcement learning may be applied to the list of window IDs to allow the window ID corresponding to the detected window to get to the top of the list quicker, to allow the processor to determine that the detected window is the application window sooner. For example, as will be described herein, parameters from the list of window IDs at a given cycle may be inputted into the reinforcement learning model to output a Q value that may be added to the time duration associated with the window ID corresponding to the detected window. The Q value may thus increase the time duration associated with the window ID corresponding to the detected window, allowing the window ID to rise up in rank in the list of window IDs sooner.

[0008] In one aspect of the disclosure, a method for boosting application launches intelligently includes: determining, by at least one processor, that a first application window for an application is present on a user interface, wherein the first application window is associated with an application launch for the application; adjusting an operating parameter for the at least one processor based on determining that the first application window is present on the user interface; determining, by the at least one processor, that a second application window for the application is present on the user interface; and adjusting the operating parameter for the at least one processor based on determining that a second application window for the application is present on the user interface.

[0009] In some embodiments, the second application window for the application corresponds to a main user interface of the application for receiving user input for the application. Furthermore, adjusting the operating parameter for the at least one processor based on determining that the first application window is present on the user interface includes increasing, based on determining that the first application window is present on the user interface, a frequency of the at least one processor. Even further, adjusting the operating parameter for the at least one processor based on determining that a second application window for the application is present on the user interface includes reducing, based on determining that the second application window is present on the user interface, the frequency of the at least one processor.

[0010] In some embodiments, determining that the first application window of the application is present on the user interface includes: determining, by the at least one processor, that a first window is present on the user interface; and determining, by the at least one processor, based on a least frequently used (LFU) protocol and a reinforcement learning model, that the first window present on the user interface is the first application window for the application. Furthermore, determining that the second application window of the application is present on the user interface includes: determining, by the at least one processor, that a second window is present on the user interface after the first window was present on the user interface; and determining, by the at least one processor, based on the LFU protocol and the reinforcement learning model, that the second window present on the user interface is the second application window.

[0011] In some embodiments, determining that the first window is the first application window includes: comparing, by the at least one processor, the first window to a list of window IDs stored in a cache associated with the application, wherein each window ID is associated with a respective time duration; increasing, by the at least one processor, after identifying the first window among the list of window IDs, a time counter associated with a window ID corresponding to the first window; and determining, by the at least one processor, based on a window ID associated with the highest time duration among the list of window IDs after the first window is present on the user interface, that the first window is the first application window. Furthermore, determining that the second window is the second application window includes: comparing, by the at least one processor, the second window to the list of window IDs stored in the cache associated with the application, wherein each window ID is associated with a respective time duration; increasing, by the at least one processor, after identifying the second window among the list of window IDs, a time counter associated with a window ID corresponding to the second window; and determining, by the at least one processor, based on a window ID associated with the highest time duration among the list of window IDs after the second window is present on the user interface, that the second window is the second application window.

[0012] In some embodiments, determining that the first window is the first application window includes: inputting, by the at least one processor, a first set of parameters of the list of window IDs into the reinforcement learning model to determine whether the first window is the first application window, wherein the set of parameters includes a time duration associated with the window ID corresponding to the first window. Furthermore, determining that the second window is the second application window comprises: inputting, by the at least one processor, a second set of parameters of the list of window IDs into the reinforcement learning model to determine whether the second window is the first application window, wherein the second set of parameters includes a time duration associated with the window ID corresponding to the second window.

[0013] In an additional aspect of the disclosure, an apparatus includes at least one processor and a memory coupled to the at least one processor. The at least one processor is configured to perform operations including: determining that a first application window for an application is present on a user interface, wherein the first application window is associated with an application launch for the application; adjusting an operating parameter for the at least one processor based on determining that the first application window is present on the user interface; determining that a second application window for the application is present on the user interface; and adjusting the operating parameter for the at least one processor based on determining that a second application window for the application is present on the user interface.

[0014] In an additional aspect of the disclosure, an apparatus is disclosed for boosting application launches intelligently. The apparatus includes: a user interface; a memory configured to store a list of window IDs for an application; and at least one processor configured to operate in more than one frequency. The at least one processor is configured to perform operations including: determining that a first window is present on the user interface; determining, based on a least frequently used (LFU) protocol and a reinforcement learning model, that the first window present on the user interface is a first application window for the application; adjusting, based on the determining that the first application window is present on the user interface, an operating parameter of the at least one processor; determining that a second window is present on the user interface after the first window was present on the user interface; determining, based on the LFU protocol and the reinforcement learning model, that the second window present on the user interface is a second application window for the application, wherein the second application window corresponds to a main user interface of the application for receiving user input for the application; and adjusting, based on determining that the second application window is present on the user interface, the operating parameter of the at least one processor.

[0015] In some embodiments, the at least one processor is configured to determine that the first window is the first application window by comparing the first window to the list of window IDs, where each window ID is associated with a respective time duration; increasing, after identifying the first window among the list of window IDs, a time counter associated with a window ID corresponding to the first window; and determining, based on a window ID associated with the highest time duration in the list of window IDs after the first window is present on the user interface, that the first window is the first application window. Furthermore, the at least one processor is configured to determine that the second window as the second application window by: comparing the second window to the list of window IDs, where each window ID is associated with a respective time duration; increasing, after identifying the second window among the list of window IDs, a time counter associated with a window ID corresponding to the second window; and determining, based on a window ID associated with the highest time duration in the list of window IDs after the second window is present on the user interface, that the second window is the second application window.

[0016] In an additional aspect of the disclosure, a non-transitory computer-readable medium stores instructions that, when executed by at least one processor, cause the processor to perform operations. The operations include determining, by at least one processor, that a first application window for an application is present on a user interface, wherein the first application window is associated with an application launch for the application; adjusting an operating parameter for the at least one processor based on determining that the first application window is present on the user interface; determining, by the at least one processor, that a second application window for the application is present on the user interface; and adjusting the operating parameter for the at least one processor based on determining that a second application window for the application is present on the user interface.

[0017] The integrated circuits and System on Chips (SoCs) described herein may be used for processing of various kinds of data, including audio signal processing, video processing, artificial intelligence (AI) processing, mathematical computations, database processing, image processing, and other kinds of data processing. These integrated circuits and / or SoCs can be incorporated into a wide variety of devices. By way of example, they may be incorporated into stand-alone audio devices, such as entertainment devices and personal media players, wireless communication device handsets such as mobile telephones, cellular or satellite radio telephones, personal digital assistants (PDAs) , tablets, gaming devices, computing devices such as webcams, video surveillance cameras, or other devices that process data using processing circuitry (e.g., application specific integrated circuits (ASICs) , digital signal processors (DSP) , graphics processing unit (GPU) , or central processing units (CPU) ) .

[0018] In some aspects, a device may include a digital signal processor or a processor (e.g., an application processor) including specific functionality for data processing. Operations on different kinds of data may be performed by different processors, or various operations may be split between the various data processing circuitry (e.g., ASICs, DSP, GPU, CPU, NPU) . In some embodiments, the methods and techniques disclosed herein may be adapted for use in a neural signal processor (NSP) in which one or more parameters of data processing are controlled based on output from a machine learning (ML) model executed by the NSP.

[0019] Other aspects, features, and implementations will become apparent to those of ordinary skill in the art, upon reviewing the following description of specific, exemplary aspects in conjunction with the accompanying figures. While features may be discussed relative to certain aspects and figures below, various aspects may include one or more of the advantageous features discussed herein. In other words, while one or more aspects may be discussed as having certain advantageous features, one or more of such features may also be used in accordance with the various aspects. In similar fashion, while exemplary aspects may be discussed below as device, system, or method aspects, the exemplary aspects may be implemented in various devices, systems, and methods.

[0020] The method may be embedded in a computer-readable medium as computer program code comprising instructions that cause a processor to perform the steps of the method. In some embodiments, the processor may be part of a mobile device including a first network adaptor configured to transmit data, such as images or videos (with associated or embedded sounds) in a recording or as streaming data, over a first network connection of a plurality of network connections; and a processor coupled to the first network adaptor and the memory. The processor may cause the transmission of output image frames described herein over a wireless communications network such as a 5G NR communication network.

[0021] The foregoing has outlined, rather broadly, the features and technical advantages of examples according to the disclosure in order that the detailed description that follows may be better understood. Additional features and advantages will be described hereinafter. The conception and specific examples disclosed may be readily utilized as a basis for modifying or designing other structures for carrying out the same purposes of the present disclosure. Such equivalent constructions do not depart from the scope of the appended claims. Characteristics of the concepts disclosed herein, both their organization and method of operation, together with associated advantages will be better understood from the following description when considered in connection with the accompanying figures. Each of the figures is provided for the purposes of illustration and description, and not as a definition of the limits of the claims.

[0022] While aspects and implementations are described in this application by illustration to some examples, those skilled in the art will understand that additional implementations and use cases may come about in many different arrangements and scenarios. Innovations described herein may be implemented across many differing platform types, devices, systems, shapes, sizes, and packaging arrangements. For example, aspects and / or uses may come about via integrated chip implementations and other non-module-component based devices (e.g., end-user devices, vehicles, communication devices, computing devices, industrial equipment, retail / purchasing devices, medical devices, artificial intelligence (AI) -enabled devices, etc. ) . While some examples may or may not be specifically directed to use cases or applications, a wide assortment of applicability of described innovations may occur. Implementations may range in spectrum from chip-level or modular components to non-modular, non-chip-level implementations and further to aggregate, distributed, or original equipment manufacturer (OEM) devices or systems incorporating one or more aspects of the described innovations. In some practical settings, devices incorporating described aspects and features may also necessarily include additional components and features for implementation and practice of claimed and described aspects. It is intended that innovations described herein may be practiced in a wide variety of devices, chip-level components, systems, distributed arrangements, end-user devices, etc. of varying sizes, shapes, and constitution.BRIEF DESCRIPTION OF THE DRAWINGS

[0023] Figure 1 shows a block diagram of a system-on-chip (SoC) configured for performing signal processing according to one or more aspects of this disclosure.

[0024] Figure 2 is a block diagram illustrating an example implementation of aspects of this disclosure in a user device according to one or more aspects of the disclosure.

[0025] Figure 3 shows a flow chart of an example method for intelligently boosting application launches according to one or more aspects of this disclosure.

[0026] Figure 4 shows a flow chart of an example method for intelligently boosting application launches using a least frequently used (LFU) -based reinforcement learning, according to one or more aspects of this disclosure.

[0027] Figure 5 shows a table of detected windows and associated parameters on which LFU-based reinforcement learning is applied to intelligently boost application launches, according to one or more aspects of this disclosure.

[0028] Like reference numbers and designations in the various drawings indicate like elements.DETAILED DESCRIPTION

[0029] The present disclosure provides systems, apparatus, methods, and computer-readable media that support improved integrated circuit operation, including techniques for boosting application launches by increasing the frequency of a processor by intelligently determining windows presented on a user interface that pertain to an application launch (application windows) .

[0030] As previously discussed, application launch latency, or the time delay from when an application is selected to be launched (e.g., by clicking or tapping on its icon) to when the application actually launches, is a particular source of concern for users of applications. An application launch latency of over 2000 milliseconds can cause users to lose focus from an application they may have originally selected and may cause the users to navigate away from engaging the application. Reducing an application launch times is therefore crucial for enhancing user experience. Conventional techniques for speeding up application launch processes fail to sufficiently deliver the desired level of efficiency. For example, conventional methods mainly change the CPU frequency by evaluating a workload burdened by the CPU at a processor level. However, at the beginning of any application launch, a CPU load is usually not high enough. Thus, the CPU / DDR frequency typically increases slowly and therefore does not respond quickly enough to provide the needed boost to reduce application launch time sufficiently. Shortcomings mentioned here are only representative and are included to highlight problems that the inventors have identified with respect to existing devices and sought to improve upon. Aspects of devices described below may address some or all of the shortcomings as well as others known in the art. Aspects of the improved devices described herein may present other benefits than, and be used in other applications than, those described above.

[0031] The present disclosure describes systems, methods, apparatuses and devices for intelligently boosting application launches that addresses one or more of the aforementioned shortcomings. In various embodiments, such systems, methods, apparatuses, and devices involve monitoring windows being presented on a user interface (e.g., display) as such outputted windows may indicate the beginning of an application launch (e.g., an application launch notification or icon) or an end of the application launch (e.g., an application main user interface) . The systems, methods, apparatuses, and devices may increase the frequency of a processor (e.g., of a CPU and / or other SoC processing unit) based on a window being presented on the user interface signifying the initiation of an application launch. The systems, methods, apparatuses, and devices may then decrease the frequency of the processor (e.g., of a CPU and / or other SoC processing unit) based on a window being presented on the user interface signifying the end of an application launch.

[0032] A window presented on the user interface may be determined to be an application window relevant to an application launch based on various techniques described herein. In some embodiments, a processor may rely on reinforcement learning applied to a list of window IDs managed using a least frequently used (LFU) protocol to determine that a window being presented on a user interface is an application window that is relevant to an application launch (e.g., to increase or decrease the frequency of the processor) . For example, in some embodiments, the processor may compare a given window that is being presented on a user interface to a list of window IDs (e.g., stored in cache) associated with an application. Each window ID may be associated with a respective time duration (e.g., a number of time counts at which the window ID was known to appear on the user interface) . If the given window matches (or otherwise satisfies a similarity threshold) with one of the window IDs in the list, the time count associated with the window ID of given window may be increased (e.g., by 1) to indicate the appearance (or continued appearance) of the given window on the user interface. If the given window does not appear in the list of window IDs, the processor may replace an existing window ID in the list that has the least time duration (e.g., is the least frequently used) with a new window ID representing the given window) . The processor may tentatively determine that an application window relevant for an application launch is the window ID having the highest time duration (e.g., appears most frequently) . That selected window ID having the highest time duration, however, may not necessarily be the window presently being shown on the user interface. It may be some time (e.g., clock cycles) before the time duration associated with the window ID of the given window increases sufficiently enough for the window ID to rise to the top of the list for the processor to determine the given window as the application window. A reinforcement learning that will be described herein may aid in allowing the processor to determine that the given window is the application window sooner. The aforementioned process may be repeated iteratively, as the time counts may be updated iteratively.

[0033] The tentative finding of the window ID having the highest time duration may be further confirmed and / or adjusted using a reinforcement learning model. In some embodiments, a set of parameters extracted from the list of window IDs may be inputted into a reinforcement learning model to determine whether a time duration associated with the window ID of the detected window would need to be adjusted. The set of parameters may include, for a given time, the time duration associated with the window ID representing the detected window in addition to a sum of the time durations associated with each window ID of the list of window IDs for the given time. Inputting the set of parameters into the reinforcement learning model may yield a Q value that may be added to the time duration associated with the window ID representing the detected window. The adjusted time duration may change the rank of the window ID of the detected window in the list of window IDs, for example, by moving the window ID of the detected window to the top of the list (list head) .

[0034] In some embodiments, the Q value, Q (St, At) , may be expressed as:  where St is the window ID having the highest time duration (also referred to herein as “list head” ) , At is detected window presently appearing on the user interface, r is the learning rate (typically set as 1 by default) , li is the depth in the list of window IDs from the list head to the list tail (e.g., starting with a depth of 0 for the list head) , Ci is the time duration (e.g., time count) of the detected window, and ∑C is the sum of the time durations of the window IDs in the list at a given time. The reinforcement learning may therefore determine whether the window ID having the highest time duration (the list head) is accurate or if it needs to be updated based on the adjusted time duration of the window ID representing the detected window. The reinforced learning may thus be used to determine the correct application windows relevant to an application launch for a given application sooner in order to further fine tune and efficiently boost application launch times.

[0035] Particular implementations of the subject matter described in this disclosure may be implemented to realize one or more of the following potential advantages or benefits. In some aspects, the present disclosure provides techniques for improved application launch times, reduced application launch latencies, enhanced user experiences, and more efficient utilization of processor resources.

[0036] The detailed description set forth below, in connection with the appended drawings to which the text references, is intended as a description of various embodiments and is not intended to limit the scope of the disclosure. Rather, the detailed description includes specific details for the purpose of providing a thorough understanding of the subject matter of this disclosure. It will be apparent to those skilled in the art that these specific details are not required in every case and that, in some instances, well-known structures and components are shown in block diagram form for clarity of presentation.

[0037] In the description of embodiments herein, numerous specific details are set forth, such as examples of specific components, circuits, and processes to provide a thorough understanding of the present disclosure. The term “coupled” as used herein means connected directly to or connected through one or more intervening components or circuits. Also, in the following description and for purposes of explanation, specific nomenclature is set forth to provide a thorough understanding of the present disclosure. However, it will be apparent to one skilled in the art that these specific details may not be required to practice the teachings disclosed herein. In other instances, well known circuits and devices are shown in block diagram form to avoid obscuring teachings of the present disclosure.

[0038] Some portions of the detailed descriptions which follow are presented in terms of procedures, logic blocks, processing, and other symbolic representations of operations on data bits within a computer memory. In the present disclosure, a procedure, logic block, process, or the like, is conceived to be a self-consistent sequence of steps or instructions leading to a desired result. The steps are those requiring physical manipulations of physical quantities. Usually, although not necessarily, these quantities take the form of electrical or magnetic signals capable of being stored, transferred, combined, compared, and otherwise manipulated in a computer system.

[0039] Figure 1 shows a block diagram of a system-on-chip (SoC) configured for performing signal processing according to one or more aspects of this disclosure. The SoC 100 may include several components coupled together through a bus 102, which may be a network-on-a-chip (NoC) or a plurality of NoCs interconnecting various components. For example, although Figure 1 illustrates several components coupled to the bus 102, the several components may be coupled to different busses with additional busses connecting the different busses to provide a path for communication between the components.

[0040] The SoC 100 includes a central processing unit (CPU) 104 and a memory 106 storing instructions 108 (e.g., a memory storing processor-readable code or a non-transitory computer-readable medium storing instructions) that may be executed by a processor of the SoC 100. The CPU 104 may be a single central processing unit (CPU) or a CPU cluster comprising two or more cores such as core (s) 104A. The CPU 104 may include hardware capable of performing generic operations on many kinds of data, such as hardware capable of executing instructions from the Advanced RISC Machines instruction set, such as ARMv8 and ARMv9. For example, a CPU 104 may include transistors coupled together to perform operations for supporting executing an operating system and user applications (e.g., a camera application, a multimedia application, a gaming application, a productivity application, a messaging application, a videocall application, an audio recording application, a video recording application) . The CPU 104 may execute instructions 108 retrieved from the memory 106. In some embodiments, the CPU 104 executing an operating system may coordinate execution of instructions by various components within the SoC 100. For example, the CPU 104 may retrieve instructions 108 from memory 106 and execute the instructions on the DSP 112. Such instructions 108 may include operations for launching and running one or more applications 110. The CPU 104 may further include a frequency adjuster 105, which may be a hardware component or a software functionality for increasing a frequency of one or more cores 104A associated with the CPU 104 to a desired level or range for a desired, selected, and / or predetermined duration of time (such increase referred to herein as a frequency boost) . In some embodiments, the frequency adjuster 105 may end the frequency boost after the application launch by reducing the frequency of the one or more cores 104A associated with the CPU 104 to a lower level or range of frequency (e.g., a normal frequency range) . As will be described herein, systems and methods are disclosed for boosting an application launch time, which may rely on the frequency adjuster 105 of the CPU 104.

[0041] The SoC 100 may also include additional processing units for processing various aspects of applications, such as but not limited to a digital signal processor 112 for signal processing and a neural signal processor (NSP) 124 for executing machine learning (ML) models relating to multimedia applications. In some embodiments, such processing units may also include capabilities for boosting frequencies of their associated processors during an application launch, in accordance with techniques described herein.

[0042] The DSP 112 may include hardware customized for performing a limited set of operations on specific kinds of data. For example, a DSP may include transistors coupled together to perform operations on streaming data and use memory architectures and / or access techniques to fetch multiple data or instructions concurrently. Such configurations may allow the DSP 112 to operate on real-time data, such as video data, audio data, or modem data, in a power-efficient manner.

[0043] As previously discussed, the SoC 100 may further include a neural signal processor (NSP) 124 for executing machine learning (ML) models relating to multimedia applications. The NSP 124 may include hardware configured to perform and accelerate convolution operations involved in executing machine learning algorithms. For example, the NSP 124 may improve performance when executing predictive models such as artificial neural networks (ANNs) (including multilayer feedforward neural networks (MLFFNN) , the recurrent neural networks (RNN) , and / or the radial basis functions (RBF) ) . The ANN executed by the NSP 124 may access predefined training weights stored in the memory 106 for performing operations on user data. In some embodiments, the NSP 124 may be used to train and apply machine learning models to identify application windows for applications in order to boost application launch time in accordance with techniques described herein.

[0044] The SoC 100 may be coupled to a user interface (UI) 113 and / or a display 114 for interacting with a user. For example, the UI 113 may comprise an input device or hardware component allowing a user to input commands, such as a command to launch an application. In some embodiments, the UI 113 may include a graphical user interface (GUI) and / or may include the display 114. The SoC 100 may also include a graphics processing unit (GPU) 126 for rendering images on the display 114. In some embodiments, the CPU 104 may perform rendering to the display 114 without a GPU 126. In some embodiments, the GPU 126 may be configured to execute instructions for performing operations unrelated to rendering images, such as for processing large volumes of datasets in parallel. In some embodiments, the UI 113 and / or the display 114 may output (e.g., present, based on image data rendered by the GPU 126) various windows that may be associated with applications, such as but not limited to an application launch window, or an application main window. In some embodiments, one or more components of the SoC 100 may identify, determine, and / or detect such windows output via the display 114 in accordance with techniques described herein.

[0045] In some embodiments, the SoC 100 may include an integrated circuit, such as those included in one of the processors DSP 112, CPU 104, NSP 124, GPU 126, to adjust frequencies of one or more cores associated with one or more of the aforementioned processing units by determining windows indicative of start and end times of application launches based on techniques described herein.

[0046] The memory 106 may include a non-transient or non-transitory computer readable medium storing computer-executable instructions as instructions 108 to perform all or a portion of one or more operations described in this disclosure. The instructions 108 may include a multimedia application (or other suitable application such as a messaging application) to be executed by the SoC 100 that records, processes, or outputs audio signals. The instructions 108 may also include other applications or programs executed by the SoC 100, such as an operating system and applications other than for multimedia processing.

[0047] In some embodiments, the memory 106 may include a memory controller 107. The memory controller 107 may include a digital circuit or logic for processing or managing the flow of data into or out of the memory 106. For example, the memory controller 107 may read and / or write data pertaining to various windows being output via the display 114 and / or GPU 126. Such data may include contents or other identifying information about the windows being output, the duration of time in which a given window is output, an application to which a given window is associated with, among other relevant information.

[0048] In some embodiments, whether a window pertains to an application launch for an application may not be known. In such embodiments, window IDs for an application launch for a given application may be stored within a cache 109, which may comprise a short term repository for data. Furthermore, application windows relevant to an application launch may be identified from a list of window IDs stored in the cache 109 based on techniques described herein. The list may be automatically or periodically ranked based on time durations associated with each window ID. In some embodiments, the memory 106 may further include instructions for the implementation of the Least Frequently Used (LFU) protocol on the list of window IDs coupled with reinforcement learning (the instructions referred to herein as LFU-based reinforcement learning model 111) to determine, confirm and / or adjust initial determinations of windows being presented on the user interface 113 as application windows.

[0049] In addition to instructions 108, the memory 106 may also store applications 110 and associated data. The SoC 100 may be coupled to an external memory and configured to access the memory for writing identifiers and other parameters of windows presented on the UI 113.

[0050] In some embodiments, the SoC 100 may be coupled to a flash storage device comprising NAND memory for storing video files (e.g., MP4-container formatted files) including audio tracks and / or storing audio recordings (e.g., MPEG-1 Layer 3 files, also referred to as MP3 files) (e.g., associated with application launches) . Portions of the video or audio files may be transferred to memory 106 for processing by the SoC 100, with the resulting signals after processing encoded as video or audio files in the memory 106 for transfer to the long-term storage.

[0051] Processing algorithms, techniques, and methods may be executed by at least one processor of the SoC 100, which may include execution by all steps on one of the processors (e.g., DSP 112, CPU 104, NSP 124, GPU 126) or may include execution of steps across a combination of one or more of the processors (e.g., DSP 112, CPU 104, NSP 124, GPU 126) . In some embodiments, at least one of the memory controller 107 or the CPU 104 executes instructions to perform various operations described herein, including intelligently boosting application launches. For example, execution of the instructions by the CPU 104 cause the CPU 104 to detect windows being presented on a UI 113 (e.g., display 114 of the UI 113) and may instruct the memory controller 107 to write identifiers of each window (window IDs) in the cache 109 and / or to query or search the cache 109 to determine if an identifier of the detected window already exists within the cache 109. The CPU 104 may cause identifiers and / or other parameters of the detected window to be written into the cache 109 (e.g., by the memory controller 107) and / or may cause an increase in the time counter for a detected window to track how long the detected window is presented on a user interface (e.g., the time duration of the window) . The CPU 104 may further utilize an LFU protocol-based reinforcement learning model 111 to determine whether a detected window corresponds to an application window relevant for an application launch for an application (referred to herein as “application window” for simplicity) . If the detected window corresponds to an application window, the CPU 104 may increase or decrease a frequency of at least one processor, such as a processor associated with the CPU 104 or other SoC processing unit (e.g., NSP 124 and / or GPU 126) using, for example, the frequency adjuster 105. The operations of the CPU 104 may be based on user input. For example, a user may click on an application icon on the user interface 113 causing an application window to be presented on the user interface 113 (e.g., via the display 114) .

[0052] Input / output components may be coupled to the SoC 100 through an input / output (I / O) hub 116. An example of a hub 116 is an interconnect to a peripheral component interconnect express (PCIe) bus. Example components coupled to hub 116 may be components used for interacting with a user, such as a touch screen interface and / or physical buttons. Some components coupled to hub 116 may also include network interfaces for communicating with other devices, including a wide area network (WAN) adaptor (e.g., WAN adaptor 152) , a local area network (LAN) adaptor (e.g., LAN adaptor 153) , and / or a personal area network (PAN) adaptor (e.g., PAN adaptor 154) . A WAN adaptor 152 may be a 4G LTE or a 5G NR wireless network adaptor. A LAN adaptor 153 may be an IEEE 802.11 WiFi wireless network adapter. A PAN adaptor 154 may be a Bluetooth wireless network adaptor. Each of the WAN adaptor 152, LAN adaptor 153, and / or PAN adaptor 154 may be coupled to an antenna that may be shared by each of the adaptors 152, 153, and 154, or coupled to multiple antennas configured for primary and diversity reception and / or configured for receiving specific frequency bands. In some embodiments, the WAN adaptor 152, LAN adaptor 153, and / or PAN adaptor 154 may share circuitry, such as portions of a radio frequency front end (RFFE) .

[0053] Audio circuitry 156 may be integrated in SoC 100 as dedicated circuitry for coupling the SoC 100 to a speaker 120 external to the SoC 100, which may be a transducer such as a speaker (either internal to or external to a device incorporating the SoC 100) or headphones. The audio circuitry 156 may include coder / decoder (CODEC) functionality for processing digital audio signals. The audio circuitry 156 may further include one or more amplifiers (e.g., a class-D amplifier) for driving a transducer coupled to the SoC 100 for outputting sounds generated during execution of applications by the SoC 100. Functionality related to audio signals described herein may be performed by a combination of the audio circuitry 156 and / or other processors of the SoC (e.g., CPU 104, DSP 112, GPU 126, NSP 124) .

[0054] The SoC 100 may couple to external devices outside the package of the SoC 100. For example, the SoC 100 may be coupled to a power supply 118, such as a battery or an adaptor to couple the SoC 100 to an energy source. The signal processing described herein may be adapted to and achieve power efficiency to support operation of the SoC 100 from a limited-capacity power supply 118 such as a battery. For example, operations may be performed on a portion of the SoC 100 configured for performing the operation at a lowest power consumption. As another example, operations themselves are performed in a manner that reduces an amount of computations to perform the operation, such that the algorithm is optimized for extending the operational time of a device while powered by a limited-capacity power supply 118. In some embodiments, the operations described herein may be configured based on a type of power supply 118 providing energy to the SoC 100. For example, a first set of operations may be executed to perform a function when the power supply 118 is a wall adaptor. As another example, a second set of operations may be executed to perform a function when the power supply 118 is a battery.

[0055] The SoC 100 may also include or be coupled to additional features or components that are not shown in Figure 1. Although components are shown integrated as a single SoC 100, which may include all components built on a single semiconductor die with a common semiconductor substrate, other arrangements of the illustrated blocks different number of dies, substrates, and / or packages may be arranged to accomplish the same functionality described in this disclosure.

[0056] While the SoC 100 is referred to in the examples herein for performing aspects of the present disclosure, some device components may not be shown in Figure 1 to prevent obscuring aspects of the present disclosure. Additionally, other components, numbers of components, or combinations of components may be included in a suitable device for performing aspects of the present disclosure. As such, the present disclosure is not limited to a specific device or configuration of components, including the SoC 100 or user device 200.

[0057] The SoC of Figure 1 may be operated to obtain improved application launch latency and / or improved user experience by reducing application launch latency. One example integration of aspects of this disclosure into a wireless device are shown in Figure 2 and described below.

[0058] Figure 2 is a block diagram illustrating an example implementation for intelligently boosting application launches in a user device 200 according to one or more aspects of the disclosure. Although a mobile device is shown in Figure 2, aspects of this disclosure may be implemented in other user devices as well, such as but not limited to laptops, desktops, PDAs, etc. As shown in Figure 2, the user device 200 may include an SoC 100, which may include a CPU 104, a user interface 113 having a display 114, and a memory 106. As previously discussed, the CPU 104 may include one or more cores 104A (e.g., of processors) for which the frequency may be increased or decreased via the frequency adjuster 105. Furthermore, the memory 106 may include the memory controller 107, one or more applications 110, instructions for implementing an LFU protocol-based reinforcement learning (referred to herein as LFU-based reinforcement learning model 111) , and the cache 109.

[0059] It is contemplated that an example user interface 113 of the user device 200 may present various windows from time to time (e.g., operating system updates, reminders, application windows, notifications, etc. ) , of which some may relate to the launch of an application. The SoC 100 may determine whether a given window that is detected as being presented on the user interface 113 (detected window) is an application window of an application 110 by comparing the detected window to a list of one or more window IDs 220 stored in the cache 109. The window IDs 220 may be identifiers of windows historically detected on the user interface 113. In some embodiments, each list of window IDs 220 may pertain to a given application 110. Each window ID 220 may be associated with a time duration 230 indicating a length of time (e.g., number of clock cycles) at which the window ID 220 is detected to appear on the user interface 113 (e.g., on display 114) , In some embodiments, such time duration may be measured by way of a time counter measuring cycles of a clock. In each cycle of the clock, any detected window present on the user interface 113 may be monitored, such that the time duration 230 (e.g., time counter) associated with the window ID 220 corresponding to the detected window may be increased (e.g., by one) .

[0060] In at least one embodiment, if a detected window does not appear to correspond to any of the window IDs 220, the SoC 100 (e.g., via CPU 104) may store a record of the detected window into the cache 109 by replacing a window ID 220 having the least time duration (e.g., a window ID that is the least frequently appearing) with a new window ID representing the detected window.

[0061] The plurality of window IDs 220 may be arranged as a list where the head of the list (list head) may correspond to a window ID 220 having the highest time duration (e.g., appearing most frequently) whereas the tail of the list (list tail) may correspond to a window ID 220 having the least time duration (e.g., appearing the least) . The list may be automatically or periodically re-ranked based on any updated time durations of the constituent window IDs of the list. The SoC 100 may tentatively identify or determine, at a given time, that the window ID 220 corresponding to the list head is an application window. That initial identification or determination may be confirmed and / or adjusted using the LFU-based reinforcement learning model 111. For example, the LFU-based reinforcement learning model 111 may include instructions for managing or updating the list of window IDs 220 based on a detected window, instructions for extracting a set of parameters from the list of window IDs 220, which may include the time duration associated with the window ID of the detected window as well as the sum of time durations of the window IDs of the list at a given time. In some embodiments, the instructions may further include using the Q value computed based on the inputted set of parameters to confirm and / or adjust the initial determination of an application window.

[0062] An identified or determined application window may be a window that pertains to an application launch of an application 110. An application window may include a window occurring at a start of an application launch or otherwise earlier in a sequence of application windows pertaining to the application launch, and such an application window may be referred to herein as a first application window 210A. Furthermore, an application window may include a window occurring at an end of an application launch or otherwise later in a sequence of application windows pertaining to the application launch, and such an application window may be referred to herein as a second application window 210B. In some embodiments, there may be application windows additionally or in lieu of the first application window 210A or the second application window 210B, such as a replaced or an updated version of a first application window 210A or second application window 210B, for example, after an application update. The SoC 100 (e.g., via CPU 104) may thus identify or determine a window that is present on a user interface 113 as the first application window 210A or the second application window 210B for an application. In some embodiments, the SoC 100 (e.g., via CPU 104) may determine whether a detected window is a first application window 210A or the second application window 210B based on a sequence, whereby any window presented initially for an application launch is the first application window 210A whereas any window presented subsequently to a previously determined first application window 210A is a second application window 210B.

[0063] The SoC 100 (e.g., via CPU 104) may increase a frequency of at least one processor (e.g., at least one core 104A of the CPU 104) based on determining that a window presented on the user interface 113 is the first application window 210A for an application 110, as the first application window 210A may signify an application launch. For example, the first application window 210A may correspond to an application launch icon or notification. Furthermore, the SoC 100 (e.g., CPU 104) may reduce a frequency of the at least one processor (e.g., at least one core 104A of the CPU 104) based on determining that a window presented on the user interface 113 is the second application window 210B for the application 110, as the second application window 210B may indicate an end of an application launch. For example, the second application window 210B may correspond to a main user interface of an application 110.

[0064] By increasing the frequency of a processor upon detection of application windows that indicate an application launch, instead of waiting for a workload to burden the processor, and by using the LFU-based reinforcement learning model 111 to efficiently and accurately identify an application window for a given application closer to when those application windows actually appear on the user interface, the techniques described herein thus deliver reduced application launch delays and thereby enhance user experience. In some embodiments, the user device 200 may include additional functionalities for enhancing user experience during the running of applications, such as but not limited to the speaker 120 and the microphone 130.

[0065] The device of Figure 2 may be configured to perform operations described with reference to Figure 3 to intelligently boost application launches. Figure 3 shows a flow chart of an example method for intelligently boosting application launches according to one or more aspects of this disclosure. The operations of Figure 3 may result in an application launch with reduced application launch time delay, which results in an improved user experience. Each of the operations described with reference to Figure 3 may be performed by one or a combination of the processors of the SoC 100, such as at least one processor of CPU 104.

[0066] At block 302, at least one processor (e.g., CPU 104) may determine that a first application window associated with an application launch of an application (e.g., first application window 210A of application 110) is present on a user interface (e.g., displayed on user interface 113 via display 114) . For example, the first application window 210A may correspond to an application launch icon or notification. The at least one processor may determine that the first application window of the application is present on the user interface by determining or detecting that a window (first window) is present on the user interface, and then determining that the first window is actually the first application window 210A of the application 110 (e.g., pertaining to the application launch for the application) . Also or alternatively, the at least one processor may determine that the first application window 210A is present on the user interface 113 by detecting a user input causing the first application window 210A to output via the user interface 113, In some embodiments, the at least one processor (e.g., CPU 104) may determine that the detected first window is actually the first application window 210A based on a least frequently used (LFU) protocol-based reinforcement learning model (e.g., LFU-based reinforcement learning model 111) .

[0067] For example, in at least one embodiments, the at least one processor (e.g., CPU 104) may determine that the first window appearing on the user interface 113 is actually the first application window 210A by comparing the first window to a list of window IDs 220 (e.g., stored in a cache 109) that are associated with an application 110. Each window ID 220 in the list may be associated with a respective time duration 230. The list is ranked based on the time durations 230, such that the list head is a window ID associated with the highest time duration and the list tail is a window ID associated with he least time duration. As previously discussed, each window IDs may be an identifier of a window that had historically appeared on the user interface 113 for a time duration 230 that may have been measured via a time counter (e.g., measuring each cycle at which the said window ID continued to appear on the user interface 113) . If the first window is identified among the plurality of window IDs 220 (e.g., one of the window IDs identifies the first window appearing on the user interface 113) , a time counter associated with the window ID corresponding to the first window may be increased. For example, the time counter may be increased by one for each cycle in which the first window continues to appear.

[0068] The at least one processor may determine that the first window is the first application window 210A, if the window ID associated with the highest time duration 230 (list head) represents the first window at some time after the first window is presented on the user interface 113. For example, the at least one processor may predict or determine using a ranked list of the window IDs 220 associated with the application by determining that the list head, the window ID having the highest time duration 230, is the first application window 210A.

[0069] If the first window has appeared on the user interface just recently, it is possible for the time duration associated with the window ID representing the first window may not be sufficiently high for the window ID to be the list head in the list. In such cases, the at least one processor may incorrectly deem the current window ID in the list head to be an application window even though the window ID representing the first window is not currently the list head. If the first window continues to be presented on the user interface 113 for a sufficiently long enough time for the corresponding window ID 220 to move up in rank to become a list head, the at least one processor may thus subsequently determine the first window to be the first application window 210A.

[0070] It is possible, however, that the first window may not appear for a sufficiently long time duration and may not necessarily be an application window. For example, the first window may be unrelated to the application 110 and may be, for example, a calendar notification or reminder. The relatively shorter time duration caused by these non-application windows may prevent the at least one processor from determining such non-application windows as application windows.

[0071] In some embodiments, the at least one processor (e.g., CPU 104) may further confirm or test the earlier prediction of the first application window 210A by confirming whether the window ID 220 having the highest time duration 230 (list head) is indeed correct or needs to be adjusted. The confirmation and / or correction may be performed via reinforcement learning. If the first window is not the list head, for example, the reinforcement learning may thus allow the window ID representing the first window presented on the user interface to become the list head sooner so that the at least one processor is able to determine the first window as the first application window 210A sooner. For example, the at least one processor may input a first set of parameters of the list of window IDs for a given time (e.g., a given clock cycle) . The first set of parameters may include the time duration associated with the window ID of the first window as well as a sum of time durations of the window IDs of the list. In some embodiments, the first set of parameters may be used by the reinforcement learning model to determine a Q value, Q (St, At) using the expression where St is the window ID having the highest time duration (the list head) , At is window ID representing the first window presently appearing on the user interface 113, r is the learning rate (set as 1) , li is the depth in the list (e.g., as ranked based on the associated time duration, and starting with 0 for the list head) , and Ci is the time duration associated with the window ID corresponding to the detected first window, and ∑C is a sum of time durations of all of the window IDs in a list at the given time (e.g., the given clock cycle) . The Q value may be added to the time duration associated with the window ID representing the detected first window at the next clock cycle, in order to allow the detected first window to move up in rank and become the list head sooner for the at least one processor to determine the first window as the first application window 210A sooner. The reinforcement learning may therefore allow the at least one processor to determine that the list head after the first window appears on the user interface 113 accurately reflects the detected first window sooner. Thus, the reinforced learning may be used to determine or confirm appropriate application windows relevant to an application launch for a given application in order to further fine tune and efficiently boost application launch times.

[0072] At block 304, the at least one processor (e.g., CPU 104) may increase a frequency of itself or another processor (e.g., of CPU 104) based on determining that the first application window is present on the user interface. For example, the at least one processor (e.g., CPU 104) may increase its own frequency or the frequency of another processor that is tasked with application launch processes via the frequency adjuster 105.

[0073] At block 306, the at least one processor (e.g., CPU 104) may determine that a second application window for the application (e.g., second application window 210B of application 110) is present on the user interface (e.g., displayed on user interface 113 via display 114) . For example, the second application window 210B may correspond to a main user interface of an application 110. More generally, the system may adjust an operating parameter for the at least one processor based on determining that the first application window is present on the user interface.

[0074] The at least one processor may determine that the second application window 210B of the application 110 is present on the user interface 113 by determining or detecting that a window (second window) is present on the user interface 113, and then determining that the second window is actually the second application window 210B of the application 110 (e.g., the second window pertains to the application launch for the application) . Furthermore, the at least one processor may determine that the application window is a second application window 210B (in contrast to the first application window 210A) based on the second application window 210B appearing later in time than the first application window 210A,

[0075] In some embodiments, the at least one processor may determine that the detected second window is actually the second application window 210A based on a least frequently used (LFU) protocol-based reinforcement learning model (e.g., LFU-based reinforcement learning model 111) .

[0076] For example, in at least one embodiments, the at least one processor may determine that the second window appearing on the user interface 113 is actually the second application window 210B by comparing the second window to a plurality of window IDs 220 (e.g., stored in a cache 109) that are associated with the application 110. Each window ID 220 may be associated with a respective time duration 230. As previously discussed, each window IDs may be an identifier of a window that had historically appeared on the user interface 113 for a time duration 230 that may have been measured via a time counter (e.g., measuring each cycle at which the said window ID continued to appear on the user interface 113) . If the second window is identified among the plurality of window IDs 220 (e.g., one of the window IDs identifies the second window appearing on the user interface 113) , a time counter associated with the window ID corresponding to the second window may be increased. For example, the time counter may be increased by one for each cycle in which the second window continues to appear.

[0077] The at least one processor may determine that the second window is the second application window 210B, if the window ID associated with the highest time duration 230 (list head) represents the second window at some time after the second window is presented on the user interface 113. For example, the at least one processor may predict or determine using a ranked list of the window IDs 220 associated with the application by determining that the list head (the window ID having the highest time duration 230) is the second application window 210B.

[0078] If the second window has appeared on the user interface just recently, it is possible for the time duration associated with the window ID representing the second window may not be sufficiently high for the window ID to be the list head in the list. In such cases, the at least one processor may incorrectly deem the current window ID in the list head to be an application window even though the window ID representing the second window is not currently the list head. If the second window continues to be presented on the user interface 113 for a sufficiently long enough time for the corresponding window ID 220 to move up in rank to become a list head, the at least one processor may thus subsequently determine the second window to be the second application window 210A.

[0079] It is possible, however, that the second window may not appear for a sufficiently long time duration and may not necessarily be an application window. For example, the second window may be unrelated to the application 110 and may be, for example, a calendar notification or reminder. The relatively shorter time duration caused by these non-application windows may prevent the at least one processor from determining such non-application windows as application windows.

[0080] In some embodiments, the at least one processor (e.g., CPU 104) may further confirm or test the earlier prediction of the second application window 210B by confirming whether the window ID 220 having the highest time duration 230 (list head) is indeed correct or needs to be adjusted. The confirmation and / or correction may be performed via reinforcement learning. If the second window is not the list head, for example, the reinforcement learning may thus allow the window ID representing the second window presented on the user interface to become the list head sooner so that the at least one processor is able to determine the second window as the second application window 210B sooner. For example, the at least one processor may input a second set of parameters of the list of window IDs for a given time (e.g., a given clock cycle) . The second set of parameters may include the time duration associated with the window ID of the second window as well as a sum of time durations of the window IDs of the list. In some embodiments, the second set of parameters may be used by the reinforcement learning model to determine a Q value, Q (St, At) using the expression,  where St is the window ID having the highest time duration (the list head) , At is window ID representing the second window presently appearing on the user interface 113, r is the learning rate (set as 1) , li is the depth in the list (e.g., as ranked based on the associated time duration, and starting with 0 for the list head) , Ci is the time duration associated with the window ID corresponding to the detected second window, and ∑C is a sum of time durations of all of the window IDs in a list at the given time (e.g., the given clock cycle) . The Q value may be added to the time duration associated with the window ID representing the detected second window at the next clock cycle, in order to allow the detected second window to move up in rank and become the list head sooner for the at least one processor to determine the second window as the second application window 210B sooner. The reinforcement learning may therefore allow the at least one processor to determine that the list head after the second window appears on the user interface 113 accurately reflects the detected second window sooner. Thus, the reinforced learning may be used to determine or confirm appropriate application windows relevant to an application launch for a given application in order to further fine tune and efficiently boost application launch times.

[0081] At block 308, the at least one processor (e.g., CPU 104) may reduce the frequency of itself or another processor (e.g., of CPU 104) based on determining that the second application window is present on the user interface. For example, the at least one processor (e.g., CPU 104) may reduce the frequency of the processor for which the frequency was previously increased at block 304, via the frequency adjuster 105. More generally, the system may adjust the operating parameter for the at least one processor based on determining that a second application window for the application is present on the user interface. Alternatively, the system may adjust the operating parameter based on determining that the first application window has disappeared from the user interface, and / or based on a combination of the first application window disappearing and the second application window appearing.

[0082] The operations described with reference to blocks 302, 304, 306, and 308 of Figure 3 may be performed on a processing unit, such as CPU 104 of the SoC 100 illustrated in Figure 1. However, the operations may alternatively be performed by one or more of the processors of Figure 1, including one or more of the CPU 104, the DSP 112, the GPU 126, or the NSP 124. For example, in some embodiments, the CPU 104 may increase or decrease the frequency of at least one processor associated with the DSP 112, GPU 126, and / or the NSP 124 during application launch as part of the operations of block 302. In another example, the processor performing the operations of blocks 302, 304, and / or 306 may be dedicated logic circuitry for performing certain operations.

[0083] Aspects of the signal processing described in Figure 3 are further described herein, such as the example process of Figure 4.

[0084] Figure 4 is a flow chart of an example method 400 for intelligently boosting application launches using least frequently used (LFU) -based reinforcement learning, according to one or more aspects of this disclosure. In particular, method 400 describes example embodiments for determining a first application window (block 304) and determining a second application window (of block 308) . Each of the operations described with reference to Figure 4 may be performed by one or a combination of the processors of the SoC 100, such as at least one processor of CPU 104. Furthermore method 400 may be based on the LFU-based reinforcement learning model 111, and may leverage a list of window IDs 220 stored in the cache 109.

[0085] Method 400 may begin with the at least one processor detecting a window that is present on a user interface, such as a window that is output (e.g., on the display 114 of the user interface 113 of the user device 200) . The detected window may not necessarily pertain to an application window for an application launch, and the presently disclosed techniques may be used to determine whether the detected window is an application window. In some embodiments, the detection may be determined based on a change in pixels in the display 114 of the user interface, or a recognition of a shape (e.g., rectangular) or other features typical of a window (e.g., window name, window sizing functionalities, etc. )

[0086] At block 404, the at least one processor may compare the detected window to a list of window IDs (e.g., window IDs 220) . Each window ID may be associated with a time duration (e.g., time duration 230) , which may indicate a count of how many times (e.g., cycles or runs) that a window ID was historically detected. The list, which may be stored in the memory 106 (e.g., cache 109) , may be ranked based on the time duration, such that the list head (e.g., window ID at the start of the list) is associated with the highest time duration while the list tail (e.g., window ID at the end of the list) is associated with the least time duration. As previously discussed, a window ID may represent or may include an identifier of a window that may have been historically detected.

[0087] The comparison, which may be additionally or alternatively be the memory controller 107, may be used to determine whether the detected window exists in the list (block 406) . For example, the processor (e.g., CPU 104) and / or the memory controller 107 may determine whether the detected window matches (or otherwise satisfies a similarity threshold) with one of the window IDs in the list. For example, the comparison may involve determining whether there is a record of the detected window in the list. Also or alternatively, the comparison may involve extracting a name of the detected window and determining whether that name exists among the list of window IDs.

[0088] If the detected window does not exist in the list, the processor (e.g., CPU 104) and / or the memory controller 107 may, at block 408, replace the list tail (window ID associated with the least time duration) with the detected window. For example, the replacement may involve substituting the current window ID representing the list tail with an identifier of the detected window, and associating that identifier with a unit of time duration (e.g., of one or the least unit for the measurement time duration) .

[0089] If the detected window does exist in the list (e.g., a window ID of the list matches or corresponds with the detected window) , the processor (e.g., CPU 104) and / or the memory controller 107 may, at block 410, increase a time counter associated with the detected window. For example, the time duration associated with the corresponding window ID of the detected window may be increased by a unit of time duration 230 (e.g., by one) .

[0090] At block 412, the processor may identify the list head of the list (e.g., the window ID being associated with the highest time duration) as an application window for the application. In some embodiments, this identification may be made at each cycle or round of a clock, such that the application window is deemed to be the list head by default. In some embodiments, the identification of the list head as an application window may be a tentative determination of the application window, which may be further confirmed or disproved based on reinforcement learning discussed in subsequent blocks.

[0091] At block 414, the processor may input a parameter of the detected window and a parameter of the list head (e.g., the window ID associated with the highest time duration) into a reinforcement learning model to determine any adjustment to the time duration of the detected window (e.g., the time duration 230 associated with the listed window ID 220 representing or corresponding to the detected window. In some embodiment, such parameters may represent inputs for determining a Q value for reinforcing the time duration associated with the detected window. The Q value, Q (St, At) , may be determined based on the expression where St is an identifier of the list head) , At is an identifier of the detected window that is presently appearing on the user interface and represented by a window ID on the list, r is the learning rate (which may be set as 1) , li is the depth of the detected window in the list (e.g., starting with the list head having the depth of zero) , and Ci is the time duration (e.g., time count) associated with the detected window (e.g., the window ID representing or corresponding to the detected window) at a given time cycle, and ∑C is the sum of the time durations in the list at the given time cycle. In some embodiment, the inputted parameters for the detected window and the list head may thus include the time duration (e.g., time count) associated with the detected window (e.g., the window ID representing or corresponding to the detected window) at a given time cycle, and the sum of the time durations in the list at the given time cycle, (the sum including the time duration associated with list head) .

[0092] The inputted parameters may thus be used to determine the Q value, Q (St, At) , which may indicate if any time adjustments could be made to the time duration associated with the detected window. For example, if the window ID representing or corresponding to the detected window is already the list head (due to having the highest associated time duration) , the Q value would be zero, due to the depth of the detected window in the list, li, being zero and causing the resulting product be zero in the expression:  With a Q value of zero, no time adjustments (e.g., zero time adjustments) would be made to the time duration associated with the detected window. However, a non-zero Q value may indicate a time adjustment that could be added to the time duration associated with the window ID representing or corresponding to the detected window.

[0093] Thus, at block 416, the at least one processor may implement any adjustments to the time duration of the window ID corresponding to the detected window. For example, the computed Q value may be added to the time duration associated with the window ID representing or corresponding to the detected window. As the list of window IDs are ranked based on time duration, the list may be re-ranked based on the adjusted time duration at block 418. For example, a detected window may not have been list head due to having a lower associated time duration than the list head. However, by adding a computing Q value to the time duration associated with the window ID representing the detected window in the list, the detected window may move up the ranking in the list and may become the list head (e.g., in a subsequent time cycle) . In some embodiments, the re-ranking may be automatic based on any changes in time durations associated with any window IDs changing the order of the window IDs.

[0094] Thus, at block 420, the at least one processor may determine whether the window ID corresponding to the detected window is a list head (e.g., at the given time cycle, after the time adjustments were previously made) . If the adjustments to the time duration causes the window ID representing the detected window to move up in ranking to become the list head (and thereby replace a previous window ID) , the at least one processor may update the identification of the application window to be the detected window at block 424. If however, the window ID corresponding to the detected window still is not the list head, the at least one processor may maintain its current identification of the list head as the application window at block 422.

[0095] Thus, the reinforcement of time durations associated with the window IDs representing the detected windows may allow the identification or determination of application windows more quickly. The quicker determination of an application window, and specifically the first application window 210 associated with the start of an application launch may allow the processor to increase its frequency or the frequency of another processor associated with the application launch sooner. The increased frequency based on an earlier detection of an application window may thus reduce application launch latency and thereby enhance user experience.

[0096] Figure 5 shows a table 500 of detected windows and associated parameters on which LFU-based reinforcement learning is applied to intelligently boost application launches, according to one or more aspects of this disclosure. The columns of the table correspond to clock cycles (labeled here as “Rounds” ) , but may represent any unit of time duration. Specifically, the table 500 includes a portion 510 that shows the detected window, a list of window IDs and their associated time durations before reinforcement learning, and an indication of whether the list head correctly identifies the detected window (as shown by the row titled “Result (No Learning) ” ) . The list includes window IDs ranked based on their associated time durations, with the list head having the highest associated time duration. Each associated time duration is indicated as a number after the colon (e.g., “Launch: 1” indicating a time duration of 1 for the window ID “Launch” ) . The detected windows thus include a first application window identified as “Launch, ” a second application window identified as “Main” , and a third application window identified as “newMain. ” The first application window ( “Launch” ) may indicate a start of an application launch. The second application window ( “Main” ) may indicate an end of an application launch and / or may represent a main user interface for the application. The third application window ( “newMain” ) may indicate a new version or update of the main user interface and / or a second user interface for the application. Portion 520 shows that the list head is able to correctly detect a change in a detected window from launch to main at round 3 (after an initial error at round 2) . However, without any reinforcement learning, portion 520 shows that the list head is not able to correctly detect a change in a detected window from main to newMain until round 11, even though the change had already occurred in round 6. Reinforcement learning thus helps to ensure that that the third application window (newMain) is determined much sooner (e.g., at round 8 instead) .

[0097] Figure 5 further thus includes a portion 520 that includes the detected window for comparison with a new list head that is determined after applying a reinforcement to the window ID corresponding to the detected window. The reinforcement is applied by adding a Q value to the time duration associated with the window ID representing the detected window in the list, which may cause the window ID to move up in rank and become the list head sooner. The Q value, Q (St, At) , may be computed based on the expression where St is the list head, At is the detected window, r is the learning rate (which may be set as 1 by default) , li is the depth of the detected window in the list (e.g., starting with the list head having the depth of zero) , Ci is the time duration (e.g., time count) associated with the window ID representing the detected window at a given round, and ∑C is the sum of the time durations in the list at the given round.

[0098] For example, in order to compute the Q value to be added to the time duration associated with the window ID representing the detected window at round 3 ( “main” ) , the Q value may be determined for round 2 using parameters of the list. The Q value, Q (St, At) , at round 2 may thus be or 0.5. Thus, the row titled changed Q-value indicates Main: 0.5. Additionally, the new list-head (after reinforcement) shows Main: 2.5 under Round 3, which indicates a time duration that is 0.5 more than a time duration of 1 indicated by “Main: 1” shown in portion 510. As previously discussed, if the window ID corresponding to the detected window is already the list head (due to having the highest associated time duration) , the Q value would be zero, due to the depth of the detected window in the list, li, being zero and causing the resulting expression:  to be zero. With a Q value of zero, no time adjustments (e.g., zero time adjustments) would be made to the time duration associated with window ID corresponding to the detected window. However, a non-zero Q value can indicate a time adjustment that could be added to the time duration associated with the window ID representing or corresponding to the detected window.

[0099] As shown by the arrow 522, the reinforcement learning provided by adding the Q value to the time duration associated with the window ID representing the detected window allows for the processor to identify a new application window (newMain) much sooner (e.g., at round 8) than otherwise under no reinforcement learning. For example, at round 6, the window ID corresponding to the detected window (newMain) is at depth (li) of 2 in the list and has an associated time duration (Ci) of 1. The sum of all time durations in the list under Round 6 is 6 (e.g., adding 4, 1, and 1) . Using a learning rate (r) of 1, the Q value Q (St, At) is thus or 2*1 (1- (1 / 6) ) or 1.67 (shown in FIG. 5 as being rounded to 1.7 in newMain: 1.7) . When this Q value of 1.7 is added to the time duration of 2 associated with newMain (newMain: 2) in round 7, the adjusted time duration is still not enough to move newMain up in rank to the list head. However, after repeating the Q value computation again in round 7 and reranking the list, the reinforcement learning allows for newMain to move up in rank and become the list head at round 8. Thus, the processor is able to determine the change in application window at round 8, which is much sooner than determining the change at round 11, without the benefit of reinforcement learning.

[0100] Thus, the reinforcement of time durations associated with the window IDs representing the detected windows may allow the identification or determination of application windows more quickly. The quicker determination of an application window, and specifically the first application window 210 associated with the start of an application launch may allow the processor to increase its frequency or the frequency of another processor associated with the application launch sooner. The increased frequency based on an earlier detection of an application window may thus reduce application launch latency and thereby enhance user experience.

[0101] In one or more aspects, techniques for improving device operation may include additional aspects, such as any single aspect or any combination of aspects described below or in connection with one or more other processes or devices described elsewhere herein. In a first aspect, a device with improved operations may include an apparatus comprising a memory; and at least one processor coupled to the memory and configured to perform operations including: determining that a first application window for an application is present on a user interface, wherein the first application window is associated with an application launch for the application; adjusting an operating parameter for the at least one processor based on determining that the first application window is present on the user interface; determining that a second application window for the application is present on the user interface; and adjusting the operating parameter for the at least one processor based on determining that a second application window for the application is present on the user interface.

[0102] Additionally, the apparatus may perform or operate according to one or more aspects as described below. In some implementations, the apparatus includes a system on a chip (SOC) . In some implementations, the apparatus includes a computing device, such as a smart phone, a lap top, or a user device. In some implementations, the apparatus may include at least one processor, and a memory coupled to the processor. The processor may be configured to perform operations described herein with respect to the apparatus. In some other implementations, the apparatus may include a non-transitory computer-readable medium having program code recorded thereon and the program code may be executable by a computer for causing the computer to perform operations described herein with reference to the apparatus. In some implementations, the apparatus may include one or more means configured to perform operations described herein. In some implementations, a method may include one or more operations described herein with reference to the apparatus.

[0103] In a second aspect, in combination with the first aspect, the second application window for the application corresponds to a main user interface of the application for receiving user input for the application. Furthermore the at least one processor is configured to adjust an operating parameter for the at least one processor based on determining that the first application window is present on the user interface by increasing, based on determining that the first application window is present on the user interface, a frequency of the at least one processor. Furthermore, the at least one processor is configured to adjust the operating parameter for the at least one processor based on determining that a second application window for the application is present on the user interface by reducing, based on determining that the second application window is present on the user interface, the frequency of the at least one processor.

[0104] In a third aspect, in combination with one or more of the first aspect or the second aspect, the at least one processor is configured to determine that the first application window of the application is present on the user interface by: determining that a first window is present on the user interface; and determining, based on a least frequently used (LFU) protocol and a reinforcement learning model, that the first window present on the user interface is the first application window for the application; and wherein the at least one processor is configured to determine that the second application window of the application is present on the user interface by: determining that a second window is present on the user interface after the first window was present on the user interface; and determining, based on the LFU protocol and the reinforcement learning model, that the second window present on the user interface is the second application window.

[0105] In a fourth aspect, in combination with one or more of the first aspect through the third aspect, the at least one processor is configured to determine that the first window is the first application window by: comparing the first window to a list of window IDs stored in a cache associated with the application, wherein each window ID is associated with a respective time duration; increasing, after identifying the first window among the list of window IDs, a time counter associated with a window ID corresponding to the first window; and determining, based on a window ID associated with the highest time duration among the list of window IDs after the first window is present on the user interface, that the first window is the first application window; wherein the at least one processor is configured to determine that the second window is the second application window by: comparing the second window to the list of window IDs stored in the cache associated with the application, wherein each window ID is associated with a respective time duration; increasing, after identifying the second window among the list of window IDs, a time counter associated with a window ID corresponding to the second window; and determining, based on a window ID associated with the highest time duration among the list of window IDs after the second window is present on the user interface, that the second window is the second application window.

[0106] In a fifth aspect, in combination with one or more of the first aspect through the fourth aspect, the at least one processor is configured to: determine that a third window is present on the user interface; compare the third window to the list of window IDs stored in the cache associated with the application; replace, within the cache, after failing to identify the third window among the list of window IDs, a window ID having an associated time duration that is the least among time durations associated with other window IDs with the third window; and store, within the cache, the third window and a third time duration associated with the third window.

[0107] In a sixth aspect, in combination with one or more of the first aspect through the fifth aspect, the at least one processor is configured to determine that the first window is the first application window by: inputting a first set of parameters of the list of window IDs into the reinforcement learning model to determine whether the first window is the first application window, wherein the set of parameters includes a time duration associated with the window ID corresponding to the first window; and wherein the at least one processor is configured to determine that the second window is the second application window by: inputting a second set of parameters of the list of window IDs into the reinforcement learning model to determine whether the second window is the first application window, wherein the second set of parameters includes a time duration associated with the window ID corresponding to the second window.

[0108] In a seventh aspect, in combination with one or more of the first aspect through the sixth aspect, the at least one processor is further configured to determine that the first window is the first application window by: adjusting, after inputting the first set of parameters into the reinforcement learning model, a time duration associated with the window ID corresponding to the first window; determining, after adjusting the time duration, that the window ID corresponding to the first window is associated with the highest time duration in the list of window IDs; and determining, based on the window ID corresponding to the first window associated with the highest time duration, that the first window is the first application window; and wherein the at least one processor is further configured to determine that the second window is the second application window by: adjusting, after inputting the second set of parameters into the reinforcement learning model, a time duration associated with the window ID corresponding to the second window; determining, after adjusting the time duration, that the window ID corresponding to the second window is associated with the highest time duration in the list of window IDs; and determining, based on the window ID corresponding to the second window associated with the highest time duration, that the second window is the second application window..

[0109] In an eighth aspect, in combination with one or more of the first aspect through the seventh aspect, the at least one processor is configured to determine that the first application window is present on the user interface by detecting a user input causing the first application window to output via the user interface.

[0110] In a ninth aspect, a method is disclosed for boosting an application launch intelligently. The method includes: determining, by at least one processor, that a first application window for an application is present on a user interface, wherein the first application window is associated with an application launch for the application; adjusting an operating parameter for the at least one processor based on determining that the first application window is present on the user interface; determining, by the at least one processor, that a second application window for the application is present on the user interface; and adjusting the operating parameter for the at least one processor based on determining that a second application window for the application is present on the user interface.

[0111] In a tenth aspect, in combination with the ninth aspect, the second application window for the application corresponds to a main user interface of the application for receiving user input for the application; adjusting an operating parameter for the at least one processor based on determining that the first application window is present on the user interface comprises increasing, based on determining that the first application window is present on the user interface, a frequency of the at least one processor; and adjusting the operating parameter for the at least one processor based on determining that a second application window for the application is present on the user interface comprises reducing, based on determining that the second application window is present on the user interface, the frequency of the at least one processor.

[0112] In an eleventh aspect, in combination with one or more of the ninth aspect through the tenth aspect, determining that the first application window of the application is present on the user interface includes: determining, by the at least one processor, that a first window is present on the user interface; and determining, by the at least one processor, based on a least frequently used (LFU) protocol and a reinforcement learning model, that the first window present on the user interface is the first application window for the application. Furthermore, determining that the second application window of the application is present on the user interface includes: determining, by the at least one processor, that a second window is present on the user interface after the first window was present on the user interface; and determining, by the at least one processor, based on the LFU protocol and the reinforcement learning model, that the second window present on the user interface is the second application window.

[0113] In a twelfth aspect, in combination with one or more of the ninth aspect through the eleventh aspect, determining that the first window is the first application window includes: comparing, by the at least one processor, the first window to a list of window IDs stored in a cache associated with the application, wherein each window ID is associated with a respective time duration; increasing, by the at least one processor, after identifying the first window among the list of window IDs, a time counter associated with a window ID corresponding to the first window; and determining, by the at least one processor, based on a window ID associated with the highest time duration among the list of window IDs after the first window is present on the user interface, that the first window is the first application window. Furthermore, determining that the second window is the second application window includes: comparing, by the at least one processor, the second window to the list of window IDs stored in the cache associated with the application, wherein each window ID is associated with a respective time duration; increasing, by the at least one processor, after identifying the second window among the list of window IDs, a time counter associated with a window ID corresponding to the second window; and determining, by the at least one processor, based on a window ID associated with the highest time duration among the list of window IDs after the second window is present on the user interface, that the second window is the second application window.

[0114] In a thirteenth aspect, in combination with one or more of the ninth aspect through the twelfth aspect, the method further includes: determining, by the at least one processor, that a third window is present on the user interface; comparing, by the at least one processor, the third window to the list of window IDs stored in the cache associated with the application; replacing, within the cache, after failing to identify the third window among the list of window IDs, a window ID having an associated time duration that is the least among time durations associated with other window IDs with the third window; and storing, within the cache, the third window and a third time duration associated with the third window.

[0115] In a fourteenth aspect, in combination with one or more of the ninth aspect through the thirteenth aspect, determining that the first window is the first application window includes: inputting, by the at least one processor, a first set of parameters of the list of window IDs into the reinforcement learning model to determine whether the first window is the first application window, wherein the set of parameters includes a time duration associated with the window ID corresponding to the first window; and wherein determining that the second window is the second application window comprises: inputting, by the at least one processor, a second set of parameters of the list of window IDs into the reinforcement learning model to determine whether the second window is the first application window, wherein the second set of parameters includes a time duration associated with the window ID corresponding to the second window.

[0116] In a fifteenth aspect, in combination with one or more of the ninth aspect through the fourteenth aspect, determining that the first window is the first application window includes: adjusting, by the at least one processor, after inputting the first set of parameters into the reinforcement learning model, a time duration associated with the window ID corresponding to the first window; determining, by the at least one processor, after adjusting the time duration, that the window ID corresponding to the first window is associated with the highest time duration in the list of window IDs; and determining, by the at least one processor, based on the window ID corresponding to the first window associated with the highest time duration, that the first window is the first application window. Furthermore, determining that the second window is the second application window includes: adjusting, by the at least one processor, after inputting the second set of parameters into the reinforcement learning model, a time duration associated with the window ID corresponding to the second window; determining, by the at least one processor, after adjusting the time duration, that the window ID corresponding to the second window is associated with the highest time duration in the list of window IDs; and determining, by the at least one processor, based on the window ID corresponding to the second window associated with the highest time duration, that the second window is the second application window.

[0117] In a sixteenth aspect, in combination with one or more of the ninth aspect through the fifteenth aspect, determining that the first application window is present on the user interface includes: detecting, by the at least one processor, a user input causing the first application window to output via the user interface.

[0118] In a seventeenth aspect, an apparatus is disclosed for boosting application launches intelligently. The apparatus includes: a user interface; a memory configured to store a list of window IDs for an application; and at least one processor configured to operate in more than one frequency. The at least one processor is configured to perform operations including: determining that a first window is present on the user interface; determining, based on a least frequently used (LFU) protocol and a reinforcement learning model, that the first window present on the user interface is a first application window for the application; adjusting, based on the determining that the first application window is present on the user interface, an operating parameter of the at least one processor; determining that a second window is present on the user interface after the first window was present on the user interface; determining, based on the LFU protocol and the reinforcement learning model, that the second window present on the user interface is a second application window for the application, wherein the second application window corresponds to a main user interface of the application for receiving user input for the application; and adjusting, based on determining that the second application window is present on the user interface, the operating parameter of the at least one processor.

[0119] In an eighteenth aspect, in combination with the seventeenth aspect, the at least one processor is configured to determine that the first window is the first application window by: comparing the first window to the list of window IDs, wherein each window ID is associated with a respective time duration; increasing, after identifying the first window among the list of window IDs, a time counter associated with a window ID corresponding to the first window; and determining, based on a window ID associated with the highest time duration in the list of window IDs after the first window is present on the user interface, that the first window is the first application window; wherein the at least one processor is configured to determine that the second window as the second application window by: comparing the second window to the list of window IDs, wherein each window ID is associated with a respective time duration; increasing, after identifying the second window among the list of window IDs, a time counter associated with a window ID corresponding to the second window; and determining, based on a window ID associated with the highest time duration in the list of window IDs after the second window is present on the user interface, that the second window is the second application window.

[0120] In a nineteenth aspect, in combination with one or more of the seventeenth aspect through the eighteenth aspect, the at least one processor is configured to determine that the first window is the first application window by: inputting a first set of parameters of the list of window IDs into the reinforcement learning model to determine whether the first window is the first application window, wherein the set of parameters includes a time duration associated with the window ID corresponding to the first window; and wherein the at least one processor is configured to determine that the second window is the second application window by: inputting a second set of parameters of the list of window IDs into the reinforcement learning model to determine whether the second window is the first application window, wherein the second set of parameters includes a time duration associated with the window ID corresponding to the second window.

[0121] In a twentieth aspect, in combination with one or more of the seventeenth aspect through the nineteenth aspect, the at least one processor is configured to determine that the first window is the first application window by: adjusting, after inputting the first set of parameters into the reinforcement learning model, a time duration associated with the window ID corresponding to the first window; determining, after adjusting the time duration, that the window ID corresponding to the first window is associated with the highest time duration in the list of window IDs; and determining, based on the window ID corresponding to the first window associated with the highest time duration, that the first window is the first application window; and wherein the at least one processor is configured to determine that the second window is the second application window by: adjusting, after inputting the second set of parameters into the reinforcement learning model, a time duration associated with the window ID corresponding to the second window; determining, after adjusting the time duration, that the window ID corresponding to the second window is associated with the highest time duration in the list of window IDs; and determining, based on the window ID corresponding to the second window associated with the highest time duration, that the second window is the second application window.

[0122] In the figures, a single block may be described as performing a function or functions. The function or functions performed by that block may be performed in a single component or across multiple components, and / or may be performed using hardware, software, or a combination of hardware and software. To clearly illustrate this interchangeability of hardware and software, various illustrative components, blocks, modules, circuits, and steps are described below generally in terms of their functionality. Whether such functionality is implemented as hardware or software depends upon the particular application and design constraints imposed on the overall system. Skilled artisans may implement the described functionality in varying ways for each particular application, but such implementation decisions should not be interpreted as causing a departure from the scope of the present disclosure. Also, the example devices may include components other than those shown, including well-known components such as a processor, memory, and the like.

[0123] Unless specifically stated otherwise as apparent from the following discussions, it is appreciated that throughout the present application, discussions using terms such as “accessing, ” “receiving, ” “sending, ” “using, ” “selecting, ” “determining, ” “normalizing, ” “multiplying, ” “averaging, ” “monitoring, ” “comparing, ” “applying, ” “updating, ” “measuring, ” “deriving, ” “settling, ” “generating, ” or the like, refer to the actions and processes of a computer system, or similar electronic computing device, that manipulates and transforms data represented as physical (electronic) quantities within the computer system’s registers and memories into other data similarly represented as physical quantities within the computer system’s registers, memories, or other such information storage, transmission, or display devices. The use of different terms referring to actions or processes of a computer system does not necessarily indicate different operations. For example, “determining” data may refer to “generating” data. As another example, “determining” data may refer to “retrieving” data.

[0124] The terms “device” and “apparatus” are not limited to one or a specific number of physical objects (such as one smartphone, one camera controller, one processing system, and so on) . As used herein, a device may be any electronic device with one or more parts that may implement at least some portions of the disclosure. While the description and examples herein use the term “device” to describe various aspects of the disclosure, the term “device” is not limited to a specific configuration, type, or number of objects. As used herein, an apparatus may include a device or a portion of the device for performing the described operations.

[0125] Certain components in a device or apparatus described as “means for accessing, ” “means for receiving, ” “means for sending, ” “means for using, ” “means for selecting, ” “means for determining, ” “means for normalizing, ” “means for multiplying, ” or other similarly-named terms referring to one or more operations on data, such as image data, may refer to processing circuitry (e.g., application specific integrated circuits (ASICs) , digital signal processors (DSP) , graphics processing unit (GPU) , central processing unit (CPU) , computer vision processor (CVP) , or neural signal processor (NSP) ) configured to perform the recited function through hardware, software, or a combination of hardware configured by software.

[0126] Those of skill in the art would understand that information and signals may be represented using any of a variety of different technologies and techniques. For example, data, instructions, commands, information, signals, bits, symbols, and chips that may be referenced throughout the above description may be represented by voltages, currents, electromagnetic waves, magnetic fields or particles, optical fields or particles, or any combination thereof.

[0127] Components, the functional blocks, and the modules described herein with respect to the Figures referenced above include processors, electronics devices, hardware devices, electronics components, logical circuits, memories, software codes, firmware codes, among other examples, or any combination thereof. Software shall be construed broadly to mean instructions, instruction sets, code, code segments, program code, programs, subprograms, software modules, application, software applications, software packages, routines, subroutines, objects, executables, threads of execution, procedures, and / or functions, among other examples, whether referred to as software, firmware, middleware, microcode, hardware description language or otherwise. In addition, features discussed herein may be implemented via specialized processor circuitry, via executable instructions, or combinations thereof.

[0128] Those of skill in the art that one or more blocks (or operations) described with reference to Figure 3 may be combined with one or more blocks (or operations) described with reference to another of the figures. For example, one or more blocks (or operations) of Figure 3 may be combined with one or more blocks (or operations) of Figure 1 or Figure 2. As another example, one or more blocks associated with Figures 4 or 5 may be combined with one or more blocks (or operations) associated with Figures 1-3.

[0129] Those of skill in the art would further appreciate that the various illustrative logical blocks, modules, circuits, and algorithm steps described in connection with the disclosure herein may be implemented as electronic hardware, computer software, or combinations of both. To clearly illustrate this interchangeability of hardware and software, various illustrative components, blocks, modules, circuits, and steps have been described above generally in terms of their functionality. Whether such functionality is implemented as hardware or software depends upon the particular application and design constraints imposed on the overall system. Skilled artisans may implement the described functionality in varying ways for each particular application, but such implementation decisions should not be interpreted as causing a departure from the scope of the present disclosure. Skilled artisans will also readily recognize that the order or combination of components, methods, or interactions that are described herein are merely examples and that the components, methods, or interactions of the various aspects of the present disclosure may be combined or performed in ways other than those illustrated and described herein.

[0130] The various illustrative logics, logical blocks, modules, circuits and algorithm processes described in connection with the implementations disclosed herein may be implemented as electronic hardware, computer software, or combinations of both. The interchangeability of hardware and software has been described generally, in terms of functionality, and illustrated in the various illustrative components, blocks, modules, circuits, and processes described above. Whether such functionality is implemented in hardware or software depends upon the particular application and design constraints imposed on the overall system.

[0131] In one or more aspects, the operations described may be implemented in hardware, digital electronic circuitry, computer software, firmware, including the structures disclosed in this specification and their structural equivalents thereof, or in any combination thereof. Implementations of the subject matter described in this specification also may be implemented as one or more computer programs, which is one or more modules of computer program instructions, encoded on a computer storage media for execution by, or to control the operation of, data processing apparatus.

[0132] The operations of a method or algorithm disclosed herein may be implemented in a processor-executable software module which may reside on a computer-readable medium and commercially made available as a computer program product as software. Computer-readable media includes both computer storage media and communication media including any medium that may be enabled to transfer a computer program from one place to another. A storage media may be any available media that may be accessed by a computer. By way of example, and not limitation, such computer-readable media may include random-access memory (RAM) , read-only memory (ROM) , electrically erasable programmable read-only memory (EEPROM) , CD-ROM or other optical disk storage, magnetic disk storage or other magnetic storage devices, or any other medium that may be used to store desired program code in the form of instructions or data structures and that may be accessed by a computer. Also, any connection may be properly termed a computer-readable medium. Disk and disc, as used herein, includes compact disc (CD) , laser disc, optical disc, digital versatile disc (DVD) , floppy disk, and Blu-ray disc wherein disks usually reproduce data magnetically and discs reproduce data optically with lasers. Combinations of the above should also be included within the scope of computer-readable media.

[0133] Various modifications to the implementations described in this disclosure may be readily apparent to those skilled in the art, and the generic principles defined herein may be applied to some other implementations without departing from the spirit or scope of this disclosure. Thus, the claims are not intended to be limited to the implementations shown herein but are to be accorded the widest scope consistent with this disclosure, the principles and the novel features disclosed herein.

[0134] Additionally, a person having ordinary skill in the art will readily appreciate, opposing terms such as “upper” and “lower, ” or “front” and back, ” or “top” and “bottom, ” or “forward” and “backward, ” or “left” and “right” are sometimes used for ease of describing the figures, and indicate relative positions corresponding to the orientation of the figure on a properly oriented page, and may not reflect the proper orientation of any device as implemented.

[0135] Certain features that are described in this specification in the context of separate implementations also may be implemented in combination in a single implementation. Conversely, various features that are described in the context of a single implementation also may be implemented in multiple implementations separately or in any suitable subcombination. Moreover, although features may be described above as acting in certain combinations and even initially claimed as such, one or more features from a claimed combination may in some cases be excised from the combination, and the claimed combination may be directed to a subcombination or variation of a subcombination.

[0136] Similarly, while operations are depicted in the drawings in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown, or in sequential order, or that all illustrated operations be performed to achieve desirable results. Further, the drawings may schematically depict one or more example processes in the form of a flow diagram. However, other operations that are not depicted may be incorporated in the example processes that are schematically illustrated. For example, one or more additional operations may be performed before, after, simultaneously, or between any of the illustrated operations. In certain circumstances, multitasking and parallel processing may be advantageous. Moreover, the separation of various system components in the implementations described above should not be understood as requiring such separation in all implementations, and it should be understood that the described program components and systems may generally be integrated together in a single software product or packaged into multiple software products. Additionally, some other implementations are within the scope of the following claims. In some cases, the actions recited in the claims may be performed in a different order and still achieve desirable results.

[0137] As used herein, including in the claims, the term “or, ” when used in a list of two or more items, means that any one of the listed items may be employed by itself, or any combination of two or more of the listed items may be employed. For example, if a composition is described as containing components A, B, or C, the composition may contain A alone; B alone; C alone; A and B in combination; A and C in combination; B and C in combination; or A, B, and C in combination. Also, as used herein, including in the claims, “or” as used in a list of items prefaced by “at least one of” indicates a disjunctive list such that, for example, a list of “at least one of A, B, or C” means A or B or C or AB or AC or BC or ABC (that is A and B and C) or any of these in any combination thereof.

[0138] The term “substantially” is defined as largely, but not necessarily wholly, what is specified (and includes what is specified; for example, substantially 90 degrees includes 90 degrees and substantially parallel includes parallel) , as understood by a person of ordinary skill in the art. In any disclosed implementations, the term “substantially” may be substituted with “within [apercentage] of” what is specified, where the percentage includes . 1, 1, 5, or 10 percent.

[0139] The previous description of the disclosure is provided to enable any person skilled in the art to make or use the disclosure. Various modifications to the disclosure will be readily apparent to those skilled in the art, and the generic principles defined herein may be applied to other variations without departing from the spirit or scope of the disclosure. Thus, the disclosure is not intended to be limited to the examples and designs described herein but is to be accorded the widest scope consistent with the principles and novel features disclosed herein.

Claims

1.An apparatus, comprising:a memory; andat least one processor coupled to the memory and configured to perform operations comprising:determining that a first application window for an application is present on a user interface, wherein the first application window is associated with an application launch for the application;adjusting an operating parameter for the at least one processor based on determining that the first application window is present on the user interface;determining that a second application window for the application is present on the user interface; andadjusting the operating parameter for the at least one processor based on determining that a second application window for the application is present on the user interface.2.The apparatus of claim 1, wherein:the second application window for the application corresponds to a main user interface of the application for receiving user input for the application;the at least one processor is configured to adjust the operating parameter for the at least one processor based on determining that the first application window is present on the user interface by increasing, based on determining that the first application window is present on the user interface, a frequency of the at least one processor; andthe at least one processor is configured to adjust the operating parameter for the at least one processor based on determining that the second application window for the application is present on the user interface by reducing, based on determining that the second application window is present on the user interface, the frequency of the at least one processor.3.The apparatus of claim 1,wherein the at least one processor is configured to determine that the first application window of the application is present on the user interface by:determining that a first window is present on the user interface; anddetermining, based on a least frequently used (LFU) protocol and a reinforcement learning model, that the first window present on the user interface is the first application window for the application; andwherein the at least one processor is configured to determine that the second application window of the application is present on the user interface by:determining that a second window is present on the user interface after the first window was present on the user interface; anddetermining, based on the LFU protocol and the reinforcement learning model, that the second window present on the user interface is the second application window.4.The apparatus of claim 3,wherein the at least one processor is configured to determine that the first window is the first application window by:comparing the first window to a list of window IDs stored in a cache associated with the application, wherein each window ID is associated with a respective time duration;increasing, after identifying the first window among the list of window IDs, a time counter associated with a window ID corresponding to the first window; anddetermining, based on a window ID associated with the highest time duration among the list of window IDs after the first window is present on the user interface, that the first window is the first application window;wherein the at least one processor is configured to determine that the second window is the second application window by:comparing the second window to the list of window IDs stored in the cache associated with the application, wherein each window ID is associated with a respective time duration;increasing, after identifying the second window among the list of window IDs, a time counter associated with a window ID corresponding to the second window; anddetermining, based on a window ID associated with the highest time duration among the list of window IDs after the second window is present on the user interface, that the second window is the second application window.5.The apparatus of claim 4, wherein the at least one processor is configured to:determine that a third window is present on the user interface;compare the third window to the list of window IDs stored in the cache associated with the application;replace, within the cache, after failing to identify the third window among the list of window IDs, a window ID having an associated time duration that is the least among time durations associated with other window IDs with the third window; andstore, within the cache, the third window and a third time duration associated with the third window.6.The apparatus of claim 4,wherein the at least one processor is configured to determine that the first window is the first application window by:inputting a first set of parameters of the list of window IDs into the reinforcement learning model to determine whether the first window is the first application window, wherein the set of parameters includes a time duration associated with the window ID corresponding to the first window; andwherein the at least one processor is configured to determine that the second window is the second application window by:inputting a second set of parameters of the list of window IDs into the reinforcement learning model to determine whether the second window is the first application window, wherein the second set of parameters includes a time duration associated with the window ID corresponding to the second window.7.The apparatus of claim 6,wherein the at least one processor is further configured to determine that the first window is the first application window by:adjusting, after inputting the first set of parameters into the reinforcement learning model, a time duration associated with the window ID corresponding to the first window;determining, after adjusting the time duration, that the window ID corresponding to the first window is associated with the highest time duration in the list of window IDs; anddetermining, based on the window ID corresponding to the first window associated with the highest time duration, that the first window is the first application window; andwherein the at least one processor is further configured to determine that the second window is the second application window by:adjusting, after inputting the second set of parameters into the reinforcement learning model, a time duration associated with the window ID corresponding to the second window;determining, after adjusting the time duration, that the window ID corresponding to the second window is associated with the highest time duration in the list of window IDs; anddetermining, based on the window ID corresponding to the second window associated with the highest time duration, that the second window is the second application window.8.The apparatus of claim 1, wherein the at least one processor is configured to determine that the first application window is present on the user interface by detecting a user input causing the first application window to output via the user interface.9.A method, comprising:determining, by at least one processor, that a first application window for an application is present on a user interface, wherein the first application window is associated with an application launch for the application;adjusting an operating parameter for the at least one processor based on determining that the first application window is present on the user interface;determining, by the at least one processor, that a second application window for the application is present on the user interface; andadjusting the operating parameter for the at least one processor based on determining that a second application window for the application is present on the user interface.10.The method of claim 9, wherein:the second application window for the application corresponds to a main user interface of the application for receiving user input for the application;adjusting the operating parameter for the at least one processor based on determining that the first application window is present on the user interface comprises increasing, based on determining that the first application window is present on the user interface, a frequency of the at least one processor; andadjusting the operating parameter for the at least one processor based on determining that the second application window for the application is present on the user interface comprises reducing, based on determining that the second application window is present on the user interface, the frequency of the at least one processor.11.The method of claim 9,wherein determining that the first application window of the application is present on the user interface comprises:determining, by the at least one processor, that a first window is present on the user interface; anddetermining, by the at least one processor, based on a least frequently used (LFU) protocol and a reinforcement learning model, that the first window present on the user interface is the first application window for the application; andwherein determining that the second application window of the application is present on the user interface comprises:determining, by the at least one processor, that a second window is present on the user interface after the first window was present on the user interface; anddetermining, by the at least one processor, based on the LFU protocol and the reinforcement learning model, that the second window present on the user interface is the second application window.12.The method of claim 11,wherein determining that the first window is the first application window comprises:comparing, by the at least one processor, the first window to a list of window IDs stored in a cache associated with the application, wherein each window ID is associated with a respective time duration;increasing, by the at least one processor, after identifying the first window among the list of window IDs, a time counter associated with a window ID corresponding to the first window; anddetermining, by the at least one processor, based on a window ID associated with the highest time duration among the list of window IDs after the first window is present on the user interface, that the first window is the first application window;wherein determining that the second window is the second application window comprises:comparing, by the at least one processor, the second window to the list of window IDs stored in the cache associated with the application, wherein each window ID is associated with a respective time duration;increasing, by the at least one processor, after identifying the second window among the list of window IDs, a time counter associated with a window ID corresponding to the second window; anddetermining, by the at least one processor, based on a window ID associated with the highest time duration among the list of window IDs after the second window is present on the user interface, that the second window is the second application window.13.The method of claim 12, further comprising:determining, by the at least one processor, that a third window is present on the user interface;comparing, by the at least one processor, the third window to the list of window IDs stored in the cache associated with the application;replacing, within the cache, after failing to identify the third window among the list of window IDs, a window ID having an associated time duration that is the least among time durations associated with other window IDs with the third window; andstoring, within the cache, the third window and a third time duration associated with the third window.14.The method of claim 12,wherein determining that the first window is the first application window comprises:inputting, by the at least one processor, a first set of parameters of the list of window IDs into the reinforcement learning model to determine whether the first window is the first application window, wherein the set of parameters includes a time duration associated with the window ID corresponding to the first window; andwherein determining that the second window is the second application window comprises:inputting, by the at least one processor, a second set of parameters of the list of window IDs into the reinforcement learning model to determine whether the second window is the first application window, wherein the second set of parameters includes a time duration associated with the window ID corresponding to the second window.15.The method of claim 14,wherein determining that the first window is the first application window comprises:adjusting, by the at least one processor, after inputting the first set of parameters into the reinforcement learning model, a time duration associated with the window ID corresponding to the first window;determining, by the at least one processor, after adjusting the time duration, that the window ID corresponding to the first window is associated with the highest time duration in the list of window IDs; anddetermining, by the at least one processor, based on the window ID corresponding to the first window associated with the highest time duration, that the first window is the first application window; andwherein determining that the second window is the second application window comprises:adjusting, by the at least one processor, after inputting the second set of parameters into the reinforcement learning model, a time duration associated with the window ID corresponding to the second window;determining, by the at least one processor, after adjusting the time duration, that the window ID corresponding to the second window is associated with the highest time duration in the list of window IDs; anddetermining, by the at least one processor, based on the window ID corresponding to the second window associated with the highest time duration, that the second window is the second application window.16.The method of claim 9, wherein determining that the first application window is present on the user interface comprises detecting, by the at least one processor, a user input causing the first application window to output via the user interface.17.An apparatus, comprising:a user interface;a memory configured to store a list of window IDs for an application; andat least one processor configured to operate in more than one frequency and perform operations comprising:determining that a first window is present on the user interface;determining, based on a least frequently used (LFU) protocol and a reinforcement learning model, that the first window present on the user interface is a first application window for the application;adjusting, based on the determining that the first application window is present on the user interface, an operating parameter of the at least one processor;determining that a second window is present on the user interface after the first window was present on the user interface;determining, based on the LFU protocol and the reinforcement learning model, that the second window present on the user interface is a second application window for the application, wherein the second application window corresponds to a main user interface of the application for receiving user input for the application; andadjusting, based on determining that the second application window is present on the user interface, the operating parameter of the at least one processor.18.The apparatus of claim 17,wherein the at least one processor is configured to determine that the first window is the first application window by:comparing the first window to the list of window IDs, wherein each window ID is associated with a respective time duration;increasing, after identifying the first window among the list of window IDs, a time counter associated with a window ID corresponding to the first window; anddetermining, based on a window ID associated with the highest time duration in the list of window IDs after the first window is present on the user interface, that the first window is the first application window;wherein the at least one processor is configured to determine that the second window as the second application window by:comparing the second window to the list of window IDs, wherein each window ID is associated with a respective time duration;increasing, after identifying the second window among the list of window IDs, a time counter associated with a window ID corresponding to the second window; anddetermining, based on a window ID associated with the highest time duration in the list of window IDs after the second window is present on the user interface, that the second window is the second application window.19.The apparatus of claim 17,wherein the at least one processor is configured to determine that the first window is the first application window by:inputting a first set of parameters of the list of window IDs into the reinforcement learning model to determine whether the first window is the first application window, wherein the set of parameters includes a time duration associated with the window ID corresponding to the first window; andwherein the at least one processor is configured to determine that the second window is the second application window by:inputting a second set of parameters of the list of window IDs into the reinforcement learning model to determine whether the second window is the first application window, wherein the second set of parameters includes a time duration associated with the window ID corresponding to the second window.20.The apparatus of claim 19,wherein the at least one processor is configured to determine that the first window is the first application window by:adjusting, after inputting the first set of parameters into the reinforcement learning model, a time duration associated with the window ID corresponding to the first window;determining, after adjusting the time duration, that the window ID corresponding to the first window is associated with the highest time duration in the list of window IDs; anddetermining, based on the window ID corresponding to the first window associated with the highest time duration, that the first window is the first application window; andwherein the at least one processor is configured to determine that the second window is the second application window by:adjusting, after inputting the second set of parameters into the reinforcement learning model, a time duration associated with the window ID corresponding to the second window;determining, after adjusting the time duration, that the window ID corresponding to the second window is associated with the highest time duration in the list of window IDs; anddetermining, based on the window ID corresponding to the second window associated with the highest time duration, that the second window is the second application window.

Images