Processing method and electronic device

Abstract

Provided are a processing method and an electronic device. A processing method includes in response to receiving a target processing task, obtaining component information of a target component required to perform the target processing task; and generating a corresponding feedback based on the component information to cause a target object to perform a target response operation that matches the feedback, the target component and the target object having a target relationship.

Description

PROCESSING METHOD AND ELECTRONIC DEVICECROSS-REFERENCE TO RELATED APPLICATION (S)

[0001] This application claims priority to Chinese Patent Application No. 202510240009.8 filed on February 28, 2025, which is incorporated herein by reference in its entirety. FIELD OF TECHNOLOGY

[0002] The present disclosure relates to the field of artificial intelligence and, more specifically, a processing method and an electronic device.BACKGROUND

[0003] With the rapid development of information technology, multitasking has become a common working mode in operating environments such as computer systems and electronic devices. In this case, multiple tasks often compete for limited target component resources such as processing models and hardware devices.

[0004] Taking the processing model as an example, the management platform currently connected to these processing model or device resource can only respond to one processing task request at a time. When multiple task requests are received, the processing model is generally called sequentially based on the order of the task requests, without fully considering the diverse task needs of users. This leads to poor user experience, and can easily result in wasting of resources and reduce the overall efficiency.SUMMARY

[0005] One aspect of this disclosure provides a processing method. The processing method includes, in response to receiving a target processing task, obtaining component information of a target component required to perform the target processing task; and generating a corresponding feedback based on the component information to cause a target object to perform a target response operation that matches the feedback, the target component and the target object having a target relationship.

[0006] Another aspect of the present disclosure provides a processing method applied to an electronic device. The processing method includes, in response to receiving a target processing task, obtaining model information of a target processing model, the target processing model being an artificial intelligence model that needs to be called to perform the target processing task; and generating target prompt information based on the model information to cause a target application that triggers the target processing task to perform a target response operation based on at least the target prompt information.

[0007] Another aspect of the present disclosure provides an electronic device. The electronic device includes one or more processors and one or more memories storing one or more programs that, when executed by the one or more processors, cause the one or more processors to, in response to receiving a target processing task, obtain component information of a target component required to perform the target processing task; and generate a corresponding feedback based on the component information to cause a target object to perform a target response operation that matches the feedback, the target component and the target object having a target relationship.BRIEF DESCRIPTION OF THE DRAWINGS

[0008] FIG. 1 is a flowchart of a processing method according to an embodiment of the present disclosure.

[0009] FIG. 2 is a flowchart of the process at 100 in FIG. 1.

[0010] FIG. 3 is a flowchart of the processing method according to another embodiment of the present disclosure.DETAILED DESCRIPTION

[0011] Various aspects and features of the present disclosure are described herein with reference to the accompanying drawings.

[0012] Obviously, various modifications may be made to embodiments described herein. Thus, the description should not be construed as limiting, but merely as examples of the embodiments. Other modifications within the scope and spirit of the present disclosure will be obtained by those skilled in the art.

[0013] The accompanying drawings, which are incorporated in and constitute a part of the specification, illustrate the embodiments of the present disclosure and, together with the general description of the present disclosure given and the detailed description of the embodiments, serve to explain the principle of the present disclosure.

[0014] These and other features of the present disclosure will be apparent from the description of the embodiments given as non-limiting examples with reference to the accompanying drawings.

[0015] It is further noted that, although the present disclosure has been described with reference to specific examples, those skilled in the art will be able to implement many other equivalent forms of the present disclosure, which have the characteristics as claimed and therefore fall within the scope of protection.

[0016] Other aspects, features, and advantages of the present disclosure will be apparent in view of the following detailed description when taken in conjunction with the accompanying drawings.

[0017] Hereinafter, specific embodiments of the present disclosure will be described with reference to the accompanying drawings. However, it should be understood that the embodiments are merely examples of the present disclosure, which can be implemented in various ways. Well-known and / or repeated functions and structures have not been described in detail to avoid obscuring the description of the present disclosure with unnecessary or redundant detail. Therefore, specific structural and functional details claimed herein are not intended to be limiting, but merely serve as a representative basis for the claims to teach one skilled in the art to utilize the present disclosure in substantially any suitable detailed structure.

[0018] This specification may use the phrases “in one embodiment, ” “in another embodiment, ” “in yet another embodiment, ” “in some embodiments, ” or “in some other embodiments, ” which may refer to the same thing in accordance with the present disclosure. or one or more of the different embodiments.

[0019] An embodiment of the present disclosure provides a processing method, which includes obtaining component information of target components required to perform the target processing task, and generating corresponding feedback based on the information. This effectively coordinates the relationship between the target processing tasks and the target components, preventing resource idleness and improving resource utilization efficiency and task processing efficiency. For example, when task A is using an large language model (LLM) to perform a text generation task, and task B requests to perform an image generation task, the processing method provided in the present disclosure can coordinate the relationship between task A and task B and multiple models, or provide personalized prompt information, thereby avoiding resource conflicts and idleness, and improving the efficiency of electronic devices in utilizing processing models or responding to processing tasks.

[0020] The processing method of the present disclosure will be described in detail below with reference to the accompanying drawings. FIG. 1 is a flowchart of a processing method according to an embodiment of the present disclosure. The method will be described in detail below.

[0021] 100, in response to receiving a target processing task, obtaining component information of a target component required to perform the target processing task.

[0022] The target processing task may include tasks that generate specific data, tasks that require the use of specific hardware, or tasks that require the use of specific software or drivers, etc. The task of generating specific data may be a text generation task, an image generation task, a video generation task, or an intelligent question-answering task, etc. Tasks that require the use of specific hardware may include those that need to use microphone, camera, shared processor, or speakers, such as video conferencing tasks, live video streaming tasks, etc. Tasks that require specific software or drivers may include tasks involving software calls, such as video editing and synthesis through video editing software, or rendering tasks that require calling graphics card drivers and utilizing graphics card resources.

[0023] The target component may be a processing model, a hardware component, or a software program, etc. The processing model may be an optical character recognition (OCR) model component, a prompt optimization (PO) model component, an automatic speech recognition (ASR) model component, an image model component, an LLM model, a Sora model (text-to-video model) , or a GPT model, etc. The hardware component may include a camera, a microphone, a display, a speaker, a keyboard, a mouse, or a processor, etc. The Software program may include a software application or a device driver, etc.

[0024] The component information of the target component may include at least one of component category information, component usage information and component configuration information. The component category information may be the category of the model being called, the category of the hardware being used, or the category of the software program being invoked. The component usage information can include the component's usage state, such as idle or busy; it may also include the component's usage schedule or usage duration. The usage schedule of a component may be determined by checking if there is a queue of tasks waiting to be executed. The usage duration of a component may be used to assess its heat dissipation or heat generation. The component configuration information may include hardware configuration information (such as model, manufacturer, etc. ) for components such as cameras, processors, and speakers, as well as functional configuration information. The functional configuration information may include the functions that the component can perform.

[0025] For example, the target processing task is a text generation task, and the target component required to perform this text generation task is an LLM model. When the instruction for this text generation task is received, the process of obtaining the model information of the LLM model is triggered.

[0026] 200, generating corresponding feedback based on the component information to cause a target object to perform a target response operation that matches the feedback, the target component and the target object having a target relationship.

[0027] In some embodiments, if the target component is determined to be idle based on its usage information, and it is determined that the target component is capable of handling the target processing task based on its functional configuration information, then a task execution instruction can be generated.

[0028] In some embodiments, if it is determined that the target component is busy but can wait based on the usage information of the target component, a feedback prompt indicating the waiting time can be generated. In some embodiments, a result that requires waiting can be generated along with recommended content that can be enjoyed during the waiting time, such as suggesting intelligent chat services, recommending a fun fact, suggesting a mini-game, or recommending artwork that can be browsed or appreciated, etc. Further, recommendations can be made based on the expected waiting time.

[0029] In some embodiments, if, based on the usage information of the target component, it is determined that the target component is busy and cannot wait (the waiting time is too long and exceeds the waiting time threshold) , it may indicate that the target component is processing a large number of tasks or that its resources are fully utilized. In this busy state, it is not suitable for the target object to continue waiting for the target component to complete its current tasks; therefore, different operations can be taken based on the configuration strategy for the target object.

[0030] The target object may be a target processing device or a target application. The target processing device may be a smartphone or a computer, and the target application may be a software application running on the processing device. Based on the generated feedback, the target object can perform the corresponding operations. For example, in a software system, the system's automatic scheduling module may reallocate system resources after receiving feedback on resource adjustments.

[0031] The target response operation may involve directly calling the target component or running the target component to perform processing tasks. The target response operation may also involve waiting for the target component to become available based on different processing strategies, relaying the task to other devices, or adjusting task execution priorities and schedules.

[0032] The relationship between the target component and the target object may vary depending on the feedback received.

[0033] For example, assume that the target object is a smartphone, and the target component is an ASR model component, which can be integrated into the smartphone. In this relationship, the ASR model component is used to convert the user's voice commands into text information such that the mobile operating system and applications can understand and execute the corresponding operations. For example, when a user says "open the music player" via voice command, the ASR model component recognizes and understands the speech, converting it into a command that the operating system can understand, which then instructs the phone's operating system to find and open the corresponding music application.

[0034] For example, assume the target object is an image generation application’s creator zone, and the target component is an image model component (e.g., a Stable Diffusion model component) , running on an electronic device equipped with a runtime environment. The Stable Diffusion model components are used to generate corresponding images based on the input text prompts. The current Stable Diffusion model component is busy as multiple users' image generation tasks are queued and waiting to be processed. When a user enters a text prompt into the image generation application's creator zone to generate a landscape image, the system detects that the Stable Diffusion model component is busy and generates feedback, informing the user to wait. After receiving the feedback, the image generation application's creator zone performs a waiting operation. During the waiting process, the image generation application's creator zone can display recommendations of excellent landscape paintings already generated by other users to improve the user experience and reduce the boredom of waiting.

[0035] When the Stable Diffusion model component has finished processing the current task and is in an idle state, at this time, the user inputs a text prompt into the image generation application's creator zone to generate a sci-fi style image. The system detects that the Stable Diffusion model component is idle and generates feedback, informing the user that no waiting is required. The Stable Diffusion model component begins generating the sci-fi style image based on the text prompts entered by the user, and the generated image is displayed in the image generation application's creator zone for the user to view and use.

[0036] In some embodiments, as shown in FIG. 2, the process at 100, obtaining component information for the target component required to perform the target processing task, may include the following processes.

[0037] 110, based on task information of the target processing task, determining the target component from at least one of processing models, configured hardware components, and configured software components deployed on an electronic device.

[0038] The task information of the target processing task may include the task content, identification information of the components involved, task requirements, and task source information. Task requirements may include task priority, task urgency, or specifications for the task's results. Task source information can indicate which application the task originated from, etc.

[0039] For example, assume the task information of the target processing task is as follows: convert a 10-minute audio file into text with relatively high recognition accuracy and the ability to recognize multiple languages. The electronic device is equipped with a "Multilingual ASR Model" (multilingual automatic speech recognition model) , which has been trained on a large amount of multilingual data. It can meet the demands of multilingual recognition and also performs well when processing longer audio, hence meeting the task requirements for recognition accuracy and speed. The electronic device is also equipped with high-performance hardware components, including a powerful CPU, capable of running a Multilingual ASR Model and ensuring fast processing speeds. The software component configured in the electronic device is a speech-to-text office software, used to receive and display the recognition results. Based on the task information above, the Multilingual ASR Model, CPU, and speech-to-text office software can be identified as the target components.

[0040] 120, obtaining at least one of component category information, component usage information, and component configuration information of the target component.

[0041] For different types of target components, the component information can be obtained using different methods or strategies. For example, if the target component is a processing model, the model information can be obtained directly through the communication channel between each model and the runtime environment, or based on the model information stored in the runtime environment. If the target component is a hardware component, the hardware information can be obtained through monitoring software, BIOS, or the drivers of each hardware component. If the target component is a software program, information of the software program can be obtained from its properties, log files, and settings options.

[0042] In some embodiments, the process at 110, determining the target component from the processing model deployed on the electronic device based on the task information of the target processing task may include obtaining the task content of the target processing task, and determining the processing model in the deployed processing model of the electronic device that can execute the task content as the target component. The task content of the target processing task may include image generation, text generation, game hosting, video generation, interactive question answering, video / image processing, etc.

[0043] For example, user entered the following description into an image creation application: "An ancient castle surrounded by pink cherry blossoms, with snowflakes falling from the sky, " and requested that an image matching this style be generated. Multiple processing models, such as the ImageNet model (primarily used for image classification) , the Stable Diffusion model (a text-to-image model) , and the GPT model, are deployed on the electronic device. Since the target processing task involves generating images based on text descriptions, the Stable Diffusion model excels at generating images of complex scenes, effectively understanding elements such as castles, cherry blossoms, and snowflakes in the input text and generating corresponding images. Therefore, the Stable Diffusion model is selected as the target component.

[0044] In some embodiments, the model identification information carried by the target processing task may be obtained, and the processing model that matches the model identification information in the processing models deployed on the electronic device may be determined as the target component. The model identification information may be the model name, descriptive information that uniquely identifies the model, etc. In some embodiments, the descriptive information that can characterize the uniqueness of the model can be the model’s version number.

[0045] For example, if a user inputs a target processing task into an image recognition application, and that task includes the model version number ResNet50 v2.0, then the convolutional neural network model ResNet50 deployed on the electronic device can be identified as the target component based on this version number.

[0046] In some embodiments, the task requirements of the target processing task may be obtained, and the processing model that meets the task requirements in the processing models deployed in the electronic device may be determined as the target component. The task requirements for the target processing task may include task priority, task urgency, or specifications for the task results, etc.

[0047] For example, assume a user submits two tasks simultaneously in an image editing software. Task A1 involves simple color adjustments to a regular personal photo, with a low priority; task B1 involves high-precision image restoration and enhancement for an important commercial advertising image, with a high priority. Two image editing-related processing models are deployed in the electronic device. Model M1 is a basic image adjustment model with faster processing speed but relatively simple functionality, and model M2 is an advanced image restoration and enhancement model with better processing results but slower speed. For task A1, since it has low priority and only involves simple color adjustments, model M1 is sufficient to meet the requirements and can process the task quickly. Therefore, model M1 can be designated as the target component for task A1. For task B1, due to its high priority and demanding requirements for image restoration and enhancement, model M2, although slower in processing speed, can meet the high-quality task requirements. Therefore, model M2 can be selected as the target component for task B1.

[0048] In some embodiments, the task intention of the target processing task may be obtained, and the processing model that matches the task intention in the processing models deployed on the electronic device may be determined as the target component. The task intention of the target processing task can be understood as the desired outcome that the target processing task aims to achieve.

[0049] For example, in natural language processing applications, the target processing task is to translate a piece of text, and the task intention is to convert the text from one language to another. User input can come from a specific application, such as a dedicated image editing application or translation application; or it can come from any other application, as long as that application can receive user input and trigger the target processing task. The task intent may be obtained by analyzing the user input, which can be in the form of text or speech. The system can process and analyze the characters or voice input by the user, converting them into a form that the computer can understand.

[0050] In some embodiments, the task source information of the target processing task may be obtained, and the processing model that matches the task source information in the processing models deployed in the electronic device may be determined as the target component. The task source information may be the information of the application that initiated the request, or the information of the device that generated the task.

[0051] For example, assume a user has two different image applications installed on a mobile phone. App E is a professional photo editing software primarily used for detailed color adjustments and defect correction of photographs, and pp F is a simple image-sharing social media application where users mainly perform basic operations such as adding filters and cropping. At this time, the user initiated a task through app E to perform deep noise reduction and color restoration on a RAW format photo. Multiple image-related processing models are deployed on the mobile phone, where model X1 is an advanced model designed for professional photo post-processing, capable of performing complex noise reduction and color correction on RAW format photos, and model X2 is a lightweight image optimization model primarily used for quickly adding common filters and performing simple size adjustments to regular photos. Since the task was initiated by a professional photo editing software application, app E, and the task requires in-depth processing of RAW format photos, model X1's functionality matches the professional positioning of app E and the task requirements. Therefore, model X1 is determined as the target component for this task.

[0052] In some embodiments, the process at 110, determining the target component from the processing model deployed on the electronic device based on the task information of the target processing task may include obtaining user profile information of a target user who triggered the target processing task, and determining the target component from at least one of the processing models, hardware components, and software components based on the task information and the user profile information. The user profile information may be generated based on user habits or preferences that are trained or learned from historical data. For example, by analyzing historical data such as users' past actions, usage frequency, and usage time when using software or hardware, and through training or learning with machine learning algorithms, users' habits and preferences can be determined. For example, a user may prefer to use specific features of a certain type of software, or have particular requirements regarding the performance of certain hardware. This type of information constitutes user profile information.

[0053] For example, if the target processing task involves complex image rendering, and the user profile information indicates that the user generally uses a high-performance graphics card and specific image processing software. When determining the target components, a high-performance graphics card can be selected as the hardware component, the image processing software that the user is accustomed to using can be selected as the software component, and a processing model suitable for this image rendering task can be chosen. That is, by combining task-specific information and user preferences, the system can select the most suitable components from processing models, hardware components, and software components to serve as target components for the user to complete the processing task, thereby improving task processing efficiency and user satisfaction.

[0054] In some embodiments, big data information corresponding to the target processing task may be obtained, and the target component may be determined from at least one of the processing models, hardware components, and software components based on the task information and the big data information. That is, by combining task information and referencing historical big data information regarding the target components required for similar processing tasks, the target components can be determined from at least one of the processing models, hardware components, and software components.

[0055] For example, assuming the target processing task is to quickly classify large-scale image data. By querying big data information, it is determined that convolutional neural network models, high-performance GPUs, and specific image data processing software have been used in similar tasks in the past. Based on the specific data volume and processing speed requirements of the current target processing task, and after comprehensive evaluation, the final target component can be selected to complete this target processing task. For example, the final target components can be a previously used convolutional neural network model, a higher-performing GPU hardware, and optimized image data processing software.

[0056] In some embodiments, target evaluation information may be obtained, and the target component may be determined from at least one of the processing models, hardware components, and software components based on the based on the task information and the target evaluation information. The target evaluation information may be the historical evaluation information for at least one of the processing models, hardware components, and software components. In some embodiments, the historical evaluation information may include historical ratings, compliments, or critical textual reviews.

[0057] For example, assume that two text-to-image models, Y1 and Y2, are deployed in an electronic device. Based on past user descriptions entered into image creation applications, text-to-image model Y1 has a historical rating of 3 out of 5, and text-to-image model Y2 has a historical rating of 4 out of 5. Therefore, based on these historical ratings, text-to-image model Y2 can be selected as the target component.

[0058] In some embodiments, spatial environment information of the electronic device may be obtained, and the target component may be determined from at least one of the processing models, hardware components, and software components based on the based on the task information and the spatial environment information. The spatial environment information of the electronic device may include its current spatial location and current privacy and security state. Based on the current spatial location, the choice between a high-power or low-power model can be determined by the current ambient temperature and ventilation conditions; and the choice between a backend model or direct interaction hardware / software can be determined by the current privacy and security state.

[0059] For example, assume the current task information involves monitoring the user task data, and the user is currently running outdoors in a high-temperature environment with generally poor ventilation. Given the current high temperature and generally poor ventilation conditions, to prevent the processor from overheating and affecting performance due to running high-power models, a low-power but relatively accurate motion data processing model is selected as the target component.

[0060] In some embodiments, the task content of the target processing task may be determined, and the hardware and / or software components of the electronic device that are capable of performing the task content may be determined as the target component. The target processing tasks may include document editing, video editing, or data statistical analysis, etc. The task content may include the specific requirements of the task, the type and format of the input data, and the expected output results.

[0061] For example, when the target processing task of an electronic device is to run a large 3D game, the task may include smoothly displaying the game graphics and processing various interactive operations in the game in real time. The hardware components in an electronic device capable of performing this task may include a high-performance CPU, a dedicated graphics card, and a large amount of memory, and the software components may include an operating system compatible with the game and the game program itself. These identified hardware and software components constitute the target components for the processing task of running this large 3D game.

[0062] In some embodiments, component identification information carried by the target processing task may be obtained, and the hardware and / or software components configured in the electronic device that match the component identification information may be determined as the target components. The component identification information may be a code, name, or number that uniquely identifies a particular component. For example, if the target processing task carries component identification information that corresponds to the model number of a specific graphics card, and the electronic device contains a graphics card with a matching model number, then that graphics card in the electronic device can be determined as the target component. In another example, if the target processing task carries a specific version identifier of a software application, and there is a matching application in the software components installed on the electronic device, then that application can be determined as the target component.

[0063] In some embodiments, the task requirements of the target processing task may be obtained, and the hardware and / or software components within the electronic device's configuration that can meet the task requirements may be determined as the target components. The task requirements may include demands on computing power, storage capacity, graphics processing capabilities, data transfer speed, etc. For example, the requirements for a high-definition video editing task may include: a high-performance CPU for video encoding and decoding calculations, a large amount of memory to store the video data and temporary files being edited, and a graphics card that supports hardware acceleration for fast rendering of video effects. In this case, components that meet these task requirements can be determined as target components.

[0064] In some embodiments, the task intention of the target processing task may be obtained, and the hardware / software components of the electronic device that match the task intention may be determined as the target components. The task intention of the target processing task may be understood as the core purpose that the target processing task aims to achieve. For example, when a user opens an image editing application on an electronic device to perform an operation, the target processing task is "editing the image, " while the task intention is "to adjust the colors of a photo to make them more vibrant and highlight the subject. " The task intention for a target processing task can be obtained based on analysis of user behavior, task-related parameter settings, and application prompts, and the hardware or software components that align with the task intention can be determined as target components.

[0065] In some embodiments, the task source information of the target processing task may be obtained, and the hardware component in the electronic device's configured hardware components that matches the task source information may be determined as the target component. The task source information can be understood as information of where the task originated, what triggered it, or what external factors are related to it. For example, if the task source information indicates that the target processing task was triggered by an inserted USB device, then the USB interface controller in the electronic device and the hardware circuits associated with the connection to that USB device would match the task source information, and these components can be determined as the target components.

[0066] In some embodiments, in the process at 200, generating the corresponding feedback based on the component information may include generating a task execution instruction to call the target component to perform the target processing task when the component information indicates that the target component of the electronic device is in an idle state.

[0067] It should be noted that the component information can be understood as relevant data or information that reflects the current operating state of a target component in an electronic device. For example, the target component may be the CPU in a computer, and the component information may include the CPU usage rate and whether there are any processes currently running. When this information indicates that the target component is currently idle and not performing any tasks, the system can generate a task execution instruction. This instruction directs the target component to perform a specific target processing task. For example, for a target component like the GPU in a smartphone, if the component information indicates that the GPU is currently idle, and there is a target processing task that requires graphics rendering, the system can generate the task execution instruction and call the GPU to perform the graphics rendering task.

[0068] When the component information indicates that the target component of the electronic device is in an occupied state, target reference data that includes component category information and / or component usage information corresponding to the target component can be generated. This allows the electronic device itself, or the target application running on the electronic device, to perform corresponding response operations based at least on the target reference data.

[0069] It should be noted that when the target component of the electronic device is in an occupied state, including when the concurrent inference queue is full, newly submitted inference tasks cannot immediately enter the queue and must wait outside the queue. Tasks already in the queue will wait to be processed in the order they were received. Target reference data may include waiting times, recommended prompts, or suggested information. The waiting time can be understood as the estimated time a new task needs to wait for the target component to become available. Recommendation prompts can suggest using other models, devices, or components to complete the current task, while suggestion messages can advise users to change their input commands or switch to a more suitable application.

[0070] The electronic device or the target application running on electronic device may provide feedback based on target reference data. For example, waiting prompts can be displayed based on the waiting time, or users can be guided to use alternative processing methods based on recommended suggestions.

[0071] In addition to the target reference data, more appropriate response actions can be performed by considering user feedback on the data, pre-configured waiting rules for the application or device, and pre-configured processing strategies for the application or device. For example, user feedback on the data may include whether the user accepted the recommendation, the pre-configured waiting rules of the application or device may specify how long to wait before automatically performing a certain action, and the pre-configured processing strategies of the application or device may prioritize certain types of tasks.

[0072] For example, when using a certain image editing application, the application needs to call upon the device's graphics processing component to process high-resolution images. However, the graphics processing component was already occupied by other tasks, and the concurrent inference queue was full. The electronic device may generate category information, usage information, and target reference data of the graphics processing component, such as the waiting time (e.g., estimated to be 5 minutes) , recommendation prompts (e.g., recommending the use of another lightweight image processor on the device to process the current image) , and suggested information (e.g., suggesting reducing the image resolution to speed up processing) . Then, the image editing application may use the target reference data to provide prompts and suggestions, or perform corresponding actions based on the user feedback to these prompts (e.g., the user chose to use a different image processor) to complete the image processing task.

[0073] In some embodiments, generating the target reference data corresponding to the target component’s component category information and / or component usage information may include, when the target component is a first processing model of a first category, calculating the waiting time required to execute the target processing task based on task queue information and first model configuration information of the first processing model.

[0074] The first processing model in the first category may be an OCR component, PO component, or ASR model component with quantifiable processing time. The task queue information for the first processing model may be the number of tasks, and the first model configuration information may include parameters such as model processing capability or inference speed. Specifically, the waiting time required to execute the target processing task can be calculated based on the number of tasks currently in the task queue and the time it takes for the first processing model to process a single task.

[0075] In some embodiments, when the target component is a second processing model of a second category, the waiting time required to execute the target processing task may be calculated based on second model configuration information of the second processing model and current task execution data.

[0076] For example, the second processing model in the second category may be an Image component that allows for runtime statistics of its duration. The process of calculating the waiting time required to perform the target processing task is as follows:

[0077] Based on the time taken to generate each image and the number of images already generated by the Image component, dynamically calculate the average time taken by the image component to generate each previous image. For example, the Image component previously generated an image every 1ms or 2ms on average.

[0078] Based on the total number of images needed and the number of images already generated, calculate the number of remaining images to be generated. For example, if 8 images are needed and 3 have already been generated, then 5 more images need to be generated.

[0079] Based on the average time taken to generate each image using the Image component and the number of remaining images to be generated, calculate the time required to generate the remaining images and used the time as the waiting time for the execution of the target processing task. For example, if the Image component previously generated one image every 1ms on average, and still needs to generate 5 more images, then generating the remaining 5 images will take another 5ms, meaning the target processing task will need to wait for 5ms.

[0080] In some embodiments, when the target component is a third processing model of a third category, the waiting time required to execute the target processing task may be calculated based on the usage duration of the third processing model and the historical operational data.

[0081] For example, the third processing model may be an LLM with unquantifiable processing times. The usage time of the third processing model may be the working time of the text generation task in the inference queue. Historical operational data may include the average time taken for text generation tasks or the text generation speed, etc. The process of calculating the waiting time required to execute the specified target processing task may include: determining the number of current tasks in the LLM’s task queue, dynamically calculating the average text generation time of the LLM based on the time previously spent on text generation tasks and the number of text generation tasks performed, and, if the current number of tasks is greater than or equal to a preset maximum number of parallel inferences for the large language model, predicting the waiting time for the first task to be executed based on the LLM’s elapsed working time and average text generation time.

[0082] In some embodiments, when the target component is a first hardware component of a fourth category, the waiting time required to execute the target processing task may be determined based on usage plan information of the first hardware component and / or the scheduling data of the electronic device.

[0083] For example, the first hardware component in the fourth category may be a camera or a microphone, the target processing task may be a video conferencing task that requires the use of a camera or microphone, and the electronic device's schedule data refers to the meeting schedule information established in the electronic device. In this case, the waiting time required for the video conferencing task to access the camera or microphone can then be determined based on the meeting schedule information.

[0084] In some embodiments, when the target component is a first software component of a fifth category, the waiting time required to execute the target processing task may be determined based on usage schedule information of the first software component, the usage schedule information including scheduling information.

[0085] For example, the first software component in the fifth category may be a video conferencing software. The schedule information for this video conferencing software may indicate that it is required for online training every Friday from 3 PM to 5 PM, and no other unrelated personnel are permitted to use the software for meetings during this time. If a department meeting is scheduled for 3: 15 PM on a Friday and requires the use of this video conferencing software, then based on the software's scheduling information, the waiting time for that department meeting to use the video conferencing software will be 1 hour and 45 minutes.

[0086] In some embodiments, causing the electronic device itself or the target application running on the electronic device to perform the corresponding response operation based on at least the target reference data may include providing the target reference data to the target application to cause the target application to perform a waiting operation or a non-waiting operation based on its configured waiting strategy and the target reference data. The target reference data may be the waiting time, and the waiting strategy configured for the target application may include setting a threshold for the waiting time. Of course, the target application may also configure the waiting strategy based on the urgency or priority level of the task. For example, high-priority tasks can be executed immediately without waiting, even if the waiting time has not reached the threshold; conversely, low-priority tasks can continue to wait even if the waiting time has been reached, in order to prioritize other high-priority tasks.

[0087] In some embodiments, the electronic device itself (e.g., the runtime running on the electronic device) may generate computing power sharing instructions based on the target reference data, and use the computing power sharing instructions to request the first processing device to execute the target processing task. The first processing device may be a device connected to the electronic device via a wired or wireless connection, and at least one artificial intelligence model may be deployed in the first processing device. That is, the electronic device can use its own operating environment to generate computing power sharing instructions based on the target reference data, requesting another device connected to it and equipped with an artificial intelligence model to perform the target processing task. This demonstrates a mechanism for computing power sharing and collaborative processing.

[0088] In some embodiments, the process at 200 may further include notifying the target application to call the processing model to execute the processing task after the queued task waiting processing expires, causing the target object to perform the target response operation that matches the feedback, which may include: obtaining response operation data from the target user regarding the feedback, configuring the target application running on the electronic device, and performing a waiting operation or cancelling the call to the target component based on the response operation data; and, configuring the target application to perform the waiting operation if the waiting time indicated by the feedback matches the waiting strategy configured for the target application.

[0089] For example, the target application may be a client application such as Lenovo Xiaotian, AI Now, and Creator Zone. When a queued task is due for processing (e.g., when the scheduled start time arrives) , the system will notify the target application to call a pre-configured processing model to execute the corresponding task. After the processing task is executed, feedback is generated, and the target object performs a corresponding response operation based on these feedbacks.

[0090] Specifically, the target user's response operation data to the feedback can be displayed in the target application's session window (e.g., a chat window) , an extended window (e.g., an additional pop-up window) , or a notification window (e.g., an on-screen notification window) . After seeing the displayed feedbacks, the target users can choose to agree or disagree. The target application running on the electronic device performs different operations based on the user's response operation data. When the operation to cancel the call to the target component is executed, the target application performs the cancellation by sending a cancel message to the runtime environment.

[0091] FIG. 3 is a flowchart of the processing method according to another embodiment of the present disclosure. The method will be described in detail below.

[0092] 1000, in response to receiving a target processing task, obtaining model information for a target processing model, the target processing model being an artificial intelligence that needs to be called to perform the target processing task.

[0093] 2000, generating target prompt information based on the model information to cause the target application that triggers the target processing task to perform a target response operation based on at least the target prompt information.

[0094] The target processing tasks may include tasks that generate specific data, tasks that require the use of specific hardware, or tasks that require the use of specific software or drivers, etc. Specifically, the task of generating specific data may be a text generation task, an image generation task, a video generation task, or an intelligent question-answering task, etc. Tasks that require the use of specific hardware may include those that need to use microphone, camera, shared processor, or speakers, such as video conferencing tasks, live video streaming tasks, etc. Tasks that require specific software or drivers may include tasks involving software calls, such as video editing and synthesis through video editing software, or rendering tasks that require calling graphics card drivers and utilizing graphics card resources.

[0095] In some embodiments, the target processing model may be an OCR model component, a PO model component, an ASR model component, an Image model component, an LLM model, a Sora model, or a GPT model, etc.

[0096] The target response operation may involve directly calling the target component or running the target component to perform processing tasks. The target response operation may also involve waiting for the target component to become available based on different processing strategies, relaying the task to other devices, or adjusting task execution priorities and schedules.

[0097] For example, the target processing task may be a text generation task, and the target component required to perform this text generation task may be an LLM model. When the text generation task instruction is received, the process of obtaining the model information from the LLM model is triggered. Based on the model information from the LLM model, a target prompt message is generated; for example, the target prompt message may be "wait 2 minutes. " The text generation application that triggers the text generation task can choose to wait for the LLM model to become available based on the waiting time.

[0098] An embodiment of the present disclosure also provides an electronic device. The electronic device includes one or more processors and one or more processing models capable of running on the one or more processors. The one or more processing models may be called by the target application to, in response to receiving a target processing task, obtain model information for a target processing model, the target processing model being an artificial intelligence model that needs to be called to perform the target processing task; and, generate target prompt information based on the model information to cause the target application to perform a target response operation at least based on the target prompt information.

[0099] For example, the target processing task may be a text generation task, and the target component required to perform this text generation task may be an LLM model. When the text generation task instruction is received, the process of obtaining the model information from the LLM model is triggered. Based on the model information from the LLM model, a target prompt message is generated; for example, the target prompt message may be "no waiting required. " The text generation application that triggers the text generation task can then choose to directly call the LLM model or run the LLM model to perform the text generation task based on the prompt information.

[0100] The above embodiments are only exemplary embodiments of the present disclosure, and are not used to limit the present disclosure, and the protection scope of the present disclosure is defined by the claims. Those skilled in the art can make various modifications or equivalent substitutions to the present disclosure within the essence and protection scope of the present disclosure, and such modifications or equivalent substitutions should also be regarded as falling within the protection scope of the present disclosure.

Claims

1.A processing method comprising:obtaining component information of a target component required to perform a target processing task in response to receiving the target processing task; andgenerating a corresponding feedback based on the component information to cause a target object to perform a target response operation that matches the feedback, wherein:the target component and the target object have a target relationship.2.The method of claim 1, wherein obtaining the component information of the target component required to perform the target processing task includes:determining the target component from one or more of deployed processing models, configured hardware components, and configured software components in an electronic device based on task information of the target processing task; andobtaining one or more of component category information, component usage information, and component configuration information of the target component.3.The method of claim 2, wherein determining the target component from the deployed processing models in the electronic device based on the task information of the target processing task includes one or more of:obtaining task content of the target processing task, and determining the processing model required to perform the task content deployed in the electronic device as the target component;obtaining model identification information carried by the target processing task, and determining the processing model deployed in the electronic device that matches the model identification information as the target component;obtaining task requirements of the target processing task, and determining the processing model deployed in the electronic device that meets the task requirements as the target component;obtaining a task intention of the target processing task, and determining the processing model deployed in the electronic device that matches the task intention as the target component; andobtaining task source information of the target processing task, and determining the processing model deployed in the electronic device that matches the task source information as the target component.4.The method of claim 2, wherein determining the target component from one or more of the deployed processing models, the configured hardware components, and the configured software components in the electronic device based on the task information of the target processing task includes one or more of:obtaining user profile information of a target user who triggered the target processing task, and determining the target component from one or more of the processing models, hardware components, and software components based on the task information and the user profile information;obtaining big data information corresponding to the target processing task, and determining the target component from one or more of the processing models, hardware components, and software components based on the task information and the big data information;obtaining target evaluation information, and determining the target component from one or more of the processing models, hardware components, and software components based on the task information and the target evaluation information;obtaining spatial environment information, and determining the target component from one or more of the processing models, hardware components, and software components based on the task information and the spatial environment information;obtaining the task content of the target processing task, and determining the hardware components and / or software components configured in the electronic device that are required to perform the task content as the target components;obtaining component identification information carried by the target processing task, and determining the hardware components and / or software components configured in the electronic device that matches the component identification information as the target components;obtaining the task requirements of the target processing task, and determining the hardware components and / or software components configured in the electronic device that meets the task requirements as the target components;obtaining the task intention of the target processing task, and determining the hardware components and / or software components configured in the electronic device that meet the task intention as the target components; andobtaining the task source information of the target processing task, and determining the hardware components and / or software components configured in the electronic device that match the task source information as the target components.5.The method of claim 1, wherein generating the corresponding feedback based on the component information includes one or more of:generating a task execution instruction to call the target component to perform the target processing task when the component information indicates that the target component of the electronic device is in an idle state; andgenerating target reference data corresponding to the component category information and / or the component usage information of the target component to cause the electronic device itself or a target application running on the electronic device to perform a corresponding response operation based at least on the target reference data.6.The method of claim 5, wherein generating the target reference data corresponding to the component category information and / or the component usage information of the target component includes one or more of:in response to the target component being a first processing model of a first category, calculating waiting time required to execute the target processing task based on task queue information and first model configuration information of the first processing model;in response to the target component being a second processing model of a second category, calculating the waiting time required to execute the target processing task based on second model configuration information of the second processing model and current task execution data;in response to the target component being a third processing model of a third category, calculating the waiting time required to execute the target processing task based on usage duration of the third processing model and historical operational data;in response to the target component being a first hardware component of a fourth category, determining the waiting time required to execute the target processing task based on usage plan information of the first hardware component and / or scheduling data of the electronic device; andin response to the target component being a first software component of a fifth category, determining the waiting time required to execute the target processing task based on usage plan information of the first software component.7.The method of claim 5, wherein causing the electronic device itself or the target application running on the electronic device to perform the corresponding response operations based at least on the target reference data includes one or more of:providing the target reference data to the target application to cause the target application to perform a waiting operation or a non-waiting operation based on its configured waiting strategy and the target reference data; andgenerating, by the electronic device, a computing power sharing instruction based on the target reference data, and using the computing power sharing instruction to request a first processing device to perform the target processing task, the first processing device being deployed with at least one artificial intelligence model.8.The method of claim 1, wherein causing the target object to perform the target response operation that matches the feedback includes one or more of:obtaining the target user’s response operation data to the feedback, and configuring the target application running on the electronic device to perform the waiting operation or cancel the calling of the target component based on the response operation data; andconfiguring the target application to perform the waiting operation if the waiting time indicated by the feedback matches a waiting strategy configured for the target application.9.An electronic device including at least one processor and at least one processing model capable of running on the processor, the processing model being callable by a target application to perform at least one of the following:in response to receiving a target processing task, obtaining model information of a target processing model, the target processing model being an artificial intelligence model that needs to be called to perform the target processing task; orgenerating target prompt information based on the model information to cause a target application that triggers the target processing task to perform a target response operation based on at least the target prompt information.10.The electronic device of claim 9, wherein the processing model is callable by the target application to further perform:determining the target component from one or more of deployed processing models, configured hardware components, and configured software components in the electronic device based on task information of the target processing task; andobtaining one or more of component category information, component usage information, and component configuration information of the target component.11.The electronic device of claim 10, wherein the processing model is callable by the target application to further perform at least one of:obtaining task content of the target processing task, and determining the processing model required to perform the task content deployed in the electronic device as the target component;obtaining model identification information carried by the target processing task, and determining the processing model deployed in the electronic device that matches the model identification information as the target component;obtaining task requirements of the target processing task, and determining the processing model deployed in the electronic device that meets the task requirements as the target component;obtaining a task intention of the target processing task, and determining the processing model deployed in the electronic device that matches the task intention as the target component; orobtaining task source information of the target processing task, and determining the processing model deployed in the electronic device that matches the task source information as the target component.12.The electronic device of claim 11, wherein the processing model is callable by the target application to further perform at least one of:obtaining user profile information of a target user who triggered the target processing task, and determining the target component from one or more of the processing models, hardware components, and software components based on the task information and the user profile information;obtaining big data information corresponding to the target processing task, and determining the target component from one or more of the processing models, hardware components, and software components based on the task information and the big data information;obtaining target evaluation information, and determining the target component from one or more of the processing models, hardware components, and software components based on the task information and the target evaluation information;obtaining spatial environment information, and determining the target component from one or more of the processing models, hardware components, and software components based on the task information and the spatial environment information;obtaining the task content of the target processing task, and determining the hardware components and / or software components configured in the electronic device that are required to perform the task content as the target components;obtaining component identification information carried by the target processing task, and determining the hardware components and / or software components configured in the electronic device that match the component identification information as the target components;obtaining the task requirements of the target processing task, and determining the hardware components and / or software components configured in the electronic device that meet the task requirements as the target components;obtaining the task intention of the target processing task, and determining the hardware components and / or software components configured in the electronic device that meet the task intention as the target components; orobtaining the task source information of the target processing task, and determining the hardware components and / or software components configured in the electronic device that match the task source information as the target components.13.An electronic device comprising:one or more processors;one or more memories storing one or more programs that, when executed by the one or more processors, cause the one or more processors to:in response to receiving a target processing task, obtain component information of a target component required to perform the target processing task; andgenerate a corresponding feedback based on the component information to cause a target object to perform a target response operation that matches the feedback, wherein:the target component and the target object have a target relationship.14.The electronic device of claim 13, wherein the one or more processors are further configured to:determine the target component from one or more of deployed processing models, configured hardware components, and configured software components in the electronic device based on task information of the target processing task; andobtain one or more of component category information, component usage information, and component configuration information of the target component.15.The electronic device of claim 13, wherein the one or more processors are further configured to execute at least one of:obtaining task content of the target processing task, and determining the processing model required to perform the task content deployed in the electronic device as the target component;obtaining model identification information carried by the target processing task, and determining the processing model deployed in the electronic device that matches the model identification information as the target component;obtaining task requirements of the target processing task, and determining the processing model deployed in the electronic device that meets the task requirements as the target component;obtaining a task intention of the target processing task, and determining the processing model deployed in the electronic device that matches the task intention as the target component; orobtaining task source information of the target processing task, and determining the processing model deployed in the electronic device that matches the task source information as the target component.16.The electronic device of claim 14, wherein the one or more processors are further configured to execute at least one of:obtaining user profile information of a target user who triggered the target processing task, and determining the target component from one or more of the processing models, hardware components, and software components based on the task information and the user profile information;obtaining big data information corresponding to the target processing task, and determining the target component from one or more of the processing models, hardware components, and software components based on the task information and the big data information;obtaining target evaluation information, and determining the target component from one or more of the processing models, hardware components, and software components based on the task information and the target evaluation information;obtaining spatial environment information, and determining the target component from one or more of the processing models, hardware components, and software components based on the task information and the spatial environment information;obtaining the task content of the target processing task, and determining the hardware components and / or software components configured in the electronic device that are required to perform the task content as the target components;obtaining component identification information carried by the target processing task, and determining the hardware components and / or software components configured in the electronic device that match the component identification information as the target components;obtaining the task requirements of the target processing task, and determining the hardware components and / or software components configured in the electronic device that meet the task requirements as the target components;obtaining the task intention of the target processing task, and determining the hardware components and / or software components configured in the electronic device that meet the task intention as the target components; orobtaining the task source information of the target processing task, and determining the hardware components and / or software components configured in the electronic device that match the task source information as the target components.17.The electronic device of claim 13, wherein the one or more processors are further configured to execute at least one of:generating a task execution instruction to call the target component to perform the target processing task when the component information indicates that the target component of the electronic device is in an idle state; orgenerating target reference data corresponding to the component category information and / or the component usage information of the target component to cause the electronic device itself or a target application running on the electronic device to perform a corresponding response operation based at least on the target reference data.18.The electronic device of claim 17, wherein the one or more processors are further configured to execute at least one of:in response to the target component being a first processing model of a first category, calculating waiting time required to execute the target processing task based on task queue information and first model configuration information of the first processing model;in response to the target component being a second processing model of a second category, calculating the waiting time required to execute the target processing task based on second model configuration information of the second processing model and current task execution data;in response to the target component being a third processing model of a third category, calculating the waiting time required to execute the target processing task based on usage duration of the third processing model and historical operational data;in response to the target component being a first hardware component of a fourth category, determining the waiting time required to execute the target processing task based on usage plan information of the first hardware component and / or scheduling data of the electronic device; orin response to the target component being a first software component of a fifth category, determining the waiting time required to execute the target processing task based on usage plan information of the first software component.19.The electronic device of claim 17, wherein the one or more processors are further configured to execute at least one of:providing the target reference data to the target application to cause the target application to perform a waiting operation or a non-waiting operation based on its configured waiting strategy and the target reference data; orgenerating a computing power sharing instruction based on the target reference data, and use the computing power sharing instruction to request a first processing device to perform the target processing task, the first processing device being deployed with at least one artificial intelligence model.20.The electronic device of claim 13, wherein the one or more processors are further configured to execute at least one of:obtaining the target user’s response operation data to the feedback, and configuring the target application running on the electronic device to perform the waiting operation or cancel the calling of the target component based on the response operation data; orconfiguring the target application to perform the waiting operation if the waiting time indicated by the feedback matches a waiting strategy configured for the target application.

Images