Methods and apparatus to reduce resources when training and / or implementing artificial intelligence-based models

Abstract

Invention disclosed herein include instructions to cause programmable circuitry to apply training data to a first artificial intelligence (AI) -based model to generate a first output; apply the training data and a prompt to a second AI-based model to generate a second output, the second AI-based model having less neurons than the first AI-based model; adjust the prompt based on a comparison of the first output and the second output; cause transmission of the prompt to an edge device that implements a copy of the second AI-based model, the prompt to be applied as an input in the second AI-based model to affect output classification of the second AI-based model.

Description

METHODS AND APPARATUS TO REDUCE RESOURCES WHEN TRAINING AND / OR IMPLEMENTING ARTIFICIAL INTELLIGENCE-BASED MODELS

[0001] FIELD OF THE DISCLOSURE

[0002] This disclosure relates generally to artificial intelligence and, more particularly, to methods and apparatus to reduce resources when training and / or implementing artificial intelligence-based models.BACKGROUND

[0003] In recent years, artificial intelligence (e.g., machine learning, deep learning, etc. ) have increased in popularity. Artificial intelligence (AI) may be implemented using neural networks, deep learning, machine learning, etc. An AI-based model can receive an input and generate an output. The AI-based model may include a plurality of neurons corresponding to weights that can be trained (e.g., can learn, be weighted, etc. ) based on feedback so that the output corresponds to a desired result. After the weights are trained, the AI-based model can make decisions to generate an output based on subsequent input. AI-based models are used for the emerging fields of artificial intelligence and / or machine learning.BRIEF DESCRIPTION OF THE DRAWINGS

[0004] FIG. 1A is a block diagram of an example environment described in connection with examples disclosed herein to reduce resources when training and / or implementing artificial intelligence-based models.

[0005] FIG. 1B is a block diagram illustrating an example knowledge distillation process executed by the example downlink bandwidth reduction circuitry of FIG. 1A.

[0006] FIG. 2 is a block diagram of an example implementation of the downlink bandwidth reduction circuitry of FIG. 1A.

[0007] FIG. 3 is a block diagram of an example implementation of the continuous video classification circuitry of FIG. 1A.

[0008] FIG. 4 is a block diagram of an example implementation of the uplink bandwidth reduction circuitry 116 of FIG. 1A.

[0009] FIG. 5 illustrates a flowchart representative of example machine readable instructions and / or operations that may be executed, instantiated, and / or performed by programmable circuitry to implement the downlink bandwidth reduction circuitry of FIG. 2.

[0010] FIG. 6 illustrates a flowchart representative of example machine readable instructions and / or operations that may be executed, instantiated, and / or performed by programmable circuitry to implement the continuous video classification circuitry of FIG. 3.

[0011] FIG. 7 illustrates a flowchart representative of example machine readable instructions and / or operations that may be executed, instantiated, and / or performed by programmable circuitry to implement the uplink bandwidth reduction circuitry of FIG. 4.

[0012] FIG. 8 is a block diagram of an example processor platform including programmable circuitry structured to execute, instantiate, and / or perform the computer readable instructions and / or perform the example operations of FIGS. 4 and / or 5 to implement the downlink bandwidth reduction circuitry and / or the uplink bandwidth reduction circuitry of FIGS. 2 and / or 3.

[0013] FIG. 9 is a block diagram of an example processor platform including programmable circuitry structured to execute, instantiate, and / or perform the computer readable instructions and / or perform the example operations of FIG. 7 to implement the uplink bandwidth reduction circuitry of FIG. 4.

[0014] FIG. 10 is a block diagram of an example implementation of the programmable circuitry of FIGS. 8 and / or 9.

[0015] FIG. 11 is a block diagram of another example implementation of the programmable  circuitry of FIGS. 8 and / or 9.

[0016] FIG. 12 is a block diagram of an example software / firmware / instructions distribution platform (e.g., one or more servers) to distribute software, instructions, and / or firmware (e.g., corresponding to the example machine readable instructions of FIGS. 4-7 to client devices associated with end users and / or consumers (e.g., for license, sale, and / or use) , retailers (e.g., for sale, re-sale, license, and / or sub-license) , and / or original equipment manufacturers (OEMs) (e.g., for inclusion in products to be distributed to, for example, retailers and / or to other end users such as direct buy customers) .

[0017] In general, the same reference numbers will be used throughout the drawing (s) and accompanying written description to refer to the same or like parts. In general, the same reference numbers will be used throughout the drawing (s) and accompanying written description to refer to the same or like parts. The figures are not necessarily to scale.

[0018] Descriptors "first, " "second, " "third, " etc. are used herein when identifying multiple elements or components which may be referred to separately. Unless otherwise specified or understood based on their context of use, such descriptors are not intended to impute any meaning of priority or ordering in time but merely as labels for referring to multiple elements or components separately for ease of understanding the disclosed examples. In some examples, the descriptor "first" may be used to refer to an element in the detailed description, while the same element may be referred to in a claim with a different descriptor such as "second" or "third. " In such instances, it should be understood that such descriptors are used merely for ease of referencing multiple elements or components.

[0019] As used herein, the phrase “in communication, ” including variations thereof, encompasses direct communication and / or indirect communication through one or more intermediary components, and does not require direct physical (e.g., wired) communication and / or constant communication, but rather additionally includes selective communication at  periodic intervals, scheduled intervals, aperiodic intervals, and / or one-time events.

[0020] As used herein, “programmable circuitry” is defined to include (i) one or more special purpose electrical circuits (e.g., an application specific circuit (ASIC) ) structured to perform specific operation (s) and including one or more semiconductor-based logic devices (e.g., electrical hardware implemented by one or more transistors) , and / or (ii) one or more general purpose semiconductor-based electrical circuits programmable with instructions to perform specific functions (s) and / or operation (s) and including one or more semiconductor-based logic devices (e.g., electrical hardware implemented by one or more transistors) . Examples of programmable circuitry include programmable microprocessors such as Central Processor Units (CPUs) that may execute first instructions to perform one or more operations and / or functions, Field Programmable Gate Arrays (FPGAs) that may be programmed with second instructions to cause configuration and / or structuring of the FPGAs to instantiate one or more operations and / or functions corresponding to the first instructions, Graphics Processor Units (GPUs) that may execute first instructions to perform one or more operations and / or functions, Digital Signal Processors (DSPs) that may execute first instructions to perform one or more operations and / or functions, XPUs, Network Processing Units (NPUs) one or more microcontrollers that may execute first instructions to perform one or more operations and / or functions and / or integrated circuits such as Application Specific Integrated Circuits (ASICs) . For example, an XPU may be implemented by a heterogeneous computing system including multiple types of programmable circuitry (e.g., one or more FPGAs, one or more CPUs, one or more GPUs, one or more NPUs, one or more DSPs, etc., and / or any combination (s) thereof) , and orchestration technology (e.g., application programming interface (s) (API (s) ) that may assign computing task (s) to whichever one (s) of the multiple types of programmable circuitry is / are suited and available to perform the computing task (s) .

[0021] As used herein integrated circuit / circuitry is defined as one or more semiconductor  packages containing one or more circuit elements such as transistors, capacitors, inductors, resistors, current paths, diodes, etc. For example, an integrated circuit may be implemented as one or more of an ASIC, an FPGA, a chip, a microchip, programmable circuitry, a semiconductor substrate coupling multiple circuit elements, a system on chip (SoC) , etc.DETAILED DESCRIPTION

[0022] Artificial intelligence (AI) -based models, such as machine learning models, deep learning models, neural networks, deep neural networks, etc. are used to perform a task (e.g., classify data) . An AI-based model may be trained using ground truth data (e.g., data correctly labelled with a particular classification) . Training a traditional AI-model adjusts the weights of neurons of the model. After training, data is input into the trained model and the weights of the neurons are applied (e.g., multiplied and accumulate (MAC) ) to input data to be able to process the input data to perform a function (e.g., classify data) .

[0023] Real-time or near real-time AI-based classification occurs when an AI model is deployed on an edge device to perform classification based on real-time data. For example, performing classifications based on live video obtained from a video camera or sensor. Real-time AI modeling is used in robotics, autonomous driving, video surveillance etc. Some AI-based models achieve high performance for various tasks. However, such AI-based models require significant processing power to implement. Because processing power may be limited at edge devices, it may not be possible to deploy such high performing AI-based models for use in an edge device.

[0024] One approach to increasing the performance of AI-based models without the processing requirements of some AI-based models is to implement a teacher model and a student model. As used herein a teacher model is a large more complex model that results in  high performance but utilizes greater resources while a student model is a smaller model that is less complex (e.g., less neurons, less layers, etc. ) and uses fewer resources. In one embodiment as illustrated in FIG. 1B shown below, the differences between the teacher model and the student model is represented by similarity (e.g., cosine similarity) between the vectors, where the vectors corresponding to the teacher model and the student model outputs. In such examples, knowledge distillation can be performed to distill the knowledge learned by the teacher model during training into the student model. For example, the student model is trained offline after the offline training of the teacher model to approximate the outputs of the teacher. In this manner, the student model can be deployed to the edge to result in high performance with less resources than the more complex teacher model.

[0025] However, offline models that have been deployed are prone to continuous data drifts when live video diverges from the training data used to train the teacher and student models. Accordingly, retraining of the models is performed in the cloud periodically, aperiodically, or based on a trigger. For example, live video data obtained at an edge device may be transmitted to the cloud for use as training data to retrain and / or tune the teacher and student models. However, a large amount of uplink bandwidth is needed to transmit live video data and downlink bandwidth to obtain deployed retrained model data.

[0026] Examples disclosed herein reduce the uplink bandwidth by performing a data selection protocol to select frames of interest to the cloud for retraining. In this manner, instead of sending every frame of a video, examples disclosed herein filter out frames that are similar to other frames in the video and only uploads selected frames (e.g., those frames remaining after filtering) to the cloud, thereby decreasing the uplink bandwidth. Examples disclosed herein reduce downlink bandwidth through the use of a prompt when retraining the student model. A prompt includes parameters (e.g., a plurality of values or weights) that can be adjusted to affect the output classification of an AI-based model when input into the AI- based model. The prompt may be a file, a matrix, or any other structure and / or collection of data. In some examples, the prompt is formatted using the same format as a frame. Thus, like a frame, the prompt includes parameters (also referred to as values, weights, etc. ) that can be preset to any value. In the case of a frame, the parameters correspond to pixel colors, densities, etc. When the student model is retrained based on the teacher model an input frame and the input prompt are input into the student model. When knowledge distillation occurs to distill the training knowledge from the teacher model to the student model, instead of adjusting the weights of the student model, examples disclosed herein adjust the parameters of the prompt so that the unchanged student model classification output matches the teach model classification output. The updated prompt is then transmitted to the edge AI-based model. In this manner, the edge AI-based model can be used the prior deployed student model and the updated prompt to mitigate data drifts without obtaining a whole new deployed model. Accordingly, because the updated parameters of the prompt requires less bandwidth than deploying a new model, examples disclosed herein reduce downlink bandwidth.

[0027] Although examples disclosed herein are described in connection with video classification models and / or image classification model, examples disclosed herein may be described in connection with any type of AI-based model and / or classification model (e.g., audio classification, text classification, language processing, etc. ) .

[0028] Additionally, as described above, AI-based models may need to be continuously retrained to mitigate data drift. Millions of videos appear online daily, thereby providing lots of potential training data for retraining AI models (e.g., for continuous learning) . However, adapting a video classification model presents some difficulties. For example, because continuous learning and / or retraining of video classification models learn sequentially (e.g., retraining as new data arrives) , retraining of classifications models can be prone to forgetting (e.g., where new data is disproportionally relied on to retrain a model and previous data  becomes less relevant) . Thus, the new training data is overfit while the old training data degenerates with each subsequent retraining session. To mitigate this problem, some techniques retain a small number of raw data from previous training and retrain a model using both the new data and the raw data from previous training to retrain a video classification model.

[0029] The problem with retaining raw data is that as the classification is continuously retrained, the amount of previous data needed to be stored for subsequent retraining becomes very large, as videos take up a large amount of space and new videos are constantly being used to retrain video classification models. Examples disclosed herein reduce the amount of storage needed to retrain video classification models by performing a frame selection protocol to select frame (s) from video (s) used to train a model. Examples disclosed herein train an image classification model using the frames from video previously used to train a video classification model and use knowledge distillation to adjust a video classification model that is being trained based on new videos. Because frames require substantially less storage than full videos, examples disclosed herein result in less storage needed to implement accurate and precise retraining.

[0030] In general, implementing a machine learning (ML)  / artificial intelligence (AI) system involves two phases, a learning / training phase, and an inference phase. In the learning / training phase, a training algorithm is used to train a model to operate in accordance with patterns and / or associations based on, for example, training data. In general, the model includes internal parameters that guide how input data is transformed into output data, such as through a series of nodes and connections within the model to transform input data into output data. Additionally, hyperparameters may be used as part of the training process to control how the learning is performed (e.g., a learning rate, a number of layers to be used in the machine learning model, etc. ) . Hyperparameters are defined to be training parameters that are  determined prior to initiating the training process.

[0031] Different types of training may be performed based on the type of ML / AI model and / or the expected output. As used herein, labelling refers to an expected output of the machine learning model (e.g., a classification, an expected output value, etc. ) . Alternatively, unsupervised training (e.g., used in deep learning, a subset of machine learning, etc. ) involves inferring patterns from inputs to select parameters for the ML / AI model (e.g., without the benefit of expected (e.g., labeled) outputs) .

[0032] In examples disclosed herein, training is performed until a threshold number of actions have been predicted. In examples disclosed herein, training is performed either locally (e.g., in the device) or remotely (e.g., in the cloud and / or at a server) . Training may be performed using hyperparameters that control how the learning is performed (e.g., a learning rate, a number of layers to be used in the machine learning model, etc. ) . In some examples, re-training may be performed. Such re-training may be performed in response to a new program being implemented or a new user using the device. Training is performed using training data. When supervised training may be used, the training data is labeled. In some examples, the training data is pre-processed.

[0033] Once training is complete, the model is deployed for use as an executable construct that processes an input and provides an output based on the network of nodes and connections defined in the model. The model is stored locally in memory (e.g., cache and moved into memory after training) or may be stored in the cloud. The model may then be executed by the processors.

[0034] Once trained, the deployed model may be operated in an inference phase to process data. In the inference phase, data to be analyzed (e.g., live data) is input to the model, and the model executes to create an output. This inference phase can be thought of as the AI “thinking” to generate the output based on what it learned from the training (e.g., by  executing the model to apply the learned patterns and / or associations to the live data) . In some examples, input data undergoes pre-processing before being used as an input to the machine learning model. Moreover, in some examples, the output data may undergo post-processing after it is generated by the AI model to transform the output into a useful result (e.g., a display of data, an instruction to be executed by a machine, etc. ) .

[0035] In some examples, output of the deployed model may be captured and provided as feedback. By analyzing the feedback, an accuracy of the deployed model can be determined. If the feedback indicates that the accuracy of the deployed model is less than a threshold or other criterion, training of an updated model can be triggered using the feedback and an updated training data set, hyperparameters, etc., to generate an updated, deployed model.

[0036] FIG. 1A is an example environment 100 described in connection with examples disclosed herein. The example environment 100 includes an example cloud server 102. The example cloud server 102 includes example model trainer circuitry 104, example downlink bandwidth reduction circuitry 106, example continuous video classification circuitry 108, and example network interface circuitry 109. The example environment 100 further includes the example network 110 and the example edge processing device 112. The edge processing device 112 includes example network interface circuitry 113, example model implementation circuitry 114, and example uplink bandwidth reduction circuitry 116. Although the example environment 100 of FIG. 1A includes one cloud server and one edge processing device, the environment 100 may include any number of cloud servers and / or edge processing devices.

[0037] The cloud server 102 of FIG. 1A is a computing device that operates in the cloud (e.g., a public cloud or a private cloud) . In some examples, the cloud server 102 is a cloud backend. The cloud server 102 includes the model trainer circuitry 104 to train and / or retrain AI-based models. For example, the model trainer circuitry 104 can train a video classification model, an image classification model, and / or any other type of classification model.  Additionally, the model trainer circuitry 104 can retrain one or more AI-based models when new training data is obtained. The model trainer circuitry 104 includes the downlink bandwidth reduction circuitry 106 and the continuous video classification circuitry 108.

[0038] In some examples, the cloud server 102 includes means for training, retraining, and / or applying. For example, the means for training, retraining, and / or applying may be implemented by model trainer circuitry 104. In some examples, the model trainer circuitry 104 may be instantiated by programmable circuitry such as the example programmable circuitry 812 of FIG. 8. For instance, the model trainer circuitry 104 may be instantiated by the example microprocessor 1000 of FIG. 10 executing machine executable instructions such as those implemented by at least block 502, 504, 510, 512 of FIG. 5. In some examples, the model trainer circuitry 104 may be instantiated by hardware logic circuitry, which may be implemented by an ASIC, XPU, or the FPGA circuitry 1100 of FIG. 11 configured and / or structured to perform operations corresponding to the machine readable instructions. Additionally or alternatively, the model trainer circuitry 104 may be instantiated by any other combination of hardware, software, and / or firmware. For example, the model trainer circuitry 104 may be implemented by at least one or more hardware circuits (e.g., processor circuitry, discrete and / or integrated analog and / or digital circuitry, an FPGA, an ASIC, an XPU, a comparator, an operational-amplifier (op-amp) , a logic circuit, etc. ) configured and / or structured to execute some or all of the machine readable instructions and / or to perform some or all of the operations corresponding to the machine readable instructions without executing software or firmware, but other structures are likewise appropriate.

[0039] The downlink bandwidth reduction circuitry 106 of FIG. 1A reduces the amount of data that is sent to the edge processing device 112 when a model is retrained. For example, when the model trainer circuitry 104 generates a student AI-based model based on a teacher AI-based model, the network interface circuitry 109 deploys the student AI-based model to  the edge processing device 112 via the network 110 so that the edge processing device 112 can implement the student AI-based model. As further described below, the deployed student AI-based model remains locked (e.g., the weights of the student AI-based model at the edge processing device 112 do not change) . Instead, when the student model is retrained, the downlink bandwidth reduction circuitry 106 uses inputs a prompt along with the retraining data in the student model. Instead of the downlink bandwidth reduction circuitry 106 adjusting the weights of the student AI-based model during retraining, the downlink bandwidth reduction circuitry 106 adjusts the parameters (e.g., values, weights, etc. ) of the prompt so that application of the prompt with input data will result in the same output as adjusting the weights of the student AI-based model. In this manner, instead of redeploying an entire AI-based model to the edge processing device 112, the network interface circuitry 109 can transmit the prompt and the model implementation circuitry 114 can apply the prompt with input data to the locally applied AI-based model with the same accuracy as a redeployed model. Because the amount of bandwidth to transmit a prompt is significantly less than the amount of bandwidth to redeploy an AI-based model, the downlink bandwidth reduction circuitry 106 uses less bandwidth than other techniques. The downlink bandwidth reduction circuitry 106 is further described below in connection with FIG. 2.

[0040] The continuous video classification circuitry 108 of FIG. 1A retrains a video classification model periodically, aperiodically, and / or based on a trigger (e.g., when new training data is obtained) . To reduce the amount of memory resources needed to store data used for previous training, when the continuous video classification circuitry 108 initially trains a video classification model, instead of storing all the training videos used to train the video classification model in a buffer, the continuous video classification circuitry 108 selects one or more frames of the training videos using a frame selection protocol and only stores the selected frames in the buffer. In this manner, instead of storing a video with 1,000 frames, the  continuous video classification circuitry 108 may only select 10 frames of the video, thereby reducing the amount of memory needed by a factor of 100. When the video classification model is retrained (e.g., with additional training videos) , the continuous video classification circuitry 108 trains an image classification model using the stored frame from the previously used training videos and uses knowledge distillation to adjust the retrained video classification model (e.g., trained with the new training data) based on the image classification model (e.g., trained with frames from the previous training data) . The result is an accurate video classification model that factors in both the new training data and the old training data with significantly less memory resources needed to store old training data. After the video classification model is retrained, the continuous video classification circuitry can select one or more frames of the new training data used to train the video classification circuitry and include the selected frames in the buffer for use in a subsequent retraining process. The continuous video classification circuitry 108 is further described below in connection with FIG. 3.

[0041] The network interface circuitry 109 of FIG. 1A includes network circuitry to receive (e.g., obtain) and / or transmit data to / from the network 110. For example, the network interface circuitry 109 may transmit and / or deploy weights corresponding to a trained model and / or prompts to the example edge processing device 112 via the network 110. Additionally, the network interface circuitry 109 may obtain additional training data from the edge processing device 112 and / or from another device via the network 110.

[0042] The network 110 of FIG. 1A is a system of interconnected systems exchanging data. The network 110 may be implemented using any type of public or private network such as, but not limited to, the Internet, a telephone network, a local area network (LAN) , a cable network, and / or a wireless network. To enable communication via the network 110, the example cloud server 102 and the example edge processing device 112 include a  communication interface that enables a connection to an Ethernet, a digital subscriber line (DSL) , a telephone line, a coaxial cable, an optical fiber connection, or any wireless connection, etc. In some examples, the cloud server 102 and the edge processing device 112 are connected via the network 110.

[0043] The edge processing device 112 of FIG. 1A is a processing device that performs functions at the edge of a network. The edge processing device 112 may be connected to (e.g., via a wired or wireless network communication) and / or implemented in another device (s) (e.g., one or more camera (s) , sensor (s) , etc. ) . In this manner, the edge processing device 112 can obtain video (s) , frame (s) , and / or image from the other device (s) . The edge processing device 112 includes the network interface circuitry 113, the model implementation circuitry 114, and the uplink bandwidth reduction circuitry 116.

[0044] The network interface circuitry 113 of FIG. 1A includes network circuitry to receive (e.g., obtain) and / or transmit data to / from the network 110. For example, the network interface circuitry 113 may transmit one or more frame (s) of captured video and / or images to the cloud server 102 via the network 110. Additionally, the network interface circuitry 113 may obtain deployed AI-based models (e.g., information related to the structure and / or weights to implement a trained AI-based model) from the cloud service via the network 110. The network interface circuitry 113 may obtain (e.g., from the cloud server 102 via the network 110) updated prompts for use in a local AI-based model that is implemented by the model implementation circuitry 114.

[0045] The model implementation circuitry 114 of FIG. 1A implements a model based on instructions from the cloud server 102. For example, when the cloud server 102 deploys a trained model, the cloud server 102 may transmit instructions related to how to implement the trained model locally at the edge processing device 112. In this manner, the model implementation circuitry 114 can implement the trained AI-based model locally to perform  classifications using obtained data (e.g., real-time video and / or image frames from a camera and / or sensor) at the edge processing device 112. If the model implementation circuitry 114 obtains a prompt, the model implementation circuitry 114 applies the prompt as an input into the locally implemented AI-based model with the obtained video and / or image data. As described above, the prompt is used as an input to a previously trained AI-based model along with the input video / image data so that the AI-based model operates as a retrained and / or tuned AI-based model without changing the weights implemented by the AI-based model. For example, as opposed to updating the weights of the AI-based model, the prompt affects the input data to have the AI-based model operate as if the weights have been updated, even though the weights have not been updated.

[0046] The uplink bandwidth reduction circuitry 116 of FIG. 1A reduces the amount of downlink bandwidth needed to transmit video, image, and / or frame data to the cloud server 102 via the network 110. For example, the video, images, and / or frames captured by a camera and / or sensor may be used as inputs to an AI-based model executed locally by the model implementation circuitry 114. Additionally, the edge processing device 112 may transmit (e.g., periodically, aperiodically, and / or based on a trigger) the captured video, image, and / or frame data to the cloud server 102 to use as training data in a retraining and / or tuning process. However, instead of sending the entire captured video, image (s) and / or frame (s) , the uplink bandwidth reduction circuitry 116 selects particular frame (s) to send to the cloud server 102. For example, if the uplink bandwidth reduction circuitry 116 determines that a frame of a video and / or image is similar (e.g., based on a threshold comparison) to a previous frame and / or previous image that was sent and / or scheduled to be sent to the cloud server 102, the uplink bandwidth reduction circuitry 116 will discard the frame and / or image, thereby reducing the amount of data that is being sent to the cloud server 102. Because similar frames and / or images will have little to no effect on retraining, uplink  bandwidth can be reduced by not sending such frames and / or images. The uplink bandwidth reduction circuitry 116 is further described below in connection with FIG. 4.

[0047] FIG. 1B illustrates an example knowledge distillation process that may be performed by the example downlink bandwidth reduction circuitry 108 to generate an adjusted prompt using knowledge distillation. FIG. 1B includes example input frame (s) 152, an example input prompt 154, an example student model 156, an example teacher model 158, an example student output 160, an example teacher output 162, and an example adjusted prompt 164.

[0048] The example input frame (s) 152 are images and / or frames of a video that is used as an input into the respective model (s) 156, 158. The input frame (s) 152 are used to train or retrain the teacher model 128 and / or adjust the prompt 154 (e.g., during retraining) . The input prompt 154 is data that is structured in the same structure as the input frame (s) 152. However, instead of including values for the respective pixels of a frame and / or image, the input prompt 154 includes parameters, values, and / or weights that can be adjusted to affect the output of the student model 156. In this manner, instead of retraining and / or redeploying the student model 156, the prompt can be adjusted and / or transmitted to be implemented with a student model causing the previously deployed model to operate as a retrained model using the updated prompt.

[0049] The student model 156 performs one or more output classifications based on the input frame (s) 152 and the prompt 154 to generate the student output 160. Additionally, the input frame (s) 152 are applied to a retrained teacher model 158 to generate the teacher output 162. Because the teacher model 158 has been retrained, the teacher output 162 represents an accurate classification corresponding to a retrained model. The student output 160 is based on a previously trained student model 156 and / or prompt 154. Accordingly, the downlink bandwidth reduction circuitry 106 performs a knowledge distillation process based on a difference between the student output 160 and the teacher output 162 to generate the adjusted  prompt 164. The adjusted prompt 164, when fed into the student model 156 will cause the output classification of the student model 156 to approximate, more closely align with, and / or match the output classification of the retrained teacher model 158. In the example of FIG. 1B the downlink bandwidth reduction circuitry 106 compares the student output 160 with the teacher output 162 based on a similarity loss function (e.g., a cosine similarity loss function) . In this manner, the downlink bandwidth reduction circuitry 106 can perform the knowledge distillation to adjust the parameters of the prompt 154 to generate the adjusted prompt 164 based on the similarity loss. Operation of the bandwidth reduction circuitry 106 is further described below in conjunction with FIG. 2.

[0050] FIG. 2 is a block diagram of an example implementation of the downlink bandwidth reduction circuitry 106 of FIG. 1A to do reduce the bandwidth needed to update a deployed AI-based model after retraining. The downlink bandwidth reduction circuitry 106 of FIG. 2 may be instantiated (e.g., creating an instance of, bring into being for any length of time, materialize, implement, etc. ) by programmable circuitry such as a Central Processor Unit (CPU) executing first instructions. Additionally or alternatively, the downlink bandwidth reduction circuitry 106 of FIG. 2 may be instantiated (e.g., creating an instance of, bring into being for any length of time, materialize, implement, etc. ) by (i) an Application Specific Integrated Circuit (ASIC) and / or (ii) a Field Programmable Gate Array (FPGA) structured and / or configured in response to execution of second instructions to perform operations corresponding to the first instructions. It should be understood that some or all of the circuitry of FIG. 2 may, thus, be instantiated at the same or different times. Some or all of the circuitry of FIG. 2 may be instantiated, for example, in one or more threads executing concurrently on hardware and / or in series on hardware. Moreover, in some examples, some or all of the circuitry of FIG. 2 may be implemented by microprocessor circuitry executing instructions and / or FPGA circuitry performing operations to implement one or more virtual machines  and / or containers.

[0051] The example downlink bandwidth reduction circuitry 106 of FIG. 2 includes example interface circuitry 202 and example prompt distillation circuitry 204. The example prompt distillation circuitry 204 includes example prompt generation circuitry 206, an example comparator 208, and example prompt adjustment circuitry 210.

[0052] The example interface circuitry 202 obtains a trained teacher model and a trained student model from the model trainer circuitry 104 of FIG. 1A when retraining is or is to occur. As described above, the trained teacher model is a large, complex, and accurate AI-based model and the student model is a smaller, less complex AI-based model that has been trained based on knowledge distillation from the teach AI-based model. Additionally, the interface circuitry 202 may obtain new training data from the network interface circuitry 109. Additionally, the interface circuitry 202 may transmit an updated prompt when the updated prompt is generated. In some examples, the interface circuitry 202 is instantiated by programmable circuitry executing interface circuitry instructions and / or configured to perform operations such as those represented by the flowchart (s) of FIG. 5.

[0053] In some examples, the downlink bandwidth reduction circuitry 106 includes means for obtaining, receiving, causing deployment, and / or causing transmission. For example, the means for obtaining, receiving, causing deployment, and / or causing transmission may be implemented by interface circuitry 202. In some examples, the interface circuitry 202 may be instantiated by programmable circuitry such as the example programmable circuitry 812 of FIG. 8. For instance, the interface circuitry 202 may be instantiated by the example microprocessor 1000 of FIG. 10 executing machine executable instructions such as those implemented by at least blocks 506, 518 of FIG. 5. In some examples, the interface circuitry 202 may be instantiated by hardware logic circuitry, which may be implemented by an ASIC, XPU, or the FPGA circuitry 1100 of FIG. 11 configured and / or structured to perform  operations corresponding to the machine readable instructions. Additionally or alternatively, the interface circuitry 202 may be instantiated by any other combination of hardware, software, and / or firmware. For example, the interface circuitry 202 may be implemented by at least one or more hardware circuits (e.g., processor circuitry, discrete and / or integrated analog and / or digital circuitry, an FPGA, an ASIC, an XPU, a comparator, an operational-amplifier (op-amp) , a logic circuit, etc. ) configured and / or structured to execute some or all of the machine readable instructions and / or to perform some or all of the operations corresponding to the machine readable instructions without executing software or firmware, but other structures are likewise appropriate.

[0054] The prompt generation circuitry 206 of FIG. 2 generates an initial prompt. The prompt generation circuitry 206 may generate a prompt structure as a frame. For example, a frame of a video may be structured as a matrix of data corresponding to the color, brightness, etc. of each pixel of an image. In such an example, the prompt generation circuitry 206 structures the prompt to have the same data format and / or dimensions as the frame data. However, instead of inputting values that correspond to colors, brightnesses, etc. of each pixel of an image, the parameters of the prompt correspond to weights that can be used as an input into the student AI-based model to adjust how the student AI-based model classifies data. For the initial prompt, the prompt generation circuitry 206 may set all the parameters for the prompt to ‘0’ or null to not affect the classifications generated by the student AI-based model. However, as further described below, during retraining, the prompt adjustment circuitry 210 adjusts the parameters of the prompt to adjust the performance of the student AI-based model by adjusting the input data pattern to correspond to the teacher AI-based model. In some examples, the prompt generation circuitry 206 is instantiated by programmable circuitry executing prompt generation circuitry instructions and / or configured to perform operations such as those represented by the flowchart (s) of FIG. 5.

[0055] In some examples, the downlink bandwidth reduction circuitry 106 includes means for generating. For example, the means for generating may be implemented by prompt generation circuitry 206. In some examples, the prompt generation circuitry 206 may be instantiated by programmable circuitry such as the example programmable circuitry 812 of FIG. 8. For instance, the prompt generation circuitry 206 may be instantiated by the example microprocessor 1000 of FIG. 10 executing machine executable instructions. In some examples, the prompt generation circuitry 206 may be instantiated by hardware logic circuitry, which may be implemented by an ASIC, XPU, or the FPGA circuitry 1100 of FIG. 11 configured and / or structured to perform operations corresponding to the machine readable instructions. Additionally or alternatively, the prompt generation circuitry 206 may be instantiated by any other combination of hardware, software, and / or firmware. For example, the prompt generation circuitry 206 may be implemented by at least one or more hardware circuits (e.g., processor circuitry, discrete and / or integrated analog and / or digital circuitry, an FPGA, an ASIC, an XPU, a comparator, an operational-amplifier (op-amp) , a logic circuit, etc. ) configured and / or structured to execute some or all of the machine readable instructions and / or to perform some or all of the operations corresponding to the machine readable instructions without executing software or firmware, but other structures are likewise appropriate.

[0056] During retraining, the model trainer circuitry 104 uses the new training data to retrain and / or tune the teacher AI-based model. Additionally, the model trainer circuitry 104 applies the new training data and the prompt to the student AI-based model. The model trainer circuitry 104 outputs information corresponding to the retraining (e.g., output classifications) to the comparator 208 (e.g., via the interface circuitry 202) . The comparator 208 compares the output classifications of the teacher AI-based model and the student AI-based model as part of a knowledge distillation technique (e.g., to import knowledge gained  by the teacher AI-based model to the student AI-based model) . The comparator 208 transmits the comparison results to the prompt adjustment circuitry 210. In some examples, the comparator 208 is instantiated by programmable circuitry executing comparator instructions and / or configured to perform operations such as those represented by the flowchart (s) of FIG. 5.

[0057] In some examples, the downlink bandwidth reduction circuitry 106 includes means for comparing. For example, the means for comparing may be implemented by comparator 208. In some examples, the comparator 208 may be instantiated by programmable circuitry such as the example programmable circuitry 812 of FIG. 8. For instance, the comparator 208 may be instantiated by the example microprocessor 1000 of FIG. 10 executing machine executable instructions such as those implemented by at least blocks 514 of FIG. 5. In some examples, the comparator 208 may be instantiated by hardware logic circuitry, which may be implemented by an ASIC, XPU, or the FPGA circuitry 1100 of FIG. 11 configured and / or structured to perform operations corresponding to the machine readable instructions. Additionally or alternatively, the comparator 208 may be instantiated by any other combination of hardware, software, and / or firmware. For example, the comparator 208 may be implemented by at least one or more hardware circuits (e.g., processor circuitry, discrete and / or integrated analog and / or digital circuitry, an FPGA, an ASIC, an XPU, a comparator, an operational-amplifier (op-amp) , a logic circuit, etc. ) configured and / or structured to execute some or all of the machine readable instructions and / or to perform some or all of the operations corresponding to the machine readable instructions without executing software or firmware, but other structures are likewise appropriate.

[0058] The prompt adjustment circuitry 210 of FIG. 2 finalizes the knowledge distillation by adjusting one or more parameters of the prompt based on the comparison results. For example, instead of adjusting the weights of the student AI-based model so that the student  AI-based model approximates the outputs of the retrained teacher AI-based model, the prompt adjustment circuitry 210 adjusts the one or more parameters of the prompt so that, when applied with an input video / frame, the student AI-based model will approximate the outputs of the retrained teacher AI-based model without adjusting the weights of the student AI-based model. Accordingly, the updated prompt is used to adjust the performance of the student AI-based model by adjusting the input data pattern. The prompt distillation process is, accordingly, efficient due to the limited number of prompt weights. Although all the parameters of the prompt corresponds to weights, in some examples, some parameters could be forced to a fixed parameter to further reduce the parameter space. The example prompt adjustment circuitry 210 outputs the updated prompt to the example interface circuitry 202 to cause transmission of the updated prompt to the edge processing device 112 by instructing the network interface circuitry 109 to transmit the update prompt via the network 110 of FIG. 1A. In this manner, the model implementation circuitry 114 of the edge processing device 112 can implement the initially trained student AI-based model with the updated prompt so that the AI-based model operates as an updated and / or tuned AI-based model at the edge processing device 112. In some examples, the prompt adjustment circuitry 210 is instantiated by programmable circuitry executing prompt adjustment circuitry instructions and / or configured to perform operations such as those represented by the flowchart (s) of FIG. 5.

[0059] In some examples, the downlink bandwidth reduction circuitry 106 includes means for adjusting, changing, and / or updating. For example, the means for adjusting, changing, and / or updating may be implemented by prompt adjustment circuitry 210. In some examples, the prompt adjustment circuitry 210 may be instantiated by programmable circuitry such as the example programmable circuitry 812 of FIG. 8. For instance, the prompt adjustment circuitry 210 may be instantiated by the example microprocessor 1000 of FIG. 10 executing machine executable instructions such as those implemented by at least block 512 of FIG. 5.  In some examples, the prompt adjustment circuitry 210 may be instantiated by hardware logic circuitry, which may be implemented by an ASIC, XPU, or the FPGA circuitry 1100 of FIG. 11 configured and / or structured to perform operations corresponding to the machine readable instructions. Additionally or alternatively, the prompt adjustment circuitry 210 may be instantiated by any other combination of hardware, software, and / or firmware. For example, the prompt adjustment circuitry 210 may be implemented by at least one or more hardware circuits (e.g., processor circuitry, discrete and / or integrated analog and / or digital circuitry, an FPGA, an ASIC, an XPU, a comparator, an operational-amplifier (op-amp) , a logic circuit, etc. ) configured and / or structured to execute some or all of the machine readable instructions and / or to perform some or all of the operations corresponding to the machine readable instructions without executing software or firmware, but other structures are likewise appropriate.

[0060] FIG. 3 is a block diagram of an example implementation of the continuous video classification circuitry 108 of FIG. 1A to perform continuous video classification while reducing memory consumption. The continuous video classification circuitry 108 of FIG. 3 may be instantiated (e.g., creating an instance of, bring into being for any length of time, materialize, implement, etc. ) by programmable circuitry such as a Central Processor Unit (CPU) executing first instructions. Additionally or alternatively, the continuous video classification circuitry 108 of FIG. 3 may be instantiated (e.g., creating an instance of, bring into being for any length of time, materialize, implement, etc. ) by (i) an Application Specific Integrated Circuit (ASIC) and / or (ii) a Field Programmable Gate Array (FPGA) structured and / or configured in response to execution of second instructions to perform operations corresponding to the first instructions. It should be understood that some or all of the circuitry of FIG. 3 may, thus, be instantiated at the same or different times. Some or all of the circuitry of FIG. 3 may be instantiated, for example, in one or more threads executing concurrently on  hardware and / or in series on hardware. Moreover, in some examples, some or all of the circuitry of FIG. 3 may be implemented by microprocessor circuitry executing instructions and / or FPGA circuitry performing operations to implement one or more virtual machines and / or containers.

[0061] The example continuous video classification circuitry 108 includes the example interface circuitry 302, example video classification circuitry 304, example filter circuitry 306, an example image (or frame) buffer 308, example image classification circuitry 310, and example knowledge distillation circuitry 312.

[0062] The interface circuitry 302 of FIG. 3 obtains training data (e.g., videos) from the network interface circuitry 109 that have been received via the network 110. As further described below, the continuous video classification circuitry 108 trains and / or retrains a video classification network based on the obtained training data. Additionally, the interface circuitry 302 transmits instructions to the network interface circuitry 109 to cause the network interface circuitry 109 to deploy a trained or retrained video classification model to the edge processing device 112 via the network 110 by instructing the network interface circuitry 109. In some examples, the interface circuitry 302 is instantiated by programmable circuitry executing interface circuitry instructions and / or configured to perform operations such as those represented by the flowchart (s) of FIG. 6.

[0063] In some examples, the continuous video classification circuitry 108 includes means for obtaining, receiving, causing deployment, and / or causing transmission. For example, the means for obtaining, receiving, causing deployment, and / or causing transmission may be implemented by interface circuitry 302. In some examples, the interface circuitry 302 may be instantiated by programmable circuitry such as the example programmable circuitry 812 of FIG. 8. For instance, the interface circuitry 302 may be instantiated by the example microprocessor 1000 of FIG. 10 executing machine executable instructions such as those  implemented by at least blocks 604, 610, 620 of FIG. 6. In some examples, the interface circuitry 302 may be instantiated by hardware logic circuitry, which may be implemented by an ASIC, XPU, or the FPGA circuitry 1100 of FIG. 11 configured and / or structured to perform operations corresponding to the machine readable instructions. Additionally or alternatively, the interface circuitry 302 may be instantiated by any other combination of hardware, software, and / or firmware. For example, the interface circuitry 302 may be implemented by at least one or more hardware circuits (e.g., processor circuitry, discrete and / or integrated analog and / or digital circuitry, an FPGA, an ASIC, an XPU, a comparator, an operational-amplifier (op-amp) , a logic circuit, etc. ) configured and / or structured to execute some or all of the machine readable instructions and / or to perform some or all of the operations corresponding to the machine readable instructions without executing software or firmware, but other structures are likewise appropriate.

[0064] The video classification circuitry 304 of FIG. 3 trains, retrains, and / or tunes a video classification model based on obtained training data. For example, initially, the video classification circuitry 304 obtains a video instance and samples a number of frames of the video instance. The video classification circuitry 304 performs feature extraction and classification on the frame (s) of the video instance and the video classification is computed by fusing image predictions. The result is a video classification AI-based model that can obtain an input video and classify the input video (e.g., to identify objects, identify actions, etc. ) . When retraining occurs, new training data is obtained and the video classification circuitry 304 trains a new video classification model based on the new training data. However, as further described below, the knowledge distillation circuitry 312 adjusts the new video classification model based on knowledge distilled from an image classification circuitry that is trained using the frame (s) from old training data. In this manner, the retrained AI model accounts for new training data and old training data to avoid forgetting information that was  previously learned during previous training sessions. In some examples, the video classification circuitry 304 is instantiated by programmable circuitry executing video classification circuitry instructions and / or configured to perform operations such as those represented by the flowchart (s) of FIG. 6.

[0065] In some examples, the continuous video classification circuitry 108 includes means for training and / or applying. For example, the means for training and / or applying may be implemented by interface circuitry 302. In some examples, the interface circuitry 302 may be instantiated by programmable circuitry such as the example programmable circuitry 812 of FIG. 8. For instance, the interface circuitry 302 may be instantiated by the example microprocessor 1000 of FIG. 10 executing machine executable instructions such as those implemented by at least blocks 602, 616 of FIG. 6. In some examples, the interface circuitry 302 may be instantiated by hardware logic circuitry, which may be implemented by an ASIC, XPU, or the FPGA circuitry 1100 of FIG. 11 configured and / or structured to perform operations corresponding to the machine readable instructions. Additionally or alternatively, the interface circuitry 302 may be instantiated by any other combination of hardware, software, and / or firmware. For example, the interface circuitry 302 may be implemented by at least one or more hardware circuits (e.g., processor circuitry, discrete and / or integrated analog and / or digital circuitry, an FPGA, an ASIC, an XPU, a comparator, an operational-amplifier (op-amp) , a logic circuit, etc. ) configured and / or structured to execute some or all of the machine readable instructions and / or to perform some or all of the operations corresponding to the machine readable instructions without executing software or firmware, but other structures are likewise appropriate.

[0066] The filter circuitry 306 performs a frame selection protocol to select frame (s) of interest of the new training data used to train the video classification model for storage and use as old training data for subsequent retraining sessions. For example, for a given input  video with F frames, filter circuitry 306 generates a feature map, hk (e.g.,  where  is the parameter space and C, H, and W are the channel size, height, and width of the feature map, which are defined based on the video classification model) . The filter circuitry 306 first selects frame (s) of interest for the training video instances and then selects representative frames for video classes. The filter circuitry 306 can perform various techniques for selecting the frame (s) of interest from the training video instances. The filter circuitry 306 can perform random sampling, uniform sampling, image generation, sparse frame selection, etc. For example, the filter circuitry 306 defines a learnable sparse mask M (e.g.,  ) to select a subset of frames and feature channels from hk to form a compact representation (e.g., a representation of hk with little or not redundancy) . The filter circuitry 306 forces the learnable mask, M, with sparsity using an Entmax operation. After the Entmax operation, the filter circuitry 306 selects time-channel features of interest by performing an element-wise multiplying (e.g., ⊙) with the sparse mask, as shown in the below-Equation 1. hk, sparse=Entmax (M) ⊙ hk  (Equation 1)

[0067] Then the filter circuitry 306 computes a temporal attention by utilizing an attention protocol to generate a sparse temporal value Ak, as shown in the below Equation 2. Ak=ReLU (sigmoid (W1hk, sparse) ) ⊙BN (W2hk, sparse)  (Equation 2)

[0068] In the above-Equation 2, ReLU is a rectified linear unit operation, sigmoid is a sigmoid operation, BN is a batch norm operation, and W1 and W2 are weights shared among feature dimensions (e.g.,  and ) . After the sparse temporal value is determined, the filter circuitry 306 applies a Gumbel-Softmax operation to approximate a sparse temporal importance mask, maskk, as shown in the below Equation 3. maskk= GumbelSoftmax (W3Ak)  (Equation 3) .

[0069] In the above-Equation 3,  is the feed forward layer weight shared among frames. Maskk is a sparse vector with non-zero values for some elements. The filter circuitry  306 then selects N frames of a video instance with the highest value (s) in the maskk as the frames of interest. The filter circuitry 306 stores the N frames in the image buffer 308.

[0070] In some examples, the filter circuitry 306 of FIG. 3 further filters the frames stored in the image buffer 308 further by selecting frame (s) per class. For example, the filter circuitry 306 can perform an iCaRL protocol to pick X frames to keep in the image buffer 308 and / or to use in subsequent retraining sessions. The filter circuitry 306 can discard the remaining frames that were not selected. Given an image pool Q, the filter circuitry 306 selects and stores image exemplars in the image buffer 308 iteratively until a target number is met. In each iteration, one or more frames in Q is added to the exemplar set (e.g., frame (s) that cause (s) the average feature vector over all exemplars to best approximate the average feature vector over all frames) . In some examples, the filter circuitry 306 is instantiated by programmable circuitry executing filter circuitry instructions and / or configured to perform operations such as those represented by the flowchart (s) of FIG. 6.

[0071] In some examples, the continuous video classification circuitry 108 includes means for filtering and / or selecting. For example, the means for filtering and / or selecting may be implemented by filter circuitry 306. In some examples, the filter circuitry 306 may be instantiated by programmable circuitry such as the example programmable circuitry 812 of FIG. 8. For instance, the filter circuitry 306 may be instantiated by the example microprocessor 1000 of FIG. 10 executing machine executable instructions such as those implemented by at least block 606 of FIG. 6. In some examples, the filter circuitry 306 may be instantiated by hardware logic circuitry, which may be implemented by an ASIC, XPU, or the FPGA circuitry 1100 of FIG. 11 configured and / or structured to perform operations corresponding to the machine readable instructions. Additionally or alternatively, the filter circuitry 306 may be instantiated by any other combination of hardware, software, and / or firmware. For example, the filter circuitry 306 may be implemented by at least one or more  hardware circuits (e.g., processor circuitry, discrete and / or integrated analog and / or digital circuitry, an FPGA, an ASIC, an XPU, a comparator, an operational-amplifier (op-amp) , a logic circuit, etc. ) configured and / or structured to execute some or all of the machine readable instructions and / or to perform some or all of the operations corresponding to the machine readable instructions without executing software or firmware, but other structures are likewise appropriate.

[0072] The image classification circuitry 310 of FIG. 3 trains an image classification AI-based model using frame (s) stored in the image buffer 308 before and / or when a video classification model is to be retrained. Because the image classification model is trained using the frame (s) stored in the image buffer 308 and the frame (s) in the image buffer 308 correspond to frames from videos previously used to train a prior video classification model, the image classification model reflects the knowledge learned during the prior training based on the prior training data. In some examples, the image classification model is structured in the same manner as one portion of the video classification model (e.g., an image classification model parameter Ω is a subset of a video classification model parameter Θ) . In some examples, the image classification circuitry 310 is instantiated by programmable circuitry executing image classification circuitry instructions and / or configured to perform operations such as those represented by the flowchart (s) of FIG. 6.

[0073] In some examples, the continuous video classification circuitry 108 includes means for storing. For example, the means for storing may be implemented by image buffer 308. In some examples, the image buffer 308 may be instantiated by programmable circuitry such as the example programmable circuitry 812 of FIG. 8. For instance, the image buffer 308 may be instantiated by the example microprocessor 1000 of FIG. 10 executing machine executable instructions such as those implemented by at least blocks 612, 614 of FIG. 6. In some examples, the image buffer 308 may be instantiated by hardware logic circuitry, which may  be implemented by an ASIC, XPU, or the FPGA circuitry 1100 of FIG. 11 configured and / or structured to perform operations corresponding to the machine readable instructions. Additionally or alternatively, the image buffer 308 may be instantiated by any other combination of hardware, software, and / or firmware. For example, the image buffer 308 may be implemented by at least one or more hardware circuits (e.g., processor circuitry, discrete and / or integrated analog and / or digital circuitry, an FPGA, an ASIC, an XPU, a comparator, an operational-amplifier (op-amp) , a logic circuit, etc. ) configured and / or structured to execute some or all of the machine readable instructions and / or to perform some or all of the operations corresponding to the machine readable instructions without executing software or firmware, but other structures are likewise appropriate.

[0074] In some examples, the continuous video classification circuitry 108 includes means for training and / or accessing. For example, the means for training and / or accessing may be implemented by image classification circuitry 310. In some examples, the image classification circuitry 310 may be instantiated by programmable circuitry such as the example programmable circuitry 812 of FIG. 8. For instance, the image classification circuitry 310 may be instantiated by the example microprocessor 1000 of FIG. 10 executing machine executable instructions such as those implemented by at least blocks 612, 614 of FIG. 6. In some examples, the image classification circuitry 310 may be instantiated by hardware logic circuitry, which may be implemented by an ASIC, XPU, or the FPGA circuitry 1100 of FIG. 11 configured and / or structured to perform operations corresponding to the machine readable instructions. Additionally or alternatively, the image classification circuitry 310 may be instantiated by any other combination of hardware, software, and / or firmware. For example, the image classification circuitry 310 may be implemented by at least one or more hardware circuits (e.g., processor circuitry, discrete and / or integrated analog and / or digital circuitry, an FPGA, an ASIC, an XPU, a comparator, an operational-amplifier  (op-amp) , a logic circuit, etc. ) configured and / or structured to execute some or all of the machine readable instructions and / or to perform some or all of the operations corresponding to the machine readable instructions without executing software or firmware, but other structures are likewise appropriate.

[0075] The knowledge distillation circuitry 312 distills knowledge corresponding to the image classification model and adjusts the video classification model based on the distilled knowledge. The knowledge distillation circuitry 312 may conduct the knowledge distillation between continuous tasks to avoid abrupt model parameter changes. In some examples, the knowledge distillation circuitry 312 performs a sparse pooled outputs distillation (SPOD) protocol to perform knowledge distillation. For a video input, the knowledge distillation circuitry 312 conducts and / or determines the SPOD loss (e.g.,  ) (also referred to as consistence loss) on the sampled images, as shown in the below Equation 4.

[0076] The knowledge distillation circuitry 312 further determines a classification loss (e.g.,  ) using a cross entropy technique. The knowledge distillation circuitry 312 determines the final loss (e.g.,  ) based on the SPOD loss, the classification loss, and / or any other losses, as shown in the below Equation 5.

[0077] The knowledge distillation circuitry 312 uses the final loss to adjust the video classification model. In this manner, the video classification model, trained with new training data) is adjusted to reflect knowledge learned from old training data. In some examples, the knowledge distillation circuitry 312 is instantiated by programmable circuitry executing knowledge distillation circuitry instructions and / or configured to perform operations such as  those represented by the flowchart (s) of FIG. 6.

[0078] In some examples, the continuous video classification circuitry 108 includes means for performing, incorporating, using and / or adjusting. For example, the means for performing, incorporating, using and / or adjusting may be implemented by knowledge distillation circuitry 312. In some examples, the knowledge distillation circuitry 312 may be instantiated by programmable circuitry such as the example programmable circuitry 812 of FIG. 8. For instance, the knowledge distillation circuitry 312 may be instantiated by the example microprocessor 1000 of FIG. 10 executing machine executable instructions such as those implemented by at least blocks 618 of FIG. 6. In some examples, the knowledge distillation circuitry 312 may be instantiated by hardware logic circuitry, which may be implemented by an ASIC, XPU, or the FPGA circuitry 1100 of FIG. 11 configured and / or structured to perform operations corresponding to the machine readable instructions. Additionally or alternatively, the knowledge distillation circuitry 312 may be instantiated by any other combination of hardware, software, and / or firmware. For example, the knowledge distillation circuitry 312 may be implemented by at least one or more hardware circuits (e.g., processor circuitry, discrete and / or integrated analog and / or digital circuitry, an FPGA, an ASIC, an XPU, a comparator, an operational-amplifier (op-amp) , a logic circuit, etc. ) configured and / or structured to execute some or all of the machine readable instructions and / or to perform some or all of the operations corresponding to the machine readable instructions without executing software or firmware, but other structures are likewise appropriate.

[0079] FIG. 4 is a block diagram of an example implementation of the uplink bandwidth reduction circuitry 116 of FIG. 1 to reduce the amount of uplink bandwidth needed to transmit training data to the cloud server 102 of FIG. 1A. The uplink bandwidth reduction circuitry 116 of FIG. 4 may be instantiated (e.g., creating an instance of, bring into being for any length  of time, materialize, implement, etc. ) by programmable circuitry such as a Central Processor Unit (CPU) executing first instructions. Additionally or alternatively, the uplink bandwidth reduction circuitry 116 of FIG. 4 may be instantiated (e.g., creating an instance of, bring into being for any length of time, materialize, implement, etc. ) by (i) an Application Specific Integrated Circuit (ASIC) and / or (ii) a Field Programmable Gate Array (FPGA) structured and / or configured in response to execution of second instructions to perform operations corresponding to the first instructions. It should be understood that some or all of the circuitry of FIG. 4 may, thus, be instantiated at the same or different times. Some or all of the circuitry of FIG. 4 may be instantiated, for example, in one or more threads executing concurrently on hardware and / or in series on hardware. Moreover, in some examples, some or all of the circuitry of FIG. 4 may be implemented by microprocessor circuitry executing instructions and / or FPGA circuitry performing operations to implement one or more virtual machines and / or containers.

[0080] The example uplink bandwidth reduction circuitry 116 of FIG. 4 includes example interface circuitry 402, an example comparator 404, an example data buffer 406, and an example data compressor circuitry 408.

[0081] The interface circuitry 402 of FIG. 4 obtains images and / or frames that have been captured by a camera and / or sensor. The images and / or frames may have been used as inputs to a local AI-based model implemented by the model implementation circuitry 114 of FIG. 1A. Additionally, the interface circuitry 402 causes transmission of selected images and / or frames to the cloud server 102 by instructing the network interface circuitry 113 to transmit the selected images and / or frames to the cloud server 102 via the network 110. In some examples, the interface circuitry 402 is instantiated by programmable circuitry executing interface circuitry instructions and / or configured to perform operations such as those represented by the flowchart (s) of FIG. 7.

[0082] In some examples, the uplink bandwidth reduction circuitry 116 includes means for obtaining, receiving, causing deployment, and / or causing transmission. For example, the means for obtaining, receiving, causing deployment, and / or causing transmission may be implemented by interface circuitry 402. In some examples, the interface circuitry 402 may be instantiated by programmable circuitry such as the example programmable circuitry 912 of FIG. 9. For instance, the interface circuitry 402 may be instantiated by the example microprocessor 1000 of FIG. 10 executing machine executable instructions such as those implemented by at least blocks 702, 722 of FIG. 7. In some examples, the interface circuitry 402 may be instantiated by hardware logic circuitry, which may be implemented by an ASIC, XPU, or the FPGA circuitry 1100 of FIG. 11 configured and / or structured to perform operations corresponding to the machine readable instructions. Additionally or alternatively, the interface circuitry 402 may be instantiated by any other combination of hardware, software, and / or firmware. For example, the interface circuitry 402 may be implemented by at least one or more hardware circuits (e.g., processor circuitry, discrete and / or integrated analog and / or digital circuitry, an FPGA, an ASIC, an XPU, a comparator, an operational-amplifier (op-amp) , a logic circuit, etc. ) configured and / or structured to execute some or all of the machine readable instructions and / or to perform some or all of the operations corresponding to the machine readable instructions without executing software or firmware, but other structures are likewise appropriate.

[0083] The example comparator 404 of FIG. 4 compares frame (s) of a video and / or images to frame (s) stored in the example data buffer 406 (e.g., previous frames and / or images selected to be transmitted to the cloud server 102 of FIG. 1) . The comparator 404 may determine the difference by selecting a frame and performing a Euclidean distance and / or another comparison technique using the selected frame and frame (s) stored in the data buffer 406. If the comparator 404 determines that the selected frame is different than all of the  stored frame (s) by more than a threshold amount, the comparator 404 stores the selected frame in the data buffer 406. Otherwise, the comparator 404 discards the frame. In some examples, the comparator 404 is instantiated by programmable circuitry executing comparator instructions and / or configured to perform operations such as those represented by the flowchart (s) of FIG. 7.

[0084] In some examples, the uplink bandwidth reduction circuitry 116 includes means for comparing. For example, the means for comparing may be implemented by comparator 404. In some examples, the comparator 404 may be instantiated by programmable circuitry such as the example programmable circuitry 912 of FIG. 9. For instance, the comparator 404 may be instantiated by the example microprocessor 1000 of FIG. 10 executing machine executable instructions such as those implemented by at least blocks 710, 712, 718 of FIG. 7. In some examples, the comparator 404 may be instantiated by hardware logic circuitry, which may be implemented by an ASIC, XPU, or the FPGA circuitry 1100 of FIG. 11 configured and / or structured to perform operations corresponding to the machine readable instructions. Additionally or alternatively, the comparator 404 may be instantiated by any other combination of hardware, software, and / or firmware. For example, the comparator 404 may be implemented by at least one or more hardware circuits (e.g., processor circuitry, discrete and / or integrated analog and / or digital circuitry, an FPGA, an ASIC, an XPU, a comparator, an operational-amplifier (op-amp) , a logic circuit, etc. ) configured and / or structured to execute some or all of the machine readable instructions and / or to perform some or all of the operations corresponding to the machine readable instructions without executing software or firmware, but other structures are likewise appropriate.

[0085] The data buffer 406 of FIG. 4 stores frame (s) and / or images selected to be transmitted to the cloud server 102 as training data for retraining purposes based on the comparisons performed by the comparator 404. The data buffer 406 may store the frame (s)  until the frames are transmitted to the cloud server 102. The frame (s) in the data buffer 406 may be transmitted to the cloud server 102 after a threshold number of frames have been stored in the data buffer 406, after a threshold amount of time, at preset points in time, and / or based on an instruction from the cloud server 102 and / or another device. In some examples, the data buffer 406 is instantiated by programmable circuitry executing data buffer instructions and / or configured to perform operations such as those represented by the flowchart (s) of FIG. 7.

[0086] In some examples, the uplink bandwidth reduction circuitry 116 includes means for storing. For example, the means for storing may be implemented by data buffer 406. In some examples, the data buffer 406 may be instantiated by programmable circuitry such as the example programmable circuitry 912 of FIG. 9. For instance, the data buffer 406 may be instantiated by the example microprocessor 1000 of FIG. 10 executing machine executable instructions such as those implemented by at least blocks 706, 716 of FIG. 7. In some examples, the data buffer 406 may be instantiated by hardware logic circuitry, which may be implemented by an ASIC, XPU, or the FPGA circuitry 1100 of FIG. 11 configured and / or structured to perform operations corresponding to the machine readable instructions. Additionally or alternatively, the data buffer 406 may be instantiated by any other combination of hardware, software, and / or firmware. For example, the data buffer 406 may be implemented by at least one or more hardware circuits (e.g., processor circuitry, discrete and / or integrated analog and / or digital circuitry, an FPGA, an ASIC, an XPU, a comparator, an operational-amplifier (op-amp) , a logic circuit, etc. ) configured and / or structured to execute some or all of the machine readable instructions and / or to perform some or all of the operations corresponding to the machine readable instructions without executing software or firmware, but other structures are likewise appropriate.

[0087] The data compressor circuitry 408 of FIG. 4 compresses the frame (s) and / or images  stored in the data buffer 406. The data compressor circuitry 408 can use any type of data compression technique. The data compressor circuitry 408 compresses the data stored in the data buffer 406, so that the data buffer 406 can be smaller and / or to further reduce the uplink bandwidth when sending frame (s) and / or images to the cloud server 102. In some examples, the data compressor circuitry 408 is instantiated by programmable circuitry executing data compressor instructions and / or configured to perform operations such as those represented by the flowchart (s) of FIG. 7.

[0088] In some examples, the uplink bandwidth reduction circuitry 116 includes means for compressing. For example, the means for compressing may be implemented by data compressor circuitry 408. In some examples, the data compressor circuitry 408 may be instantiated by programmable circuitry such as the example programmable circuitry 912 of FIG. 9. For instance, the data compressor circuitry 408 may be instantiated by the example microprocessor 1000 of FIG. 10 executing machine executable instructions such as those implemented by at least block 720 of FIG. 7. In some examples, the data compressor circuitry 408 may be instantiated by hardware logic circuitry, which may be implemented by an ASIC, XPU, or the FPGA circuitry 1100 of FIG. 11 configured and / or structured to perform operations corresponding to the machine readable instructions. Additionally or alternatively, the data compressor circuitry 408 may be instantiated by any other combination of hardware, software, and / or firmware. For example, the data compressor circuitry 408 may be implemented by at least one or more hardware circuits (e.g., processor circuitry, discrete and / or integrated analog and / or digital circuitry, an FPGA, an ASIC, an XPU, a comparator, an operational-amplifier (op-amp) , a logic circuit, etc. ) configured and / or structured to execute some or all of the machine readable instructions and / or to perform some or all of the operations corresponding to the machine readable instructions without executing software or firmware, but other structures are likewise appropriate.

[0089] While an example manner of implementing the downlink bandwidth reduction circuitry 106, the continuous video classification circuitry 108, and / or the uplink bandwidth reduction circuitry 116 of FIG. 1A is illustrated in FIGS. 2-4, one or more of the elements, processes, and / or devices illustrated in FIGS. 2-4 may be combined, divided, re-arranged, omitted, eliminated, and / or implemented in any other way. Further, the model trainer circuitry 104, the interface circuitry 202, the prompt distillation circuitry 204, the prompt generation circuitry 206, the comparator 208, the prompt adjustment circuitry 210, the interface circuitry 302, the video classification circuitry 304, the filter circuitry 306, the image classification circuitry 310, the knowledge distillation circuitry 312, the model implementation circuitry 114, the interface circuitry 402, the comparator 404, the data compressor circuitry 408 and / or, more generally, the downlink bandwidth reduction circuitry 106, the continuous video classification circuitry 108, and / or the uplink bandwidth reduction circuitry 116 of FIGS. 2-4, may be implemented by hardware alone or by hardware in combination with software and / or firmware. Thus, for example, any of the model trainer circuitry 104, the interface circuitry 202, the prompt distillation circuitry 204, the prompt generation circuitry 206, the comparator 208, the prompt adjustment circuitry 210, the interface circuitry 302, the video classification circuitry 304, the filter circuitry 306, the image classification circuitry 310, the knowledge distillation circuitry 312, the model implementation circuitry 114, the interface circuitry 402, the comparator 404, the data compressor circuitry 408 and / or, more generally, the downlink bandwidth reduction circuitry 106, the continuous video classification circuitry 108, and / or the uplink bandwidth reduction circuitry 116 of FIGS. 2-4, could be implemented by programmable circuitry in combination with machine readable instructions (e.g., firmware or software) , processor circuitry, analog circuit (s) , digital circuit (s) , logic circuit (s) , programmable processor (s) , programmable microcontroller (s) , graphics processing unit (s) (GPU (s) ) , digital signal processor (s) (DSP (s) ) ,  ASIC (s) , programmable logic device (s) (PLD (s) ) , and / or field programmable logic device (s) (FPLD (s) ) such as FPGAs. Further still, the downlink bandwidth reduction circuitry 106, the continuous video classification circuitry 108, and / or the uplink bandwidth reduction circuitry 116 of FIGS. 2-4 may include one or more elements, processes, and / or devices in addition to, or instead of, those illustrated in FIGS. 2-4, and / or may include more than one of any or all of the illustrated elements, processes, and devices.

[0090] Flowchart (s) representative of example machine readable instructions, which may be executed by programmable circuitry to implement and / or instantiate the downlink bandwidth reduction circuitry 106, the continuous video classification circuitry 108, and / or the uplink bandwidth reduction circuitry 116 of FIGS. 2-4 and / or representative of example operations which may be performed by programmable circuitry to implement and / or instantiate the downlink bandwidth reduction circuitry 106, the continuous video classification circuitry 108, and / or the uplink bandwidth reduction circuitry 116 of FIGS. 2-4, are shown in FIGS. 5-7. The machine readable instructions may be one or more executable programs or portion (s) of one or more executable programs for execution by programmable circuitry such as the programmable circuitry 812, 912 shown in the example processor platform 800, 900 discussed below in connection with FIGS. 8 and / or 9 and / or may be one or more function (s) or portion (s) of functions to be performed by the example programmable circuitry (e.g., an FPGA) discussed below in connection with FIGS. 10 and / or 11. In some examples, the machine readable instructions cause an operation, a task, etc., to be carried out and / or performed in an automated manner in the real world. As used herein, “automated” means without human involvement.

[0091] The program may be embodied in instructions (e.g., software and / or firmware) stored on one or more non-transitory computer readable and / or machine readable storage medium such as cache memory, a magnetic-storage device or disk (e.g., a floppy disk, a Hard  Disk Drive (HDD) , etc. ) , an optical-storage device or disk (e.g., a Blu-ray disk, a Compact Disk (CD) , a Digital Versatile Disk (DVD) , etc. ) , a Redundant Array of Independent Disks (RAID) , a register, ROM, a solid-state drive (SSD) , SSD memory, non-volatile memory (e.g., electrically erasable programmable read-only memory (EEPROM) , flash memory, etc. ) , volatile memory (e.g., Random Access Memory (RAM) of any type, etc. ) , and / or any other storage device or storage disk. The instructions of the non-transitory computer readable and / or machine readable medium may program and / or be executed by programmable circuitry located in one or more hardware devices, but the entire program and / or parts thereof could alternatively be executed and / or instantiated by one or more hardware devices other than the programmable circuitry and / or embodied in dedicated hardware. The machine readable instructions may be distributed across multiple hardware devices and / or executed by two or more hardware devices (e.g., a server and a client hardware device) . For example, the client hardware device may be implemented by an endpoint client hardware device (e.g., a hardware device associated with a human and / or machine user) or an intermediate client hardware device gateway (e.g., a radio access network (RAN) ) that may facilitate communication between a server and an endpoint client hardware device. Similarly, the non-transitory computer readable storage medium may include one or more mediums. Further, although the example program is described with reference to the flowchart (s) illustrated in FIGS. 5-7, many other methods of implementing the downlink bandwidth reduction circuitry 106, the continuous video classification circuitry 108, and / or the uplink bandwidth reduction circuitry 116 of FIGS. 2-4 may alternatively be used. For example, the order of execution of the blocks of the flowchart (s) may be changed, and / or some of the blocks described may be changed, eliminated, or combined. Additionally or alternatively, any or all of the blocks of the flow chart may be implemented by one or more hardware circuits (e.g., processor circuitry, discrete and / or integrated analog and / or digital circuitry, an FPGA, an ASIC, a  comparator, an operational-amplifier (op-amp) , a logic circuit, etc. ) structured to perform the corresponding operation without executing software or firmware. The programmable circuitry may be distributed in different network locations and / or local to one or more hardware devices (e.g., a single-core processor (e.g., a single core CPU) , a multi-core processor (e.g., a multi-core CPU, an XPU, etc. ) ) . For example, the programmable circuitry may be a CPU and / or an FPGA located in the same package (e.g., the same integrated circuit (IC) package or in two or more separate housings) , one or more processors in a single machine, multiple processors distributed across multiple servers of a server rack, multiple processors distributed across one or more server racks, etc., and / or any combination (s) thereof.

[0092] The machine readable instructions described herein may be stored in one or more of a compressed format, an encrypted format, a fragmented format, a compiled format, an executable format, a packaged format, etc. Machine readable instructions as described herein may be stored as data (e.g., computer-readable data, machine-readable data, one or more bits (e.g., one or more computer-readable bits, one or more machine-readable bits, etc. ) , a bitstream (e.g., a computer-readable bitstream, a machine-readable bitstream, etc. ) , etc. ) or a data structure (e.g., as portion (s) of instructions, code, representations of code, etc. ) that may be utilized to create, manufacture, and / or produce machine executable instructions. For example, the machine readable instructions may be fragmented and stored on one or more storage devices, disks and / or computing devices (e.g., servers) located at the same or different locations of a network or collection of networks (e.g., in the cloud, in edge devices, etc. ) . The machine readable instructions may require one or more of installation, modification, adaptation, updating, combining, supplementing, configuring, decryption, decompression, unpacking, distribution, reassignment, compilation, etc., in order to make them directly readable, interpretable, and / or executable by a computing device and / or other machine. For  example, the machine readable instructions may be stored in multiple parts, which are individually compressed, encrypted, and / or stored on separate computing devices, wherein the parts when decrypted, decompressed, and / or combined form a set of computer-executable and / or machine executable instructions that implement one or more functions and / or operations that may together form a program such as that described herein.

[0093] In another example, the machine readable instructions may be stored in a state in which they may be read by programmable circuitry, but require addition of a library (e.g., a dynamic link library (DLL) ) , a software development kit (SDK) , an application programming interface (API) , etc., in order to execute the machine-readable instructions on a particular computing device or other device. In another example, the machine readable instructions may need to be configured (e.g., settings stored, data input, network addresses recorded, etc. ) before the machine readable instructions and / or the corresponding program (s) can be executed in whole or in part. Thus, machine readable, computer readable and / or machine readable media, as used herein, may include instructions and / or program (s) regardless of the particular format or state of the machine readable instructions and / or program (s) .

[0094] The machine readable instructions described herein can be represented by any past, present, or future instruction language, scripting language, programming language, etc. For example, the machine readable instructions may be represented using any of the following languages: C, C++, Java, C#, Perl, Python, JavaScript, HyperText Markup Language (HTML) , Structured Query Language (SQL) , Swift, etc.

[0095] As mentioned above, the example operations of FIGS. 5-7 may be implemented using executable instructions (e.g., computer readable and / or machine readable instructions) stored on one or more non-transitory computer readable and / or machine readable media. As used herein, the terms non-transitory computer readable medium, non-transitory computer readable storage medium, non-transitory machine readable medium, and / or non-transitory  machine readable storage medium are expressly defined to include any type of computer readable storage device and / or storage disk and to exclude propagating signals and to exclude transmission media. Examples of such non-transitory computer readable medium, non-transitory computer readable storage medium, non-transitory machine readable medium, and / or non-transitory machine readable storage medium include optical storage devices, magnetic storage devices, an HDD, a flash memory, a read-only memory (ROM) , a CD, a DVD, a cache, a RAM of any type, a register, and / or any other storage device or storage disk in which information is stored for any duration (e.g., for extended time periods, permanently, for brief instances, for temporarily buffering, and / or for caching of the information) . As used herein, the terms “non-transitory computer readable storage device” and “non-transitory machine readable storage device” are defined to include any physical (mechanical, magnetic and / or electrical) hardware to retain information for a time period, but to exclude propagating signals and to exclude transmission media. Examples of non-transitory computer readable storage devices and / or non-transitory machine readable storage devices include random access memory of any type, read only memory of any type, solid state memory, flash memory, optical discs, magnetic disks, disk drives, and / or redundant array of independent disks (RAID) systems. As used herein, the term “device” refers to physical structure such as mechanical and / or electrical equipment, hardware, and / or circuitry that may or may not be configured by computer readable instructions, machine readable instructions, etc., and / or manufactured to execute computer-readable instructions, machine-readable instructions, etc.

[0096] “Including” and “comprising” (and all forms and tenses thereof) are used herein to be open ended terms. Thus, whenever a claim employs any form of “include” or “comprise” (e.g., comprises, includes, comprising, including, having, etc. ) as a preamble or within a claim recitation of any kind, it is to be understood that additional elements, terms, etc., may be present without falling outside the scope of the corresponding claim or recitation. As used  herein, when the phrase “at least” is used as the transition term in, for example, a preamble of a claim, it is open-ended in the same manner as the term “comprising” and “including” are open ended. The term “and / or” when used, for example, in a form such as A, B, and / or C refers to any combination or subset of A, B, C such as (1) A alone, (2) B alone, (3) C alone, (4) A with B, (5) A with C, (6) B with C, or (7) A with B and with C. As used herein in the context of describing structures, components, items, objects and / or things, the phrase “at least one of A and B” is intended to refer to implementations including any of (1) at least one A, (2) at least one B, or (3) at least one A and at least one B. Similarly, as used herein in the context of describing structures, components, items, objects and / or things, the phrase “at least one of A or B” is intended to refer to implementations including any of (1) at least one A, (2) at least one B, or (3) at least one A and at least one B. As used herein in the context of describing the performance or execution of processes, instructions, actions, activities and / or steps, the phrase “at least one of A and B” is intended to refer to implementations including any of (1) at least one A, (2) at least one B, or (3) at least one A and at least one B. Similarly, as used herein in the context of describing the performance or execution of processes, instructions, actions, activities and / or steps, the phrase “at least one of A or B” is intended to refer to implementations including any of (1) at least one A, (2) at least one B, or (3) at least one A and at least one B.

[0097] As used herein, singular references (e.g., “a” , “an” , “first” , “second” , etc. ) do not exclude a plurality. The term “a” or “an” object, as used herein, refers to one or more of that object. The terms “a” (or “an” ) , “one or more” , and “at least one” are used interchangeably herein. Furthermore, although individually listed, a plurality of means, elements, or actions may be implemented by, e.g., the same entity or object. Additionally, although individual features may be included in different examples or claims, these may possibly be combined, and the inclusion in different examples or claims does not imply that a combination of  features is not feasible and / or advantageous.

[0098] FIG. 5 is a flowchart representative of example machine readable instructions and / or example operations 500 that may be executed, instantiated, and / or performed by programmable circuitry (ies) to generate a correction factor that can be used to generate egress timestamps. For example, the example operations 500 may be executed, instantiated, and / or performed by the model trainer circuitry 104 and / or the downlink bandwidth reduction circuitry 106 of FIGS. 1 and / or 2. The example machine-readable instructions and / or the example operations 500 of FIG. 5 begin at block 502, at which the model trainer circuitry 104 trains a teacher AI-based model using training data (e.g., obtained via the network interface circuitry 109) . As described above, the teacher model is a large complex AI-based model that is accurate, but consumes a lot of resources to implement.

[0099] At block 504, the model trainer circuitry 104 trains a student AI-based model using knowledge distillation from the teacher AI-based model. As further described above, the student AI-based model is a smaller, less complex AI-based model than the teacher AI-based model. The student AI-based model is trained based on knowledge distillation from the teacher AI-based model so that the student model approximates the outputs of the teacher model. At block 506, the interface circuitry 202 causes deployment (e.g., transmission) of the trained student AI-model to the edge processing device 112 via the network 110 by transmission instructions to the network interface circuitry 109. At block 508, the model trainer circuitry 104 determines if additional training data has been obtained (e.g., via the network 110 through the network interface circuitry 109 and the interface circuitry 202) . Additional training data may be obtained to perform retraining and / or tuning of the teacher AI-based model.

[0100] If the interface circuitry 202 determines that additional training data has not been obtained (block 508: NO) , control returns to block 508 until additional training data has been  obtained. If the interface circuitry 202 determines that additional training data has been obtained (block 508: YES) the model trainer circuitry 104 applies the additional training data to retrain and / or tune the teacher AI-based model to generate classification output (s) (block 510) . At block 512, the model trainer circuitry 104 applies the additional training data and a prompt to the student model to generate classification output (s) . As described above, the prompt generation circuitry 206 generates the initial prompt sized to the same size / dimensions as a frame of a video and may initialize all parameters of the prompt to ‘0. ’

[0101] At block 514, the example comparator 208 compares the classification outputs (s) of the retrained teacher AI-based model with the output (s) of the student AI-based model. At block 516, the prompt adjustment circuitry 210 adjusts one or more parameter (s) of the prompt. The parameters (s) of the prompt are adjusted so that when the prompt is input into the student AI-based model with input data, the output classification of the student AI-based model approximates the output classification of the teacher model, without adjusting the weights of the student AI-based model. The prompt that alters operation of the student AI-based model to operate as a retrained and / or tuned student AI-based model. At block 518, the interface circuitry 202 cause transmission of the adjusted prompt to the edge processing device 112 via the network 110 by instructing the network interface circuitry 109 to transmit the adjusted prompt. In this manner, the edge processing device 112 can implement the student AI-based model using the adjusted prompt as an input so that the student AI-based model operates based on the retraining process. Because a prompt corresponds to much less data than the amount of data needed to redeploy a model, transmitting the prompt as opposed to deploying an updated AI-based model reduces bandwidth consumption.

[0102] FIG. 6 is a flowchart representative of example machine readable instructions and / or example operations 600 that may be executed, instantiated, and / or performed by programmable circuitry (ies) to continuously update a video classification model which  reducing memory consumption. For example, the example operations 600 may be executed, instantiated, and / or performed by the continuous video classification circuitry 108 of FIG. 3. The example machine-readable instructions and / or the example operations 600 of FIG. 6 begin at block 602, at which the video classification circuitry 304 trains a video classification model using training video data. The training of block 602 corresponds to the initial training of a video classification AI-based model.

[0103] At block 604, the example interface circuitry 302 causes deployment of the trained video classification model to the edge processing device 112 by instructing the network interface circuitry 109 to transmit data related to implementing the trained video classification model. At block 606, the example filter circuitry 306 selects frame (s) of interest from the respective training video (s) used to train the video classification model. The selection process of the filter circuitry 306 is further described above in connection with FIG. 3. At block 608, the example image buffer 308 stores the selected frame (s) . As further described below, the stored frame (s) in the image buffer 308 is used to train an image classification model that is used to inform retraining of a subsequent video classification model. In this manner, the subsequently retrained video classification model is trained based on new training data and the old training data.

[0104] At block 610, the interface circuitry 302 determines if additional training data has been obtained to initiate video classification model retraining. If the interface circuitry 302 determines that additional training data has not been obtained (block 610: NO) , control returns to block 610 until additional training data is obtained. If the interface circuitry 302 determines that additional training data has been obtained (block 610: YES) , the example image classification circuitry 310 accesses frame (s) and / or a subset of frame (s) from the image buffer 308 (block 612) . The filter circuitry 306 may determine the subset of frame (s) based on video classes of interest, as further described above in connection with FIG. 3. At  block 614, the image classification circuitry 310 trains the image classification AI-based model using the accessed frame (s) and / or subset of frame (s) from the image buffer 308.

[0105] At block 616, the example video classification circuitry 304 trains a new / updated / retrained video classification model using the additional training data. At block 618, the example knowledge distillation circuitry 312 performs knowledge distillation on the newly trained video classification model based on the image classification model to incorporate knowledge learned from previously used training videos based on the frame (s) and / or subset of frame (s) used to train the image classification model. At block 620, the interface circuitry 302 causes deployment of the retrained video classification model to the edge processing device 112 by instructing the network interface circuitry 109 to transmit data related to implementing the retrained video classification model.

[0106] FIG. 7 is a flowchart representative of example machine readable instructions and / or example operations 700 that may be executed, instantiated, and / or performed by programmable circuitry (ies) to reduce uplink bandwidth consumption when transmission training data to a server. For example, the example operations 700 may be executed, instantiated, and / or performed by the uplink bandwidth reduction circuitry 116 of FIG. 4. The example machine-readable instructions and / or the example operations 700 of FIG. 7 begin at block 702, at which the interface circuitry 402 obtains video data from a sensor and / or camera. The video data correspond to a real-time or near real-time video feed.

[0107] At block 704, the example data buffer 406 stores a first frame of the video data. As further described below, the frame data stored in the data buffer 406 is to be transmitted to the cloud server 102 and frames not included in the data buffer 406 are discarded (e.g., to reduce uplink bandwidth) . At block 708, the example comparator 404 selects a subsequent frame of the video data. At block 710, the comparator 404 compares the selected frame with stored frame (s) (e.g., frame (s) stored in the data buffer 406) . As further described above in  connection with FIG. 4, the comparator 404 can compare the selected from to one or more of the stored frames using a distance formula (e.g., Euclidean distance) and / or using any other comparison technique.

[0108] At block 712, the comparator 404 determines if the selected frame is different than the stored frame (s) by more than a threshold (e.g., if the distance between the selected frame and any one of the stored frames is above a threshold) . If the comparator 404 determines that the selected frame is not different than the stored frame (s) by more than a threshold (block 712: NO) , the example comparator 404 discards the selected frame (block 714) and control continues to block 724. If the comparator 404 determines that the selected frame is different than the stored frame (s) by more than a threshold (block 712: YES) , the data buffer 406 stores the selected frame (block 716) .

[0109] At block 718, the example comparator 404 determines if the buffer is storing more than a threshold number of frames. In the example of FIG. 7, the uplink bandwidth reduction circuitry 116 transmits the frame data in the data buffer 406 when there is more than a threshold number of frame (s) stored in the data buffer 406. However, the uplink bandwidth reduction circuitry 116 may additionally or alternatively transmit the frame data based on a threshold amount of time and / or based on another trigger (e.g., such as a request from another device) .

[0110] If the example comparator 404 determines that the data buffer 406 is not storing more than a threshold number of frames (block 718: NO) , control continues to block 724. If the example comparator 404 determines that the data buffer 406 is storing more than a threshold number of frames (block 718: YES) , the data compressor circuitry 408 compresses the stored data frames from the data buffer 406 (block 720) using any data compression technique. At block 722, the example interface circuitry 402 causes transmission of the compressed frame (s) from the data buffer 406 to the cloud server 102 by instructing the  network interface circuitry 113 to transmit the compressed frame (s) to the cloud server 102 via the network 110.

[0111] At block 724, the example comparator 404 determines if there are any additional frame (s) to process from the obtained video (s) . If the comparator 404 determines that there are additional frame (s) to process (block 724: YES) , control returns to block 708. If the comparator 404 determines that there are no additional frame (s) to process (block 724: NO) , the process ends.

[0112] FIG. 8 is a block diagram of an example programmable circuitry platform 800 structured to execute and / or instantiate the example machine-readable instructions and / or the example operations of FIGS. 5 and / or 6 to implement the processor circuitry 802. The programmable circuitry platform 800 can be, for example, a server, a personal computer, a workstation, a self-learning machine (e.g., a neural network) , or any other type of computing and / or electronic device.

[0113] The programmable circuitry platform 800 of the illustrated example includes programmable circuitry 812. The programmable circuitry 812 of the illustrated example is hardware. For example, the programmable circuitry 812 can be implemented by one or more integrated circuits, logic circuits, FPGAs, microprocessors, CPUs, GPUs, DSPs, and / or microcontrollers from any desired family or manufacturer. The programmable circuitry 812 may be implemented by one or more semiconductor based (e.g., silicon based) devices. In this example, the programmable circuitry 812 implements the model trainer circuitry 104, the interface circuitry 202, the prompt distillation circuitry 204, the prompt generation circuitry 206, the comparator 208, the prompt adjustment circuitry 210, the interface circuitry 302, the video classification circuitry 304, the filter circuitry 306, the image classification circuitry 310, and the knowledge distillation circuitry 312 of FIGS. 1-3.

[0114] The programmable circuitry 812 of the illustrated example includes a local memory  813 (e.g., a cache, registers, etc. ) . The programmable circuitry 812 of the illustrated example is in communication with main memory 814, 816, which includes a volatile memory 814 and a non-volatile memory 816, by a bus 818. The volatile memory 814 may be implemented by Synchronous Dynamic Random Access Memory (SDRAM) , Dynamic Random Access Memory (DRAM) ,  Dynamic Random Access Memory and / or any other type of RAM device. The non-volatile memory 816 may be implemented by flash memory and / or any other desired type of memory device. Access to the main memory 814, 816 of the illustrated example is controlled by a memory controller 817. In some examples, the memory controller 817 may be implemented by one or more integrated circuits, logic circuits, microcontrollers from any desired family or manufacturer, or any other type of circuitry to manage the flow of data going to and from the main memory 814, 816.

[0115] The programmable circuitry platform 800 of the illustrated example also includes interface circuitry 820. The interface circuitry 820 may be implemented by hardware in accordance with any type of interface standard, such as an Ethernet interface, a universal serial bus (USB) interface, a interface, a near field communication (NFC) interface, a Peripheral Component Interconnect (PCI) interface, and / or a Peripheral Component Interconnect Express (PCIe) interface. In the example of FIG. 8, the interface circuitry 820 implements the network interface circuitry 109 of FIG. 1

[0116] In the illustrated example, one or more input devices 822 are connected to the interface circuitry 820. The input device (s) 822 permit (s) a user (e.g., a human user, a machine user, etc. ) to enter data and / or commands into the programmable circuitry 812. The input device (s) 822 can be implemented by, for example, a keyboard, a button, a mouse, and / or a touchscreen.

[0117] One or more output devices 824 are also connected to the interface circuitry 820 of the illustrated example. The output device (s) 824 can be implemented, for example, by  display devices (e.g., a light emitting diode (LED) , an organic light emitting diode (OLED) , a liquid crystal display (LCD) , a cathode ray tube (CRT) display, an in-place switching (IPS) display, a touchscreen, etc. ) , and / or speaker. The interface circuitry 820 of the illustrated example, thus, typically includes a graphics driver card, a graphics driver chip, and / or graphics processor circuitry such as a GPU.

[0118] The interface circuitry 820 of the illustrated example also includes a communication device such as a transmitter, a receiver, a transceiver, a modem, a residential gateway, a wireless access point, and / or a network interface to facilitate exchange of data with external machines (e.g., computing devices of any kind) by a network 826. The communication can be by, for example, an Ethernet connection, a digital subscriber line (DSL) connection, a telephone line connection, a coaxial cable system, an optical fiber connection, a satellite system, a beyond-line-of-sight wireless system, a line-of-sight wireless system, a cellular telephone system, an optical connection, etc.

[0119] The programmable circuitry platform 800 of the illustrated example also includes one or more mass storage discs or devices 828 to store firmware, software, and / or data. Examples of such mass storage discs or devices 828 include magnetic storage devices (e.g., floppy disk, drives, HDDs, etc. ) , optical storage devices (e.g., Blu-ray disks, CDs, DVDs, etc. ) , RAID systems, and / or solid-state storage discs or devices such as flash memory devices and / or SSDs.

[0120] The machine readable instructions 832, which may be implemented by the machine readable instructions of FIGS. 5 and / or 6, may be stored in the mass storage device 828, in the volatile memory 814, in the non-volatile memory 816, and / or on at least one non-transitory computer readable storage medium such as a CD or DVD which may be removable.

[0121] FIG. 9 is a block diagram of an example programmable circuitry platform 900 structured to execute and / or instantiate the example machine-readable instructions and / or the  example operations of FIG. 7 to implement the processor circuitry 902. The programmable circuitry platform 900 can be, for example, a server, a personal computer, a workstation, a self-learning machine (e.g., a neural network) , or any other type of computing and / or electronic device.

[0122] The programmable circuitry platform 900 of the illustrated example includes programmable circuitry 912. The programmable circuitry 912 of the illustrated example is hardware. For example, the programmable circuitry 912 can be implemented by one or more integrated circuits, logic circuits, FPGAs, microprocessors, CPUs, GPUs, DSPs, and / or microcontrollers from any desired family or manufacturer. The programmable circuitry 912 may be implemented by one or more semiconductor based (e.g., silicon based) devices. In this example, the programmable circuitry 912 implements the model implementation circuitry 114, the interface circuitry 402, the comparator 404, and the data compressor circuitry 408 of FIGS. 1 and 4.

[0123] The programmable circuitry 912 of the illustrated example includes a local memory 913 (e.g., a cache, registers, etc. ) . In the example of FIG. 9, the local memory 913 implements the data buffer 406 of FIG. 4. The programmable circuitry 912 of the illustrated example is in communication with main memory 914, 916, which includes a volatile memory 914 and a non-volatile memory 916, by a bus 918. The volatile memory 914 may be implemented by Synchronous Dynamic Random Access Memory (SDRAM) , Dynamic Random Access Memory (DRAM) ,  Dynamic Random Access Memory and / or any other type of RAM device. The non-volatile memory 916 may be implemented by flash memory and / or any other desired type of memory device. Access to the main memory 914, 916 of the illustrated example is controlled by a memory controller 917. In some examples, the memory controller 917 may be implemented by one or more integrated circuits, logic circuits, microcontrollers from any desired family or manufacturer, or any other  type of circuitry to manage the flow of data going to and from the main memory 914, 916.

[0124] The programmable circuitry platform 900 of the illustrated example also includes interface circuitry 920. The interface circuitry 920 may be implemented by hardware in accordance with any type of interface standard, such as an Ethernet interface, a universal serial bus (USB) interface, a interface, a near field communication (NFC) interface, a Peripheral Component Interconnect (PCI) interface, and / or a Peripheral Component Interconnect Express (PCIe) interface. In the example of FIG. 9, the interface circuitry 920 implements the network interface circuitry 113 of FIG. 1

[0125] In the illustrated example, one or more input devices 922 are connected to the interface circuitry 920. The input device (s) 922 permit (s) a user (e.g., a human user, a machine user, etc. ) to enter data and / or commands into the programmable circuitry 912. The input device (s) 922 can be implemented by, for example, a keyboard, a button, a mouse, and / or a touchscreen.

[0126] One or more output devices 924 are also connected to the interface circuitry 920 of the illustrated example. The output device (s) 924 can be implemented, for example, by display devices (e.g., a light emitting diode (LED) , an organic light emitting diode (OLED) , a liquid crystal display (LCD) , a cathode ray tube (CRT) display, an in-place switching (IPS) display, a touchscreen, etc. ) , and / or speaker. The interface circuitry 920 of the illustrated example, thus, typically includes a graphics driver card, a graphics driver chip, and / or graphics processor circuitry such as a GPU.

[0127] The interface circuitry 920 of the illustrated example also includes a communication device such as a transmitter, a receiver, a transceiver, a modem, a residential gateway, a wireless access point, and / or a network interface to facilitate exchange of data with external machines (e.g., computing devices of any kind) by a network 926. The communication can be by, for example, an Ethernet connection, a digital subscriber line (DSL) connection, a  telephone line connection, a coaxial cable system, an optical fiber connection, a satellite system, a beyond-line-of-sight wireless system, a line-of-sight wireless system, a cellular telephone system, an optical connection, etc.

[0128] The programmable circuitry platform 900 of the illustrated example also includes one or more mass storage discs or devices 928 to store firmware, software, and / or data. Examples of such mass storage discs or devices 928 include magnetic storage devices (e.g., floppy disk, drives, HDDs, etc. ) , optical storage devices (e.g., Blu-ray disks, CDs, DVDs, etc. ) , RAID systems, and / or solid-state storage discs or devices such as flash memory devices and / or SSDs.

[0129] The machine readable instructions 932, which may be implemented by the machine readable instructions of FIG. 7, may be stored in the mass storage device 928, in the volatile memory 914, in the non-volatile memory 916, and / or on at least one non-transitory computer readable storage medium such as a CD or DVD which may be removable.

[0130] FIG. 10 is a block diagram of an example implementation of the programmable circuitry 812, 912 of FIGS. 8 and / or 9. In this example, the programmable circuitry 812, 912 of FIGS. 8 and / or 9 is implemented by a microprocessor 1000. For example, the microprocessor 1000 may be a general-purpose microprocessor (e.g., general-purpose microprocessor circuitry) . The microprocessor 1000 executes some or all of the machine-readable instructions of the flowcharts of FIGS. 5-7 to effectively instantiate the circuitry of FIG. 2 as logic circuits to perform operations corresponding to those machine readable instructions. In some such examples, the circuitry of FIGS. 10 and / or 11 is instantiated by the hardware circuits of the microprocessor 1000 in combination with the machine-readable instructions. For example, the microprocessor 1000 may be implemented by multi-core hardware circuitry such as a CPU, a DSP, a GPU, an XPU, etc. Although it may include any number of example cores 1002 (e.g., 1 core) , the microprocessor 1000 of this example is a  multi-core semiconductor device including N cores. The cores 1002 of the microprocessor 1000 may operate independently or may cooperate to execute machine readable instructions. For example, machine code corresponding to a firmware program, an embedded software program, or a software program may be executed by one of the cores 1002 or may be executed by multiple ones of the cores 1002 at the same or different times. In some examples, the machine code corresponding to the firmware program, the embedded software program, or the software program is split into threads and executed in parallel by two or more of the cores 1002. The software program may correspond to a portion or all of the machine readable instructions and / or operations represented by the flowcharts of FIGS. 5-7.

[0131] The cores 1002 may communicate by a first example bus 1004. In some examples, the first bus 1004 may be implemented by a communication bus to effectuate communication associated with one (s) of the cores 1002. For example, the first bus 1004 may be implemented by at least one of an Inter-Integrated Circuit (I2C) bus, a Serial Peripheral Interface (SPI) bus, a PCI bus, or a PCIe bus. Additionally or alternatively, the first bus 1004 may be implemented by any other type of computing or electrical bus. The cores 1002 may obtain data, instructions, and / or signals from one or more external devices by example interface circuitry 1006. The cores 1002 may output data, instructions, and / or signals to the one or more external devices by the interface circuitry 1006. Although the cores 1002 of this example include example local memory 1020 (e.g., Level 1 (L1) cache that may be split into an L1 data cache and an L1 instruction cache) , the microprocessor 1000 also includes example shared memory 1010 that may be shared by the cores (e.g., Level 2 (L2 cache) ) for high-speed access to data and / or instructions. Data and / or instructions may be transferred (e.g., shared) by writing to and / or reading from the shared memory 1010. The local memory 1020 of each of the cores 1002 and the shared memory 1010 may be part of a hierarchy of storage devices including multiple levels of cache memory and the main memory (e.g., the  main memory 814, 816, 914, 916 of FIGS. 8 and / or 9) . Typically, higher levels of memory in the hierarchy exhibit lower access time and have smaller storage capacity than lower levels of memory. Changes in the various levels of the cache hierarchy are managed (e.g., coordinated) by a cache coherency policy.

[0132] Each core 1002 may be referred to as a CPU, DSP, GPU, etc., or any other type of hardware circuitry. Each core 1002 includes control unit circuitry 1014, arithmetic and logic (AL) circuitry (sometimes referred to as an ALU) 1016, a plurality of registers 1018, the local memory 1020, and a second example bus 1022. Other structures may be present. For example, each core 1002 may include vector unit circuitry, single instruction multiple data (SIMD) unit circuitry, load / store unit (LSU) circuitry, branch / jump unit circuitry, floating-point unit (FPU) circuitry, etc. The control unit circuitry 1014 includes semiconductor-based circuits structured to control (e.g., coordinate) data movement within the corresponding core 1002. The AL circuitry 1016 includes semiconductor-based circuits structured to perform one or more mathematic and / or logic operations on the data within the corresponding core 1002. The AL circuitry 1016 of some examples performs integer based operations. In other examples, the AL circuitry 1016 also performs floating-point operations. In yet other examples, the AL circuitry 1016 may include first AL circuitry that performs integer-based operations and second AL circuitry that performs floating-point operations. In some examples, the AL circuitry 1016 may be referred to as an Arithmetic Logic Unit (ALU) .

[0133] The registers 1018 are semiconductor-based structures to store data and / or instructions such as results of one or more of the operations performed by the AL circuitry 1016 of the corresponding core 1002. For example, the registers 1018 may include vector register (s) , SIMD register (s) , general-purpose register (s) , flag register (s) , segment register (s) , machine-specific register (s) , instruction pointer register (s) , control register (s) , debug register (s) , memory management register (s) , machine check register (s) , etc. The registers  1018 may be arranged in a bank as shown in FIG. 10. Alternatively, the registers 1018 may be organized in any other arrangement, format, or structure, such as by being distributed throughout the core 1002 to shorten access time. The second bus 1022 may be implemented by at least one of an I2C bus, a SPI bus, a PCI bus, or a PCIe bus.

[0134] Each core 1002 and / or, more generally, the microprocessor 1000 may include additional and / or alternate structures to those shown and described above. For example, one or more clock circuits, one or more power supplies, one or more power gates, one or more cache home agents (CHAs) , one or more converged / common mesh stops (CMSs) , one or more shifters (e.g., barrel shifter (s) ) and / or other circuitry may be present. The microprocessor 1000 is a semiconductor device fabricated to include many transistors interconnected to implement the structures described above in one or more integrated circuits (ICs) contained in one or more packages.

[0135] The microprocessor 1000 may include and / or cooperate with one or more accelerators (e.g., acceleration circuitry, hardware accelerators, etc. ) . In some examples, accelerators are implemented by logic circuitry to perform certain tasks more quickly and / or efficiently than can be done by a general-purpose processor. Examples of accelerators include ASICs and FPGAs such as those discussed herein. A GPU, DSP and / or other programmable device can also be an accelerator. Accelerators may be on-board the microprocessor 1000, in the same chip package as the microprocessor 1000 and / or in one or more separate packages from the microprocessor 1000.

[0136] FIG. 11 is a block diagram of another example implementation of the programmable circuitry 812, 912 of FIGS. 8 and / or 9. In this example, the programmable circuitry 812, 912 is implemented by FPGA circuitry 1100. For example, the FPGA circuitry 1100 may be implemented by an FPGA. The FPGA circuitry 1100 can be used, for example, to perform operations that could otherwise be performed by the example microprocessor 1000 of FIG. 10  executing corresponding machine readable instructions. However, once configured, the FPGA circuitry 1100 instantiates the operations and / or functions corresponding to the machine readable instructions in hardware and, thus, can often execute the operations / functions faster than they could be performed by a general-purpose microprocessor executing the corresponding software.

[0137] More specifically, in contrast to the microprocessor 1000 of FIG. 10 described above (which is a general purpose device that may be programmed to execute some or all of the machine readable instructions represented by the flowchart (s) of FIGS. 5-7 but whose interconnections and logic circuitry are fixed once fabricated) , the FPGA circuitry 1100 of the example of FIG. 11 includes interconnections and logic circuitry that may be configured, structured, programmed, and / or interconnected in different ways after fabrication to instantiate, for example, some or all of the operations / functions corresponding to the machine readable instructions represented by the flowchart (s) of FIGS. 5-7. In particular, the FPGA circuitry 1100 may be thought of as an array of logic gates, interconnections, and switches. The switches can be programmed to change how the logic gates are interconnected by the interconnections, effectively forming one or more dedicated logic circuits (unless and until the FPGA circuitry 1100 is reprogrammed) . The configured logic circuits enable the logic gates to cooperate in different ways to perform different operations on data received by input circuitry. Those operations may correspond to some or all of the instructions (e.g., the software and / or firmware) represented by the flowchart (s) of FIGS. 5-7. As such, the FPGA circuitry 1100 may be configured and / or structured to effectively instantiate some or all of the operations / functions corresponding to the machine readable instructions of the flowchart (s) of FIGS. 5-7 as dedicated logic circuits to perform the operations / functions corresponding to those software instructions in a dedicated manner analogous to an ASIC. Therefore, the FPGA circuitry 1100 may perform the operations / functions corresponding to the some or all  of the machine readable instructions of FIGS. 5-7 faster than the general-purpose microprocessor can execute the same.

[0138] In the example of FIG. 11, the FPGA circuitry 1100 is configured and / or structured in response to being programmed (and / or reprogrammed one or more times) based on a binary file. In some examples, the binary file may be compiled and / or generated based on instructions in a hardware description language (HDL) such as Lucid, Very High Speed Integrated Circuits (VHSIC) Hardware Description Language (VHDL) , or Verilog. For example, a user (e.g., a human user, a machine user, etc. ) may write code or a program corresponding to one or more operations / functions in an HDL; the code / program may be translated into a low-level language as needed; and the code / program (e.g., the code / program in the low-level language) may be converted (e.g., by a compiler, a software application, etc. ) into the binary file. In some examples, the FPGA circuitry 1100 of FIG. 11 may access and / or load the binary file to cause the FPGA circuitry 1100 of FIG. 11 to be configured and / or structured to perform the one or more operations / functions. For example, the binary file may be implemented by a bit stream (e.g., one or more computer-readable bits, one or more machine-readable bits, etc. ) , data (e.g., computer-readable data, machine-readable data, etc. ) , and / or machine-readable instructions accessible to the FPGA circuitry 1100 of FIG. 11 to cause configuration and / or structuring of the FPGA circuitry 1100 of FIG. 11, or portion (s) thereof.

[0139] In some examples, the binary file is compiled, generated, transformed, and / or otherwise output from a uniform software platform utilized to program FPGAs. For example, the uniform software platform may translate first instructions (e.g., code or a program) that correspond to one or more operations / functions in a high-level language (e.g., C, C++, Python, etc. ) into second instructions that correspond to the one or more operations / functions in an HDL. In some such examples, the binary file is compiled, generated, and / or otherwise  output from the uniform software platform based on the second instructions. In some examples, the FPGA circuitry 1100 of FIG. 11 may access and / or load the binary file to cause the FPGA circuitry 1100 of FIG. 11 to be configured and / or structured to perform the one or more operations / functions. For example, the binary file may be implemented by a bit stream (e.g., one or more computer-readable bits, one or more machine-readable bits, etc. ) , data (e.g., computer-readable data, machine-readable data, etc. ) , and / or machine-readable instructions accessible to the FPGA circuitry 1100 of FIG. 11 to cause configuration and / or structuring of the FPGA circuitry 1100 of FIG. 11, or portion (s) thereof.

[0140] The FPGA circuitry 1100 of FIG. 11, includes example input / output (I / O) circuitry 1102 to obtain and / or output data to / from example configuration circuitry 1104 and / or external hardware 1106. For example, the configuration circuitry 1104 may be implemented by interface circuitry that may obtain a binary file, which may be implemented by a bit stream, data, and / or machine-readable instructions, to configure the FPGA circuitry 1100, or portion (s) thereof. In some such examples, the configuration circuitry 1104 may obtain the binary file from a user, a machine (e.g., hardware circuitry (e.g., programmable or dedicated circuitry) that may implement an Artificial Intelligence / Machine Learning (AI / ML) model to generate the binary file) , etc., and / or any combination (s) thereof) . In some examples, the external hardware 1106 may be implemented by external hardware circuitry. For example, the external hardware 1106 may be implemented by the microprocessor 1000 of FIG. 10.

[0141] The FPGA circuitry 1100 also includes an array of example logic gate circuitry 1108, a plurality of example configurable interconnections 1110, and example storage circuitry 1112. The logic gate circuitry 1108 and the configurable interconnections 1110 are configurable to instantiate one or more operations / functions that may correspond to at least some of the machine readable instructions of FIGS. 5-7 and / or other desired operations. The logic gate circuitry 1108 shown in FIG. 11 is fabricated in blocks or groups. Each block  includes semiconductor-based electrical structures that may be configured into logic circuits. In some examples, the electrical structures include logic gates (e.g., And gates, Or gates, Nor gates, etc. ) that provide basic building blocks for logic circuits. Electrically controllable switches (e.g., transistors) are present within each of the logic gate circuitry 1108 to enable configuration of the electrical structures and / or the logic gates to form circuits to perform desired operations / functions. The logic gate circuitry 1108 may include other electrical structures such as look-up tables (LUTs) , registers (e.g., flip-flops or latches) , multiplexers, etc.

[0142] The configurable interconnections 1110 of the illustrated example are conductive pathways, traces, vias, or the like that may include electrically controllable switches (e.g., transistors) whose state can be changed by programming (e.g., using an HDL instruction language) to activate or deactivate one or more connections between one or more of the logic gate circuitry 1108 to program desired logic circuits.

[0143] The storage circuitry 1112 of the illustrated example is structured to store result (s) of the one or more of the operations performed by corresponding logic gates. The storage circuitry 1112 may be implemented by registers or the like. In the illustrated example, the storage circuitry 1112 is distributed amongst the logic gate circuitry 1108 to facilitate access and increase execution speed.

[0144] The example FPGA circuitry 1100 of FIG. 11 also includes example dedicated operations circuitry 1114. In this example, the dedicated operations circuitry 1114 includes special purpose circuitry 1116 that may be invoked to implement commonly used functions to avoid the need to program those functions in the field. Examples of such special purpose circuitry 1116 include memory (e.g., DRAM) controller circuitry, PCIe controller circuitry, clock circuitry, transceiver circuitry, memory, and multiplier-accumulator circuitry. Other types of special purpose circuitry may be present. In some examples, the FPGA circuitry  1100 may also include example general purpose programmable circuitry 1118 such as an example CPU 1120 and / or an example DSP 1122. Other general purpose programmable circuitry 1118 may additionally or alternatively be present such as a GPU, an XPU, etc., that can be programmed to perform other operations.

[0145] Although FIGS. 10 and 11 illustrate two example implementations of the programmable circuitry 812, 912 of FIGS. 8 and / or 9, many other approaches are contemplated. For example, FPGA circuitry may include an on-board CPU, such as one or more of the example CPU 1120 of FIG. 10. Therefore, the programmable circuitry 812, 912 of FIGS. 8 and / or 9 may additionally be implemented by combining at least the example microprocessor 1000 of FIG. 10 and the example FPGA circuitry 1100 of FIG. 11. In some such hybrid examples, one or more cores 1002 of FIG. 10 may execute a first portion of the machine readable instructions represented by the flowchart (s) of FIGS. 5-7 to perform first operation (s)  / function (s) , the FPGA circuitry 1100 of FIG. 11 may be configured and / or structured to perform second operation (s)  / function (s) corresponding to a second portion of the machine readable instructions represented by the flowcharts of FIGS. 5-7, and / or an ASIC may be configured and / or structured to perform third operation (s)  / function (s) corresponding to a third portion of the machine readable instructions represented by the flowcharts of FIGS. 5-7.

[0146] It should be understood that some or all of the circuitry of FIGS. 10 and / or 11 may, thus, be instantiated at the same or different times. For example, same and / or different portion (s) of the microprocessor 1000 of FIG. 10 may be programmed to execute portion (s) of machine-readable instructions at the same and / or different times. In some examples, same and / or different portion (s) of the FPGA circuitry 1100 of FIG. 11 may be configured and / or structured to perform operations / functions corresponding to portion (s) of machine-readable instructions at the same and / or different times.

[0147] In some examples, some or all of the circuitry of FIGS. 10 and / or 11 may be instantiated, for example, in one or more threads executing concurrently and / or in series. For example, the microprocessor 1000 of FIG. 10 may execute machine readable instructions in one or more threads executing concurrently and / or in series. In some examples, the FPGA circuitry 1100 of FIG. 11 may be configured and / or structured to carry out operations / functions concurrently and / or in series. Moreover, in some examples, some or all of the processor circuitry 802, 902 may be implemented within one or more virtual machines and / or containers executing on the microprocessor 1000 of FIG. 10.

[0148] In some examples, the programmable circuitry 812, 912 of FIGS. 8 and / or 9 may be in one or more packages. For example, the microprocessor 1000 of FIG. 10 and / or the FPGA circuitry 1100 of FIG. 11 may be in one or more packages. In some examples, an XPU may be implemented by the programmable circuitry 812, 923 of FIGS. 8 and / or 9, which may be in one or more packages. For example, the XPU may include a CPU (e.g., the microprocessor 1000 of FIG. 10, the CPU 1120 of FIG. 11, etc. ) in one package, a DSP (e.g., the DSP 1122 of FIG. 11) in another package, a GPU in yet another package, and an FPGA (e.g., the FPGA circuitry 1100 of FIG. 11) in still yet another package.

[0149] A block diagram illustrating an example software distribution platform 1205 to distribute software such as the example machine readable instructions 832, 932 of FIGS. 8 and / or 9 to other hardware devices (e.g., hardware devices owned and / or operated by third parties from the owner and / or operator of the software distribution platform) is illustrated in FIG. 12. The example software distribution platform 1205 may be implemented by any computer server, data facility, cloud service, etc., capable of storing and transmitting software to other computing devices. The third parties may be customers of the entity owning and / or operating the software distribution platform 1205. For example, the entity that owns and / or operates the software distribution platform 1205 may be a developer, a seller, and / or a  licensor of software such as the example machine readable instructions 832, 932 of FIGS. 8 and / or 9. The third parties may be consumers, users, retailers, OEMs, etc., who purchase and / or license the software for use and / or re-sale and / or sub-licensing. In the illustrated example, the software distribution platform 1205 includes one or more servers and one or more storage devices. The storage devices store the machine readable instructions 832, 932 which may correspond to the example machine readable instructions of FIGS. 5-7, as described above. The one or more servers of the example software distribution platform 1205 are in communication with an example network 1210, which may correspond to any one or more of the Internet and / or any of the example networks described above. In some examples, the one or more servers are responsive to requests to transmit the software to a requesting party as part of a commercial transaction. Payment for the delivery, sale, and / or license of the software may be handled by the one or more servers of the software distribution platform and / or by a third party payment entity. The servers enable purchasers and / or licensors to download the machine readable instructions 832, 932 from the software distribution platform 1205. For example, the software, which may correspond to the example machine readable instructions of FIGS. 5-7, may be downloaded to the example programmable circuitry platform 800, 900 which is to execute the machine readable instructions 832, 932 to implement the processor circuitry 802, 902. In some examples, one or more servers of the software distribution platform 1205 periodically offer, transmit, and / or force updates to the software (e.g., the example machine readable instructions 832, 932 of FIGS. 8 and / or 9) to ensure improvements, patches, updates, etc., are distributed and applied to the software at the end user devices. Although referred to as software above, the distributed “software” could alternatively be firmware.

[0150] Example methods, apparatus, systems, and articles of manufacture to reduce resources when training and / or implementing artificial intelligence-based models are  disclosed herein. Further examples and combinations thereof include the following: Example 1 includes a non-transitory machine readable medium comprising instructions to cause programmable circuitry to at least apply training data to a first artificial intelligence (AI) -based model to generate a first output, apply the training data and a prompt to a second AI-based model to generate a second output, the second AI-based model having less neurons than the first AI-based model, adjust the prompt based on a comparison of the first output and the second output, and cause transmission of the prompt to an edge device that implements a copy of the second AI-based model, the prompt to be applied as an input in the second AI-based model to affect output classification of the second AI-based model.

[0151] Example 2 includes the non-transitory computer readable medium of example 1, wherein the training data is new training data, the instructions to cause the programmable circuitry to train the first AI-based model using initial training data, and use knowledge distillation to train the second AI-based model based on the first AI-based model.

[0152] Example 3 includes the non-transitory computer readable medium of example 2, wherein the instructions cause the programmable circuitry to use the knowledge distillation by generate a comparison of a third output of the first AI-based model to a fourth output of the second AI-based model using a similarity loss function, and adjust weights of the second AI-based model based on the comparison.

[0153] Example 4 includes the non-transitory computer readable medium of example 1, wherein the second AI-based model is initially trained to approximate outputs of the first AI-based model.

[0154] Example 5 includes the non-transitory computer readable medium of example 1, wherein the instructions cause the programmable circuitry to adjust the prompt by changing a parameter of the prompt.

[0155] Example 6 includes the non-transitory computer readable medium of example 1,  wherein the instructions cause the programmable circuitry to generate the prompt in a same structure as a frame of the training data.

[0156] Example 7 includes the non-transitory computer readable medium of example 1, wherein the first AI-based model and the second AI-based model are video classification models.

[0157] Example 8 includes the non-transitory computer readable medium of example 1, wherein the instructions cause the programmable circuitry to apply the training data to the first AI-based model to generate the first output during retraining of the first AI-based model.

[0158] Example 9 includes a apparatus comprising memory, computer readable instructions, and programmable circuitry to execute computer readable instructions to input training data to a first artificial intelligence (AI) -based model to generate a first output, input the training data and a prompt to a second AI-based model to generate a second output, the second AI-based model having less neurons than the first AI-based model, changes parameters of the prompt based on a comparison of the first output and the second output, and cause transmission of the prompt to an edge device that implements a copy of the second AI-based model, the prompt to be applied as an input in the second AI-based model to affect output classification of the second AI-based model.

[0159] Example 10 includes the apparatus of example 9, wherein the programmable circuitry is to train the first AI-based model using initial training data, and perform knowledge distillation to train the second AI-based model based on the first AI-based model.

[0160] Example 11 includes the apparatus of example 10, wherein the instructions cause the programmable circuitry to use knowledge distillation by generate a comparison of a third output of the first AI-based model to a fourth output of the second AI-based model using a similarity loss function, and adjust weights of the second AI-based model based on the comparison.

[0161] Example 12 includes the apparatus of example 9, wherein the second AI-based model is initially trained to approximate outputs of the first AI-based model.

[0162] Example 13 includes the apparatus of example 9, wherein the programmable circuitry is to change the parameters of the prompt to cause the prompt to adjust an output classification.

[0163] Example 14 includes the apparatus of example 9, wherein the programmable circuitry is to generate the prompt in a same structure as a frame of the training data.

[0164] Example 15 includes the apparatus of example 9, wherein the first AI-based model and the second AI-based model are video classification models.

[0165] Example 16 includes the apparatus of example 9, wherein the programmable circuitry is to apply the training data to the first AI-based model to generate the first output during retraining of the first AI-based model.

[0166] Example 17 includes a method comprising applying training data to a first artificial intelligence (AI) -based model to generate a first output, applying the training data and a prompt to a second AI-based model to generate a second output, the second AI-based model having less neurons than the first AI-based model, adjusting, by executing an instruction with programmable circuitry, the prompt based on a comparison of the first output and the second output, and transmitting the prompt to an edge device that implements a copy of the second AI-based model, the prompt to be applied as an input in the second AI-based model to affect output classification of the second AI-based model.

[0167] Example 18 includes the method of example 17, wherein the training data is new training data, further including training the first AI-based model using initial training data, and training the second AI-based model based on the first AI-based model based on knowledge distillation.

[0168] Example 19 includes the method of example 18, wherein the instructions cause the  programmable circuitry to use knowledge distillation by generate a comparison of a third output of the first AI-based model to a fourth output of the second AI-based model using a similarity loss function, and adjust weights of the second AI-based model based on the comparison.

[0169] Example 20 includes the method of example 17, wherein the second AI-based model is initially trained to approximate outputs of the first AI-based model.

[0170] Example 21 includes the method of example 17, wherein the adjusting of the prompt includes changing a parameter of the prompt.

[0171] Example 22 includes the method of example 17, further including generating the prompt in a same structure as a frame of the training data.

[0172] Example 23 includes the method of example 17, wherein the first AI-based model and the second AI-based model are video classification models.

[0173] Example 24 includes the method of example 17, further including applying the training data to the first AI-based model to generate the first output during retraining of the first AI-based model.

[0174] Example 25 includes a non-transitory machine readable medium comprising instructions to cause programmable circuitry to at least access, from a buffer, a first frame of a first video, use the first frame train an image classification model, the first video previously used to train a first video classification model, use a second video to train a second video classification model, perform knowledge distillation to adjust the second video classification model based on the image classification model, and store a second frame from the second video into the buffer.

[0175] Example 26 includes a non-transitory machine readable medium comprising instructions to cause programmable circuitry to at least access frames of a video used as inputs in a video classification model, transmit a first frame of the video to a cloud server for  use as training data, determine a first difference between a second frame of the video and the first frame of the video, determine a second difference between a third frame of the video and the first frame of the video, discard the second frame based on the first difference being less than a threshold, and transmit the third frame to the cloud server for using as training data based on the second difference being more than the threshold.

[0176] From the foregoing, it will be appreciated that example systems, apparatus, articles of manufacture, and methods have been disclosed that reduce resource requirements when training and / or implementing artificial intelligence-based models. Disclosed systems, apparatus, articles of manufacture, and methods the training, retraining, and / or implementation of AI-based models by reducing the amount of network bandwidth needed to transmit training data and / or update an implemented model. Additionally, example disclosed herein reduce the amount of memory consumption when training an AI-based model. Disclosed systems, apparatus, articles of manufacture, and methods are accordingly directed to one or more improvement (s) in the operation of a machine such as a computer or other electronic and / or mechanical device.

[0177] Although certain example methods, apparatus and articles of manufacture have been disclosed herein, the scope of coverage of this patent is not limited thereto. On the contrary, this patent covers all methods, apparatus and articles of manufacture fairly falling within the scope of the claims of this patent.

Claims

1.A non-transitory machine readable medium comprising instructions to cause programmable circuitry to at least:apply training data to a first artificial intelligence (AI) -based model to generate a first output;apply the training data and a prompt to a second AI-based model to generate a second output, the second AI-based model having less neurons than the first AI-based model;adjust the prompt based on a comparison of the first output and the second output; andcause transmission of the prompt to an edge device that implements a copy of the second AI-based model, the prompt to be applied as an input in the second AI-based model to affect output classification of the second AI-based model.2.The non-transitory computer readable medium of claim 1, wherein the training data is new training data, the instructions to cause the programmable circuitry to:train the first AI-based model using initial training data; anduse knowledge distillation to train the second AI-based model based on the first AI-based model.3.The non-transitory computer readable medium of claim 2, wherein the instructions cause the programmable circuitry to use the knowledge distillation by:generate a comparison of a third output of the first AI-based model to a fourth output of the second AI-based model using a similarity loss function; andadjust weights of the second AI-based model based on the comparison.4.The non-transitory computer readable medium of claim 1, wherein the second AI-based model is initially trained to approximate outputs of the first AI-based model.5.The non-transitory computer readable medium of claim 1, wherein the instructions cause the programmable circuitry to adjust the prompt by changing a parameter of  the prompt.6.The non-transitory computer readable medium of claim 1, wherein the instructions cause the programmable circuitry to generate the prompt in a same structure as a frame of the training data.7.The non-transitory computer readable medium of claim 1, wherein the first AI-based model and the second AI-based model are video classification models.8.The non-transitory computer readable medium of claim 1, wherein the instructions cause the programmable circuitry to apply the training data to the first AI-based model to generate the first output during retraining of the first AI-based model.9.A apparatus comprising:memory;computer readable instructions; andprogrammable circuitry to execute computer readable instructions to:input training data to a first artificial intelligence (AI) -based model to generate a first output;input the training data and a prompt to a second AI-based model to generate a second output, the second AI-based model having less neurons than the first AI-based model;changes parameters of the prompt based on a comparison of the first output and the second output; andcause transmission of the prompt to an edge device that implements a copy of the second AI-based model, the prompt to be applied as an input in the second AI-based model to affect output classification of the second AI-based model.10.The apparatus of claim 9, wherein the programmable circuitry is to:train the first AI-based model using initial training data; andperform knowledge distillation to train the second AI-based model based on the first AI-based model.11.The apparatus of claim 10, wherein the instructions cause the programmable circuitry to use knowledge distillation by:generate a comparison of a third output of the first AI-based model to a fourth output of the second AI-based model using a similarity loss function; andadjust weights of the second AI-based model based on the comparison.12.The apparatus of claim 9, wherein the second AI-based model is initially trained to approximate outputs of the first AI-based model.13.The apparatus of claim 9, wherein the programmable circuitry is to change the parameters of the prompt to cause the prompt to adjust an output classification.14.The apparatus of claim 9, wherein the programmable circuitry is to generate the prompt in a same structure as a frame of the training data.15.The apparatus of claim 9, wherein the first AI-based model and the second AI-based model are video classification models.16.The apparatus of claim 9, wherein the programmable circuitry is to apply the training data to the first AI-based model to generate the first output during retraining of the first AI-based model.17.A method comprising:applying training data to a first artificial intelligence (AI) -based model to generate a first output;applying the training data and a prompt to a second AI-based model to generate a second output, the second AI-based model having less neurons than the first AI-based model;adjusting, by executing an instruction with programmable circuitry, the prompt based on a comparison of the first output and the second output; andtransmitting the prompt to an edge device that implements a copy of the second AI-based model, the prompt to be applied as an input in the second AI-based model to affect output classification of the second AI-based model.18.The method of claim 17, wherein the training data is new training data, further including:training the first AI-based model using initial training data; andtraining the second AI-based model based on the first AI-based model based on knowledge distillation.19.The method of claim 18, wherein the instructions cause the programmable circuitry to use knowledge distillation by:generate a comparison of a third output of the first AI-based model to a fourth output of the second AI-based model using a similarity loss function; andadjust weights of the second AI-based model based on the comparison.20.The method of claim 17, wherein the second AI-based model is initially trained to approximate outputs of the first AI-based model.21.The method of claim 17, wherein the adjusting of the prompt includes changing a parameter of the prompt.22.The method of claim 17, further including generating the prompt in a same structure as a frame of the training data.23.The method of claim 17, wherein the first AI-based model and the second AI-based model are video classification models.24.The method of claim 17, further including applying the training data to the first AI-based model to generate the first output during retraining of the first AI-based model.25.A non-transitory machine readable medium comprising instructions to cause  programmable circuitry to at least:access, from a buffer, a first frame of a first video;use the first frame train an image classification model, the first video previously used to train a first video classification model;use a second video to train a second video classification model;perform knowledge distillation to adjust the second video classification model based on the image classification model; andstore a second frame from the second video into the buffer.26.A non-transitory machine readable medium comprising instructions to cause programmable circuitry to at least:access frames of a video used as inputs in a video classification model;transmit a first frame of the video to a cloud server for use as training data;determine a first difference between a second frame of the video and the first frame of the video;determine a second difference between a third frame of the video and the first frame of the video;discard the second frame based on the first difference being less than a threshold; andtransmit the third frame to the cloud server for using as training data based on the second difference being more than the threshold.

Images