Method and apparatus for classification

Abstract

A computer-implemented method for classification, comprising obtaining features for a set of inputs; representing the features using von Mises-Fisher (vMF) distribution; obtaining a classifier by adopting the vFM distribution according to Bayes theorem, wherein the features are input to the classifier; and optimizing, based on the set of inputs, the classifier by estimating parameters of the vMF distribution of the features using maximum a posteriori (MAP) estimation.

Description

METHOD AND APPARATUS FOR CLASSIFICATIONFIELD

[0001] Aspects of the present disclosure relate generally to artificial intelligence (AI) , and more particularly, to a method and an apparatus for classification.BACKGROUND

[0002] Modern deep neural networks for classification typically involves an optimization of a Softmax classifier through applying cross-entropy loss and gradient descent. This approach has consistently demonstrated its efficacy across a broad range of fields, especially for meticulously balanced academic datasets. However, being different from the academic datasets, real-world data often has a long tail distribution over classes, for example, it may be characterized by a significant drop in the number of samples per class from the head (e.g., high-frequency or majority classes) to the tail (low-frequency or minority classes) . Given such an imbalance, the typical Softmax cross-entropy related methods suffer from a significant performance degradation.

[0003] Unfortunately, in many critical application fields, such as medical diagnosis, and autonomous driving, the data are by their nature heavily imbalanced, and the minority classes are particularly important, because the minority classes can be patients or accidents, for example.

[0004] Therefore, the long-tailed or imbalanced datasets may pose major challenges for classification tasks, and it may be desirable to provide a method or a technique applicable for classification over long-tailed or imbalanced datasets.SUMMARY

[0005] The following presents a simplified summary of one or more aspects according to the present disclosure in order to provide a basic understanding of such aspects. This summary is not an extensive overview of all contemplated aspects, and is intended to neither identify key or critical elements of all aspects nor delineate the scope of any or all aspects. Its sole purpose is to present some concepts of one or more aspects in a simplified form as a prelude to the more detailed description that is  presented later.

[0006] In an aspect of the disclosure, a computer-implemented method for classification is provided, comprising obtaining features for a set of inputs; representing the features using von Mises-Fisher (vMF) distribution; obtaining a classifier by adopting the vFM distribution according to Bayes theorem, wherein the features are input to the classifier; and optimizing, based on the set of inputs, the classifier by estimating parameters of the vMF distribution of the features using maximum a posteriori (MAP) estimation.

[0007] In another aspect of the disclosure, a computer-implemented method for a classification is provided, comprising obtaining features for a set of images; representing the features using von Mises-Fisher (vMF) distribution; obtaining a classifier by adopting the vFM distribution according to Bayes theorem, wherein the features are input to the classifier; and optimizing, based on the set of images, the classifier by estimating parameters of the vMF distribution of the features using maximum a posteriori (MAP) estimation; wherein the optimized classifier is used to classify an image into a category.

[0008] In another aspect of the disclosure, apparatus for classification is provided, comprising a memory and at least one processor coupled to the memory. The at least one processor is configured to obtain features for a set of inputs; represent the features using von Mises-Fisher (vMF) distribution; obtain a classifier by adopting the vFM distribution according to Bayes theorem, wherein the features are input to the classifier; and optimize, based on the set of inputs, the classifier by estimating parameters of the vMF distribution of the features using maximum a posteriori (MAP) estimation.

[0009] In another aspect of the disclosure, a computer program product for classification is provided, comprising processor executable computer code for obtaining features for a set of inputs; representing the features using von Mises-Fisher (vMF) distribution; obtaining a classifier by adopting the vFM distribution according to Bayes theorem, wherein the features are input to the classifier; and optimizing, based on the set of inputs, the classifier by estimating parameters of the vMF distribution of the features using maximum a posteriori (MAP) estimation.

[0010] In another aspect of the disclosure, a computer readable medium stores computer code for classification. The computer code when executed by a processor  causes the processor to obtain features for a set of inputs; represent the features using von Mises-Fisher (vMF) distribution; obtain a classifier by adopting the vFM distribution according to Bayes theorem, wherein the features are input to the classifier; and optimize, based on the set of inputs, the classifier by estimating parameters of the vMF distribution of the features using maximum a posteriori (MAP) estimation.

[0011] The proposed methods for classification according to one or more aspects of the present disclosure may be used for various tasks and / or application fields, such as image classification, visual recognition, medical diagnosis, autonomous driving and the like. Although the following disclosure may be described with reference to image classification for some part only for illustration, the present disclosure may be applicable to many other application fields.

[0012] By explicitly modeling the Bayesian decision process via explicitly modeling the data distribution and estimating parameters of the data distribution, the need for gradient descent that is vulnerable to long-tailed data distribution due to gradient imbalance can be eliminated while the optimal decision rule can be adhered.

[0013] Other aspects or variations of the disclosure, as well as other advantages thereof will become apparent by consideration of the following detailed description and accompanying drawings.BRIEF DESCRIPTION OF THE DRAWINGS

[0014] The disclosed aspects will hereinafter be described in connection with the appended drawings that are provided to illustrate and not to limit the disclosed aspects.

[0015] FIG. 1 illustrates an exemplary workflow for a method for classification according to one or more aspects of the present disclosure.

[0016] FIG. 2 illustrates a schematic diagram for a comparison between LA classifier and the classifier presented herein according to one or more aspects of the present disclosure.

[0017] FIG. 3 illustrates an exemplary workflow for a method for classification according to one or more aspects of the present disclosure.

[0018] FIG. 4 illustrates an exemplary framework for the method of classification according to one or more aspects of the present disclosure.

[0019] FIG. 5 illustrates another exemplary framework for the method of classification according to one or more aspects of the present disclosure.

[0020] FIG. 6 illustrates an example of a hardware implementation for an apparatus according to one or more aspects of the present disclosure.DETAILED DESCRIPTION

[0021] The present disclosure will now be discussed with reference to several example implementations. It is to be understood that these implementations are discussed only for enabling those skilled in the art to better understand and thus implement the embodiments of the present disclosure, rather than suggesting any limitations on the scope of the present disclosure.

[0022] Recently, many machine learning methods or algorithms have been proven effective for classification over balanced academic datasets. These learning methods or algorithms are typically designed to implicitly estimate posteriori probabilities based on training dataset, which generally involves an optimization of a Softmax classifier through applying cross-entropy loss and gradient descent. However, these learning methods or algorithms may not be applicable to real-world data. Real-world data typically exhibits imbalanced or long-tailed distribution over classes, where a few classes may contain many instances (e.g., head classes) , while most classes may contain only a few instances (e.g., tail classes) . This imbalance may lead to a performance degradation of these typical learning methods, as the head classes can dominate the training process, and may have a negative impact on the decision boundaries of the tail classes. Although the number of instances or samples is crucial for the training, but acquiring more instances or samples for the tail classes may be often impractical, or even impossible, in many application fields.

[0023] Therefore, many studies have been made on classification over imbalanced data distribution. Some methods have been proposed, such as, re-sampling, re-weighting, re-margining, and logit adjustment (LA) . However, these currently proposed methods have an important common ground that they all continue to adopt the paradigm of implicitly estimation of the posteriors distribution. Such implicit estimation is developed and has been proven mostly effective for the balanced training data, but may result in sub-optimal algorithms in the context of the realistic long-tailed training data.

[0024] Specifically, current typical learning methods may be formulated as below. Given the training dataset the model is trained to map the images from the space into the classes from the space Typically, the mapping function may be modeled as a neural network, which consists of a backbone feature extractor and a linear classifier The typical Softmax cross-entropy loss for a sample {x, y} in the training dataset may be expressed as:

[0025] Where wy and by are the weight and bias of the linear classifier for class y, respectively. It can be observed from Eq. (1) that the model may implicitly estimate the posteriori probability of the class by using gradient descent.

[0026] However, when the training dataset has a long-tailed distribution, the typical Softmax cross-entropy algorithm may lead to a minority collapse phenomenon caused by gradient imbalance, i.e., classifiers for minority classes tend to become closer to each other due to the progressively suppressed gradients as the level of imbalance escalates. At the same time, Bayesian optimal decision rule may be usually not ensured.

[0027] In order to mitigate the impact of imbalance, logit adjustment (LA) methods modify prediction logits of a class-biased model by introducing a prior distribution over the class labels as follow:

[0028] Where πy is the class frequency in the training dataset.

[0029] However, it can be observed from Eq. (2) , the LA method still implicitly estimate the posteriori probability of the classes by using gradient descent, and thus is susceptible to the gradient imbalance.

[0030] To better solve the problem of classification over long-tailed data distribution, the present disclosure proposes to explicitly model the Bayesian decision process by explicitly modeling the data distribution and estimating parameters of the  data distribution, such that the need for gradient descent can be eliminated while the optimal decision rule can be adhered.

[0031] As grounded in Bayesian decision theory, Bayes classifier is usually identified as the optimal classifier that minimizes the risk in machine learning tasks. For example, the Bayesian classifier may be formulated as below:

[0032] However, the complex and often intractable nature of real data distributions presents significant challenges to the direct computation of the posteriori distribution, and thus hinders attaining Bayes-optimal decision-making.

[0033] In such cases, typical learning methods are designed to implicitly estimate posteriori probabilities based on training data, such as shown in Eq. (1) and Eq. (2) , by approximating the Bayes classifier using the model’s output and gradient descent. However, as analyzed above, these methods may suffer from two major issues when the dataset has long-tailed distribution. From the perspective of optimization, these methods lead to a minority collapse phenomenon due to gradient imbalance, and from the perspective of Bayesian decision-making, the Bayesian optimal decision rule usually cannot be guaranteed.

[0034] The present disclosure lies in explicitly modeling the data distribution and estimating parameters of the data distribution. However, translating this idea into practice is not straightforward, as the methodologies for modeling real data distributions often involve complexities, such as the necessity of training deep generative models. This can also be proven from the current typical learning methods that approximate the Bayes classifier by using the model’s output, to avoid capturing the true distribution of real-world data.

[0035] To meet this challenge, the present disclosure proposes to model the data distribution in feature space, instead of modeling the data distribution in its original form. As it can be observed that the features tend to collapse towards the mean values of their corresponding classes in imbalanced learning, the present disclosure makes a distribution assumption that the feature norms (e.g., indicating the length) of each class sample are equal and the feature distribution may be represented by employing the von Mises-Fisher (vMF) distribution on a unit sphere. By using such a distribution  assumption for feature distribution, the modeling of the data distribution may be more elegant and manageable.

[0036] Specifically, the vMF distribution is a probability distribution on the unit hyper-sphere in Its probability density function for a random p-dimensional unit vector z may be given by:

[0037] Where z is a p-dimensional unit vector, κ≥0, ‖μ‖2=1 and I (p / 2-1) denotes the modified Bessel function of the first kind at order p / 2-1, which is defined as:

[0038] The parameters μ and κ are referred to as the mean direction and concentration of the distribution, respectively. For example, a higher concentration around the mean direction μ may be observed with a greater value of κ, and the distribution becomes uniform on the sphere when κ=0.

[0039] Based on the distribution assumption and cross-entropy loss, the optimization target and the classifier according to Bayes theorem can be obtained as:

[0040] Or

[0041] Where z is the corresponding feature embedding of input x, πy is the class frequency in the training or test set, κy and μy are the parameters of the vMF distribution for  class y.

[0042] Based on Eq. (6) or Eq. (7) , it can be observed that the classifier presented herein is a linear classifier within the feature space. The essential distinction of our methods from existing methods lies in the explicit construction of the classifier based on the Bayes’ theorem and directly estimation of the parameters of the classifier without relying on gradient descent.

[0043] In the following description, we will present a method for estimating the parameters of the classifier (e.g., κy and μy in Eq. (6) and / or Eq. (7) ) during training process. Under the assumption of the vMF distribution, the parameters can be estimated by maximum likelihood estimation (MLE) . However, during the early stages of the training, the random distribution of features may lead to unstable optimization of the classifier. To tackle this problem, the Maximun A Posteriori (MAP) estimation method may be adopted to incorporate a prior distribution for the parameter estimation.

[0044] As an example, suppose that a series of N vectors on the unit hyper-sphere are independent and identically distributed (i.e., i. i. d. ) observations from a vMF distribution. The prior distribution of the parameters of the classifier (e.g., Eq. (6) and / or Eq. (7) ) may be defined as:

[0045] Where α0≥0, β0≥0,  are the parameters of the prior distribution, and C is an unknown normalization constant.

[0046] Given the posteriori distribution of μ and κ may take the form of:

[0047] Where α=α0+N,  and

[0048] Suppose that a series of N vectors on the unit hyper-sphere are independent and identically distributed (i.e., i. i. d. ) observations from a vMF distribution. The Maximum A Posteriori (MAP) estimation of the mean direction μ and concentration κ of the classifier (e.g., Eq. (6) and / or Eq. (7) ) may satisfy the following equations:

[0049] Based on the MAP estimation, a simple approximation to κ may be given as:

[0050] Furthermore, the sample mean of each class may be estimated as below:

[0051] Where denotes the estimated sample mean of class j at step t, and denotes the sample mean of class j in current mini-batch. nj (t-1) and sj (t) denote the numbers of samples in the previous mini-batch and the current mini-batch, respectively.

[0052] As shown in Eq. (12) , the computation of the sample mean of each class can only require the first order momentum of corresponding embedding vectors of input x by aggregating statistics from the current mini-batch, which can be efficiently computed across various mini-batches (or batches) in an online manner during the training process, making our approach computationally simple and efficient.

[0053] Additionally, as being derived from the MAP estimation of the vMF distribution, the parameters of the prior distribution (e.g., α0≥0, β0≥0,  ) can be interpreted in terms of pseudo-observations. For example, the parameters m0 and β0 may represent the direction and the length of the pseudo-observations, respectively. The parameter α0 may denote the number of the pseudo-observations. This understanding can help choose reasonable hyper-parameters for the prior distribution.

[0054] FIG. 1 illustrates an exemplary workflow for a method for classification according to one or more aspects of the present disclosure. Method 100 may be performed in a training process. At step 110, corresponding features for a set of inputs may be obtained, such as by extracting using a backbone feature extractor (e.g.,  ResNet-32, ResNet-50, or the like) . For example, the set of inputs may be a mini-batch (or batches) of samples from a dataset. The dataset may have a long-tailed distribution, for example, with an imbalance factor γ=10, 50, 100, or even 500. The imbalanced factor γ may be defined as γ=max (Nj)  / min (Nj) (where Nj denotes the number of samples in class j) , to measure the imbalance degree in a dataset.

[0055] At step 120, the corresponding features may be represented using von Mises-Fisher (vMF) distribution with parameters of a mean direction and a concentration (e.g., μ and κ in Eq. (4) ) .

[0056] At step 130, a classifier may be obtained by adopting the vFM distribution according to Bayes theorem, for example, by constructing or modeling the optimal Bayesian-decision making process as Eq. (6) or Eq. (7) .

[0057] At step 140, based on the set of inputs, the classifier may be optimized by estimating parameters of the vMF distribution of the features using maximum a posteriori (MAP) estimation, for example, as shown in Eq. (9) , Eq. (10) , Eq. (11) and Eq. (12) .

[0058] In an embodiment, the optimization of the classifier may comprise estimating values of the mean direction and the concentration for each class. For example, the estimation values of κy and μy for each class y (e.g., as shown in Eq. (6) and / or Eq. (7) ) may be calculated.

[0059] For another example, regarding the parameter settings for the prior distribution,  may be set for each class y to form a simplex equiangular tight frame (ETF) . Then, an ETF may be constructed and the respective for each class may be obtained as below:

[0060] Where feature dimension p≥ (K-1) ,  is a partial orthogonal matrix, IK is the K×K identity matrix, and 1K is the K-dimensional vector of ones. When p< (K-1) , M may be calculated according to Li et al., “Targeted supervised contrastive learning for long-tailed recognition” in CVPR, 2022.

[0061] In an embodiment, in order to improve stability during initial stages of  training, the parameters of the prior distribution may be calculated using gradient updates.

[0062] In an embodiment, in order to improve stability during initial stages of training, the optimization of the classifier may be performed jointly with a logit adjustment (LA) classifier. For example, the loss functions may be weighted and summed up, and the overall loss function may be given as follow:

[0063] Where η denotes the weight of the LA classifier.

[0064] In an embodiment, the classifier presented herein (e.g., as shown in Eq. (6) and Eq. (7) ) may be compatible with most existing long-tailed learning algorithms. For example, these existing long-tailed learning algorithms may be mainly designed under the principle of implicitly estimating the Bayesian posteriori probabilities, and may contribute to a stable convergence at earlier learning stages, while the classifier presented herein based on explicitly modeling the Bayesian decision-making process can considerably improve the final generalization performance. In other words, the gains attributed to explicitly modeling the Bayesian decision-making process by explicitly estimation of data distribution by the classifier presented herein may be orthogonal to the existing approaches. Therefore, the classifier and / or methods presented herein may be implemented on top of the existing approaches to improve the performance.

[0065] For example,  of Eq. (14) may be replaced with any of existing long-tailed learning algorithms.

[0066] FIG. 2 illustrates a schematic diagram for a comparison between LA classifier and the classifier presented herein according to one or more aspects of the present disclosure. In FIG. 2, the left axis denotes values of the concentration 210 within the classifier presented herein, the horizontal axis denotes class index, and the right axis denotes values of norm 220 (e.g., product of weight norm and feature norm) computed from the LA classifier. It can be observed from FIG. 2 that, the LA classifier is biased and yields norms strongly correlated with class frequency, while the classifier presented herein can effectively overcome that imbalance and focus on learning the essential, rather than the frequency of each class, and thus leading to the frequency independent concentration.

[0067] FIG. 3 illustrates an exemplary workflow for a method for classification according to one or more aspects of the present disclosure. Method 300 may be performed in a testing or inference process. At step 310, the optimized classifier according to method 100 may be adjusted. Distributions of training data and testing data may often differ due to the limited size of data in practice. For example, the testing dataset may exhibit an arbitrary imbalance factor, which may be different from that of the training dataset. Such discrepancy may imply that a classifier trained on the training dataset might not deliver optimal performance when being applied to the testing dataset. To better adapt to the testing data, the values of concentration within the optimized classifier of method 100 may be adjusted to have the same value for all classes. For example, the parameter of concentration may have similar values across different classes, as shown in FIG. 2, and when there may be no prior information available for the conditional distributions p (z|y) of testing data, a reasonable assumption may be that the values of concentration for each class are equal. The adjusted classifier may be formulated as:

[0068] Or

[0069] Where πy denotes the class frequency in the testing dataset.

[0070] At step 320, the adjusted classifier may be used to predict a category of an input image.

[0071] This adjustment can greatly enhance the performance without incurring any additional costs, as shown in Table 1.

[0072] Table 1

[0073] Where √ denotes we perform adjustment during this stage, Many denotes many-shot categories with over 100 images, Medium denotes medium-shot categories with 20-100 images, and Few denotes few-shot categories with fewer than 20 images. The dataset comes from CIFAR-100-LT. The adjustment in LA classifier may relate to normalization on both weight and feature, and we also employ an unadjusted version of our method for comparison.

[0074] For example, the optimized or trained classifier may be deployed in various environments to make a prediction to control or direct corresponding operations under specific environments. In an exemplary application scene, the optimized classifier with adjusted parameters may be provided with data from a sensor as an input (e.g., image captured by a visual sensor) , and output data or signal to control an actuator or executor to perform corresponding actions (such as, slow down in response to a class of pedestrian) .

[0075] FIG. 4 illustrates an exemplary framework for the method of classification according to one or more aspects of the present disclosure. The framework 400 may comprise a neural network 420, which may include a backbone network 422 for feature extraction, and a classifier 424 presented herein (e.g., as shown in Eq. (6) or Eq. (7) ) . During a training process, mini-batches (or batches) from a dataset may be provided as input 410 to the neural network 420, and the output of the neural network 420 may be passed to a loss function 430 (e.g.,  as shown in Eq. (6) ) to update parameters of the neural network 420 (e.g., weights of the backbone network 422) until convergence. For example, the parameters of the classifier 424 presented herein may be updated by aggregating statistics from the current mini-batch in a forward propagation, and the parameters of the backbone network 422 may be updated in a backward propagation.

[0076] In an aspect of the present disclosure, regarding parameters α0 and β0 of the prior distribution within the classifier 424, which may represent the number and length of the pseudo-observations respectively, it is reasonable to set them in proportion to the number of samples for each class Ny. Following this idea, new  hyper-parameters may be defined as y=1, …, K. After selecting appropriate values for and for example,  all and  may be calculated accordingly.

[0077] FIG. 5 illustrates another exemplary framework for the method of classification according to one or more aspects of the present disclosure. the framework 500 may be similar to the framework 400 except for including an additional classifier 426 (e.g., LA classifier) that may share the common backbone network 422 with the classifier 424, and the loss function 430 may have a formulation as Eq. (14) . For example, to reduce the coupling between the two classifiers during optimization, a projection head may be employed for the classifier 422. One view and two views of an input images may be generated for the LA classifier and the classifier presented herein, respectively.

[0078] In an example, the weight of the loss function 430 may be set to one, i.e., η=1, to assign the two classifiers with equal domination in the optimization. In another example, the two classifiers may be assigned with unequal weights in the optimization, i.e., η≠1.

[0079] To further demonstrate the advantages of the present disclosure, experimental results are given in the following Table 2.

[0080] Table 2

[0081] Where CB-Focal refers to Yin Cui et al., Class-balanced loss based on effective number of samples, in CVPR, 2019; LDAM-DRW refers to Kaidi Cao et al., Learning imbalanced datasets with label-distribution-aware margin loss, in NeurIPS, 2019; BBN refers to Boyan Zhou et al., BBN: Bilateral-branch network with cumulative learning for long-tailed visual recognition, in CVPR, 2020; SSP refers to Yuzhe Yang et al., Rethinking the value of labels for improving class-imbalanced learning, in NeurIPS, 2020; VS refers to Ganesh Ramachandra Kini et al., Label-imbalanced and group-sensitive classification under overparameterization, NeurIPS, 2021; TSC refers to Jun Li et al., Nested collaborative learning for long-tailed visual recognition, in CVPR, 2022; Casual model refers to Kaihua Tang et al., Long-tailed classification by keeping the good and removing the bad momentum causal effect, in NeurIPS, 2020; CDT refers to Han-Jia Ye et al., Identifying and compensating for feature deviation in imbalanced deep learning, arXiv preprint, 2020; ETF Classifier refers to Yibo Yang et al., Do we really need a learnable classifier at the end of deep neural network? NeurIPS, 2022; LADE refers to Youngkyu Hong et al., Disentangling label distribution for long-tailed visual recognition, in CVPR, 2021; MetaSAug-LDAM refers to Shuang Li et al., MetaSAug: Meta semantic augmentation for long-tailed visual recognition, In CVPR, 2021; GCL refers to Yang Lu Mengke Li et al., Long-tailed visual recognition via gaussian clouded logit adjustment, in CVPR, 2022; Logit Adj refers to Aditya Krishna Menon et al., Long-tail learning via logit adjustment, in ICLR, 2021; and our method employs the framework as shown in FIG. 5.

[0082] FIG. 6 illustrates an example of a hardware implementation for an apparatus 600 according to one or more aspects of the present disclosure. The  apparatus 600 for classification may comprise a memory 610 and at least one processor 620. The processor 620 may be coupled to the memory 610 and configured to implement the methods 100, 300 and / or frameworks 400, 500 described above with reference to FIGs. 1, 3, 4 and 5. The processor 620 may be a general-purpose processor, or may also be implemented as a combination of computing devices, e.g., a combination of a DSP and a microprocessor, multiple microprocessors, one or more microprocessors in conjunction with a DSP core, or any other such configuration. The memory 610 may store the input data, output data, data generated and / or processed (e.g., parameters of classifier) by processor 620, and / or instructions executed by processor 620.

[0083] The various operations, models, and networks described in connection with the disclosure herein may be implemented in hardware, software executed by a processor, firmware, or any combination thereof. According an embodiment of the disclosure, a computer program product for classification may comprise processor executable computer code for implementation of the methods 100, 300 and / or the frameworks 400, 500 described above with reference to FIGs. 1, 3, 4 and 5. According to another embodiment of the disclosure, a computer readable medium may store computer code for classification, the computer code when executed by a processor may cause the processor to implement the methods 100, 300 and / or the frameworks 400, 500 described above with reference to FIGs. 1, 3, 4 and 5. Computer-readable media includes both non-transitory computer storage media and communication media including any medium that facilitates transfer of a computer program from one place to another. Any connection may be properly termed as a computer-readable medium. Other embodiments and implementations are within the scope of the disclosure.

[0084] The preceding description of the disclosed embodiments is provided to enable any person skilled in the art to make or use the various embodiments. Various modifications to these embodiments will be readily apparent to those skilled in the art, and the generic principles defined herein may be applied to other embodiments without departing from the scope of the various embodiments. Thus, the claims are not intended to be limited to the embodiments shown herein but is to be accorded the widest scope consistent with the following claims and the principles and novel features disclosed herein.

Claims

1.A computer-implemented method for classification, comprising:obtaining features for a set of inputs;representing the features using von Mises-Fisher (vMF) distribution;obtaining a classifier by adopting the vFM distribution according to Bayes theorem, wherein the features are input to the classifier; andoptimizing, based on the set of inputs, the classifier by estimating parameters of the vMF distribution of the features using maximum a posteriori (MAP) estimation.2.The computer-implemented method of claim 1, wherein the parameters of the vMF distribution of the features comprises a mean direction and a concentration.3.The computer-implemented method of claim 2, wherein the optimizing the classifier by estimating parameters of the vMF distribution of the features comprises:estimating values of the mean direction and the concentration for each class.4.The computer-implemented method of claim 1, wherein the optimizing the classifier by estimating parameters of the vMF distribution of the features comprises:calculating a first order momentum of features for the set of inputs.5.The computer-implemented method of claim 3, further comprising: to predict a class of an input by the optimized classifier, adjusting the values of the concentration for each class of the optimized classifier to a same value.6.The computer-implemented method of claim 1, wherein the optimizing the classifier is performed jointly with a logit adjustment (LA) classifier.7.The computer-implemented method of claim 5, wherein the predicted class is used to control an actuator to perform operations according to the class.8.A computer-implemented method for classification, comprising:obtaining features for a set of images;representing the features using von Mises-Fisher (vMF) distribution;obtaining a classifier by adopting the vFM distribution according to Bayes theorem, wherein the features are input to the classifier; andoptimizing, based on the set of images, the classifier by estimating parameters of the vMF distribution of the features using maximum a posteriori (MAP) estimation;wherein the optimized classifier is used to classify an image into a category.9.An apparatus for classification, comprising:a memory; andat least one processor coupled to the memory and configured to perform the method of one of claims 1-7.10.A computer program product for classification, comprising: processor executable computer code for performing the method of one of claims 1-7.11.A computer readable medium, storing computer code for classification, the computer code when executed by a processor, causing the processor to perform the method of one of claims 1-7.

Images