Method and apparatus for training large language model, and computer device

Abstract

A method and an apparatus for training a large language model, a computer device, and a storage medium are disclosed. Specifically, the method includes: parsing paragraphs of text for training a large language model; forming question, answer, and reference groups with note descriptions according to the paragraphs; recalling and ranking the question, answer, and reference groups, and selecting the question, answer, and reference groups of a subsample satisfying a preset condition; and training the large language model by using the question, answer, and reference groups of the subsample. In the mode described above, the large language model may be trained by using a small part of training samples, which reduces hardware calculation cost and training time cost, and improves training efficiency of the large language model.

Description

METHOD AND APPARATUS FOR TRAINING LARGE LANGUAGE MODEL, AND COMPUTER DEVICETECHNICAL FIELD

[0001] This application relates to model training domains, and in particular, to a method and an apparatus for training a large language model, a computer device, and a storage medium.BACKGROUND

[0002] In a natural language processing (NLP) domain, large language models (LLMs) have achieved remarkable achievements in various tasks. However, performance of the LLMs may not be satisfactory in specific domains or tasks. Generally, further training requires a large amount of data in the specific domains. Then, a large amount of labeled data is used for performing supervised fine-tuning (SFT) . Although a model may be subjected to fine-tuning by using a relatively small labeled data set, performance level comparable to that of SFT using a complete data set is often unable to be achieved.SUMMARY

[0003] This summary is provided to introduce some selected concepts in a simplified form, which will be further described in the following specific implementations. This summary is neither intended to identify any key feature or necessary feature of a claimed theme, nor intended to help determine a scope of the claimed theme.

[0004] Based on this, this application discloses a method for training a large language model, including: parsing paragraphs of text for training a large language model; forming question, answer, and reference groups with note descriptions according to the paragraphs; recalling and ranking the question, answer, and reference groups, and selecting the question, answer, and reference groups of a subsample satisfying a preset condition; and training the large language model by using the question, answer, and reference groups of the subsample.

[0005] In the mode described above, the large language model may be trained by using few training samples, thereby reducing hardware cost and time cost, and improving training efficiency of the large language model.

[0006] Further, the recalling the question, answer, and reference groups includes: obtaining sentence vectors of question parts in the question, answer, and reference groups; classifying  the question, answer, and reference groups into a plurality of clusters according to the sentence vectors; and screening out a preset quantity of question, answer, and reference groups from the plurality of clusters.

[0007] In the mode described above, diversity of the samples may be ensured, and the large language model may be trained more accurately and efficiently subsequently through rich samples.

[0008] Further, the ranking the question, answer, and reference groups includes: for each question, answer, and reference group, calculating a first perplexity for an answer part in the question, answer, and reference group and a second perplexity about an answer based on a question part and a reference part in the question, answer, and reference group; and ranking the question, answer, and reference groups according to a ratio of the first perplexity to the second perplexity.

[0009] In the mode described above, a quality rank of the samples may be obtained, and required samples may be selected as training subsets for the large language model according to the rank during subsequent sample training.

[0010] Further, the selecting the question, answer, and reference groups of a subsample satisfying a preset condition includes: selecting the question, answer, and reference groups with relatively high ranks as the question, answer, and reference groups of the subsample.

[0011] In the mode described above, high quality of the samples may be ensured, those high-quality samples are obtained, and the large language model with equivalent performance may be obtained by using a small quantity of samples during subsequent sample training.

[0012] Further, this application discloses an apparatus for training a large language model, including:

[0013] a paragraph parsing module, configured to parse paragraphs of text for training a large language model;

[0014] a reference generation module, configured to form question, answer, and reference groups with note descriptions according to the paragraphs;

[0015] a recalling and ranking module, configured to recall and rank the question, answer, and reference groups, and select the question, answer, and reference groups of a subsample satisfying a preset condition; and

[0016] a model training module, configured to train the large language model by using the question, answer, and reference groups of the subsample.

[0017] This application further provides a computer device, including a memory and a processor. The memory stores a computer program. The processor implements the method described  above when executing the computer program.

[0018] This application further provides a computer-readable storage medium, which has a computer program stored therein. The computer program implements the method described above when executed by a processor.

[0019] This application further provides a computer program product. The computer program product is tangibly stored in a computer-readable medium and includes computer-executable instructions. The computer-executable instructions enable at least one processor to perform the method described above when executed.BRIEF DESCRIPTION OF THE DRAWINGS

[0020] Implementations of the present disclosure are described in accompanying drawings in a form of examples rather than limitations. Similar reference numerals in the accompanying drawings represent the same or similar parts.

[0021] FIG. 1 is a schematic flowchart of a method for training a large language model according to an implementation of this application.

[0022] FIG. 2 is a schematic diagram of an apparatus for training a large language model according to an implementation of this application.

[0023] FIG. 3is a schematic diagram of a computer device for training a large language model according to an implementation of this application.

[0024] FIG. 4is a schematic diagram of text for training a large language model according to an implementation of this application.

[0025] FIG. 5 is a schematic diagram of a question, answer, and reference group according to an implementation of this application.

[0026] Reference numerals are as follows:

[0027] S101-S104         Steps

[0028] 200:              Apparatus

[0029] 201:              Module

[0030] 202:              Module

[0031] 203:              Module

[0032] 204:              Module

[0033] 300:              Computer device

[0034] 302:              Processor

[0035] 304:              MemoryDETAILED DESCRIPTION

[0036] Numerous specific details are set forth in the following specification for the purpose of explanation. However, implementations of the present disclosure may be implemented without these specific details. In other examples, known circuits, structures, and technologies are not detailed, so as not to affect understanding of the specification.

[0037] References of "an implementation" , "implementation" , "exemplary implementation" , "some implementations" , "various implementations" , etc. throughout the specification indicate that described implementation of the present disclosure may include specific features, and structures or characteristics. However, it does not mean that each implementation has to include these specific features, and structures or characteristics. In addition, some implementations may have some or all of the features described for other implementations, or not have the features described for other implementations.

[0038] This application mainly focuses on SFT in a specific domain. However, a practical issue of this step is that data in the specific domains is typically from text documents, including formats such as PDF, Txt, Excel, and WORD. Therefore, some technical methods need to be used for extracting a large quantity of question &answer pairs from these text documents first for SFT training of large models. There may be the following issues if SFT training is directly performed according to the large quantity of extracted question &answer pairs.

[0039] 1. Exacerbation of hallucination issues: As is well known, the large quantity of question &answer pairs extracted from the text documents will bring some issues such as data redundancy, repetition, and even bias. Hallucination issues of the models may be exacerbated if directly used for training, to be specific, the models generate seemingly reasonable but incorrect or meaningless answers.

[0040] 2. Consumption of calculation resources: Training of a large model requires a large amount of calculation resources, including high-performance graphics processing units (GPUs) and a large amount of storage space. Performing fine-tuning by using more data will greatly increase consumption of these resources.

[0041] 3. Prolongation of training time: Using a larger data set means that a model requires more time to process and learn this data. This will greatly prolong the training time, and is not conductive to continuous optimization of the model.

[0042] Therefore, a feasible embodiment method is to use only a small part of data to perform fine-tuning on the model to achieve a result that is comparable to or even better than that achieved by using a full data set.

[0043] Further, inspired by active learning, it is possible to achieve an effect achieved by using a complete data set by performing training by using a representative data subset. Meanwhile, one thousand high-quality data samples may be strategically selected to prove potential of targeted collection of high-quality data in improving performance of an LLM. However, an intuitive issue or concern follows consequently: Whether the large model will miss learning of an entire domain data set by only using a domain data subset for performing fine-tuning. However, it has been proved that LLMs mainly learn knowledge during a pre-training stage, and have a limited capability to inject domain knowledge during an SFT stage. A main purpose is still to enhance generalization and transfer capabilities of the large language models. In addition, in this case, a widely used effective method of retrieval-augmented generation (RAG) may be used for providing reference data for the large model, so that the large model can make a response according to these documents. Therefore, a key to solve the issues is how to select those high-quality limited data samples.

[0044] In view of this, in some embodiments, this application provides a method suitable for SFT data selection of a large model. A purpose of using this method in this application is to enable an LLM to achieve the performance that is comparable to or even higher than that achieved by full data set fine-tuning in a specific domain or task. Meanwhile, cost and time related to data labeling can be reduced, processing speed of hardware can be improved, and processing time of the hardware can be shortened.

[0045] Difficulties in a conventional art are further explained: For SFT training in a specific domain, direct fine-tuning often needs to be performed based on a large amount of question and answer data. However, this method may encounter data noise issues, which has a negative impact on performance. In addition, this method requires a significant investment of cost and time. However, performance level that is the same as that achieved by full data set fine-tuning are often unable to be achieved by a method for performing fine-tuning by only using a small amount of data.

[0046] Therefore, in this application, when almost the same effect can be provided by using a small amount of data, performing fine-tuning by using a finite data set is helpful to avoid these issues, and achieve a more efficient model optimization process.

[0047] Therefore, an implementation scenario of this application is that this application hopes to use a subsample to train a large language model, thereby achieving a large language model that has the same or better effect than that achieved by normal training. A process of training the large language model by using the subsample can reduce the use of hardware, shorten training time, and improve training efficiency.

[0048] In view of this, this application discloses a method for training a large language model, including the following steps:

[0049] S101: Parse paragraphs of text for training a large language model.

[0050] As previously described, text data in a specific domain is typically from various formats of documents, such as PDF, Word, Excel, and PPT. This is particularly true for data in an industrial domain, which typically consists of an operating manual and a standard document, as shown in FIG. 4. Therefore, it is necessary to parse these documents into a plain text format and adopt particular strategies to divide the text format into reasonably sized paragraphs, so as to facilitate subsequent combination of an LLM and an RAG stage, and achieve more refined reference paragraphs. The reference paragraphs may alternatively be referred to as atomic paragraphs.

[0051] S102: Form question, answer, and reference groups with note descriptions according to the paragraphs.

[0052] In the previous section, after the text documents are parsed into the atomic paragraphs, relevant data will be extracted for subsequent SFT training in this application. Herein, this application may not provide common question &answer pairs, but provide question, reference, and answer (QRA) triples that represent questions, references, and answers. This is because data in the specific domain may neither appear in a pre-training stage, nor be injected in an SFT stage. Therefore, a common approach is to retrieve the atomic paragraphs according to a question of a user, then to input related paragraphs into the LLM, and finally, to generate an answer by the LLM according to the question and related reference information. According to current capabilities of the LLM, the LLM still has a capability to generate a correct answer as long as input content truly contains the answer.

[0053] FIG. 5 is an example of QRA data extracted in this application. It can be seen that a better answer may be obtained in combination with related reference data. For extraction of the QRA, a chat generative pre-trained transformer (ChatGPT) or other large models may be configured to extract in this application. Specifically, the LLM is first configured to generate the question &answer pairs according to the parsed atomic paragraphs in this application. Then, the QRA triples may be generated by taking the atomic paragraphs as a reference in this application.

[0054] S103: Recall and rank the question, answer, and reference groups, and select question, answer, and reference groups of a subsample satisfying a preset condition.

[0055] Next, a focus, i.e., how to select representative data from the QRA data, of this application will be elaborated on. Specifically, a selecting process is divided into two parts in  this application according to a search engine method: recall and ranking. In this application, a recall part is mainly to ensure diversity of samples, while a ranking part is to ensure high quality of the samples.

[0056] S103.1: Recall.

[0057] According to the QRA data extracted in the previous section, preliminary recall is performed first in this application to ensure diversity of subsequent ranks. Specifically, (1) sentence vectors of all questions in the QRA are obtained first. There are a plurality of obtaining methods, which will not be repeated herein. (2) Then, cluster is performed on these sentence vectors to obtain K clusters. The value of K is generally determined according to a total number N of extracted QRA sets, K here may be set as 0.05*N, and there are 20 sentences in each cluster on average. (3) Finally, R%of samples (R is set as 25 here) are randomly extracted from each cluster to form k subsets, which is recorded as S_QRA_k. Here, k ranges from 1 to K. Theoretically, K clusters represent k different themes. R%of samples are selected from each cluster, so as to ensure the diversity of the samples.

[0058] In conclusion, the step of recalling the question, answer, and reference groups includes the following operations: sentence vectors of question parts in the question, answer, and reference groups are obtained; the question, answer, and reference groups are classified into a plurality of clusters according to the sentence vectors; and a preset quantity of question, answer, and reference groups are screened out from the plurality of clusters.

[0059] In the mode described above, diversity of the samples may be ensured, and the large language model may be trained more accurately and efficiently subsequently through rich samples.

[0060] S103.2 Precision ranking

[0061] In this step, samples are further extracted from all S_QRA subsets to ensure the high quality of the samples. Generally, more challenging samples are more helpful in improving performance of a model.

[0062] Specifically, the following algorithm is executed for each QRA sample in an S_QRA.

[0063] First, an average perplexity of answer parts and an average perplexity of the answer parts under a QR condition are solved according to the following formulas 1 and 2.

[0064] In the formula, Q, R, and A respectively represent a question, a reference, and an answer in a sample. L represents a token length of the answer, i represents the token at the ithposition, θ represents a weight of an LLM, and W represents a word.

[0065] Intuitively, a perplexity is actually a geometric average of a reciprocal probability obtained by calculating each word. Therefore, the perplexity may be understood as an average branching factor, i.e., an average selection number of times when the model predicts a next word. Formulas 1 and 2 represent a logarithmic form of perplexity (uniformly referred to as a perplexity) . The logarithmic form of perplexity can also be considered as the cross-entropy between the true distribution and the predicted distribution, which represents a distance between the true distribution and the predicted distribution, so as to reflect the effectiveness of modeling the LLM. Therefore, if the perplexity of a particular sample sentence is relatively high, this sample may be considered as a relatively difficult sample. When the question, answer, and reference groups of the subsample are selected in a later stage, those relatively difficult question, answer, and reference groups are selected as samples to train the LLM, so that the trained LLM is more reliable.

[0066] (2) Next, the difficulty of a QRA sample may be evaluated according to formula 3. Mqra=PPL (A|Q, R)  / PPL (A) .... (3)

[0067] A reason why the perplexity (PPL) (A) of an answer sentence needs to be obtained is that PPL (A|Q, R) is relatively high if the PPL (A) is relatively high, which actually cannot accurately reflect the overall perplexity of the overall QRA. Therefore, to obtain better instruction data, i.e., which instructions have a greater impact on the model, the impact on an answer needs to be eliminated through formula 3. To be specific, a situation that the PPL (A) is too high alone is eliminated, and it is reasonable to consider a ratio of the PPL (A|Q, R) to the PPL (A) as a whole.

[0068] Finally, the steps described above are performed on each sample in each Sub_QRA, and then a difficulty matrix of all samples under each Sub_QRA is obtained. Then, first 20%of the samples are selected from each Sub_QRA to form a final ideal sample set. Through the subset obtained in this mode, a large model may effectively measure the impact of given instructions on generating the answer by the model, so that the model achieves better migration and generalization capabilities.

[0069] In conclusion, the step of ranking the question, answer, and reference groups includes the following operations: for each question, answer, and reference group, a first perplexity for an answer part in the question, answer, and reference group and a second perplexity about an answer based on a question part and a reference part in the question, answer, and reference group are calculated; and the question, answer, and reference groups are ranked according to a ratio of the first perplexity to the second perplexity.

[0070] In the mode described above, a quality rank of the samples may be obtained, and required samples may be selected as training subsets for the large language model according to the rank during subsequent sample training.

[0071] The step of selecting the question, answer, and reference groups of a subsample satisfying a preset condition includes the following operations: the question, answer, and reference groups with relatively high ranks are selected as the question, answer, and reference groups of the subsample.

[0072] In the mode described above, high quality of the samples may be ensured, those high-quality samples are obtained, and the large language model with equivalent performance may be obtained by using a small quantity of samples during subsequent sample training.

[0073] S104: Train the large language model by using the question, answer, and reference groups of the subsample.

[0074] As described above, after the question, answer, and reference groups of the subsample are obtained, the large language model may be trained by using these question, answer, and reference groups to achieve corresponding training effects for later use in other domains or technologies.

[0075] In summary, to ensure integrity of the overall solution, the method proposed in this application may include the following parts: parsing of text documents in a specific domain, definition and extraction of an SFT data format, and selection of representative data.

[0076] Further, the method described above has the following advantages: (1) A complete and feasible solution for applying a large model to a vertical domain is described. (2) A method for performing SFT on the large model by using a small amount of data is proposed, which can effectively reduce training cost, and improve model optimization efficiency. (3) A difficult sample selection solution is disclosed. This solution is not only limited to SFT of the LLM, but may also be applied to tasks such as machine translation, conversation, open question answering, text summarization, and the like.

[0077] The following methods may be followed to detect whether the method of this application is used: First, some key words are detected, for example, SFT using a small amount of data,  hard sample selection in NLG, and how to apply the LLMs to a small amount of labeling data. Then, similarities and differences of solutions are compared in detail to determine whether to use the solutions.

[0078] Although various steps of the flowchart in FIG. 1 are displayed sequentially according to indications of arrows, these steps are not necessarily performed in a sequence indicated by the arrows. Unless otherwise explicitly specified in this application, execution of these steps is not strictly limited, and these steps may be performed in other sequences. Moreover, at least part of the steps in FIG. 1 may include a plurality of steps or a plurality of stages. These steps or stages are not necessarily performed at the same time, but can be performed at different times. These steps or stages are not necessarily performed sequentially, but may be performed in turn or alternately with other steps or at least part of steps or stages in other steps.

[0079] FIG. 2 provides an apparatus 200 for training a large language model, including:

[0080] a paragraph parsing module 201, configured to parse paragraphs of text for training a large language model;

[0081] a reference generation module 202, configured to form question, answer, and reference groups with note descriptions according to the paragraphs;

[0082] a recalling and ranking module 203, configured to recall and rank the question, answer, and reference groups, and select the question, answer, and reference groups of a subsample satisfying a preset condition; and

[0083] a model training module 204, configured to train the large language model by using the question, answer, and reference groups of the subsample.

[0084] This apparatus may include more or fewer modules to realize described functions. For example, at least one module in FIG. 2 may be further divided into a plurality of different submodules. Each submodule is configured to perform at least part of the operations described here in combination with corresponding modules. In addition, in some examples, the apparatus 200 may further include additional modules for performing other operations that have been described in the specification. In addition, those skilled in the art may understand that the exemplary apparatus 200 may be achieved by using software, hardware, firmware, or any combinations thereof.

[0085] FIG. 3 provides a computer device. According to an implementation, the computer device 300 may include a processor 302. The processor 302 executes a computer program stored in a memory 304. The computer program implements the method described above when executed by a processor.

[0086] Those skilled in the art may understand that the structure shown in FIG. 3 is only a block diagram of a partial structure related to a solution in this application, and does not constitute a limitation to the electronic device to which this application is applied. A specific computer device may include more or fewer parts than those shown in the figure, or combine some parts, or have a different part deployment.

[0087] Those skilled in the art may understand that all or some of procedures of the method in the implementation described above may be completed by a computer program instructing relevant hardware. The computer program may be stored in a non-volatile computer-readable storage medium. When the computer program is executed, the procedures of various method implementations described above may be included. Any reference to a memory, storage, a database, or other media used in various implementations provided in this application may include at least one of a non-volatile memory or a volatile memory. The non-volatile memory may include a read-only memory (ROM) , a magnetic tape, a floppy disk, a flash memory, an optical storage, or the like. The volatile memory may include a random access memory (RAM) or an external cache. As a description rather than a limitation, the RAM may be in a variety of forms such as a static random access memory (SRAM) or a dynamic random access memory (DRAM) .

[0088] This application further provides a computer-readable storage medium, which has a computer program stored therein. The computer program implements the steps described above when executed by a processor.

[0089] This application further provides a computer program product. The computer program product is tangibly stored on a computer-readable medium and includes computer-executable instructions. The computer-executable instructions enable at least one processor to perform the method described above when executed.

[0090] Further, the computer program may be stored and run in a cloud to perform the method. Further, parts of the program may be laid out in a plurality of devices or clouds, for example, corresponding steps may be laid out or run in a local or native computer, or run in different cloud devices to transmit signals through communication connection, or may be laid out or run in a local or native computer. This application does not limit the mode or method, may flexibly lay out or deploy corresponding technologies, and fully use devices and technologies such as a cloud, big data, and supercomputing power to perform and complete the method.

[0091] Some implementations of the present disclosure may include products. The products may include a storage medium, which is configured to store logic. An example of the storage medium may include one or more types of computer-readable storage media that can store  electronic data, including a volatile memory or a non-volatile memory, a removable or non-removable memory, an erasable or non-erasable memory, a writable or rewritable memory, etc. An example of the logic may include various software units such as software parts, programs, applications, computer programs, application programs, system programs, machine programs, operating system software, middleware, firmware, software modules, routines, subroutines, functions, methods, processes, software interfaces, application program interfaces (APIs) , instruction sets, computing code, computer code, code segments, computer code segments, words, values, symbols, or any combination thereof. In some implementations, for example, the products may store executable computer program instructions. The executable computer program instructions enable a processor to perform the method and / or operations described herein when executed by the processor. The executable computer program instructions may include any suitable type of code, such as source code, compiled code, interpreted code, executable code, static code, and dynamic code. The executable computer program instructions may be implemented according to predefined computer languages, modes, or syntax for commanding a computer to perform specific functions. The instructions may be implemented by using any appropriate high-level, low-level, object-oriented, visual, compiled, and / or interpreted programming language.

[0092] An example including a disclosed architecture has already been described above. Of course, it is not possible to describe every conceivable combination of parts and / or methods, but those skilled in the art may understand that many other combinations and arrangements are feasible. Therefore, this novel architecture is intended to cover all such substitutions, modifications, and variations that fall within the spirit and scope of attached claims.

Claims

1.A method for training a large language model, comprising:parsing paragraphs of text for training a large language model;forming question, answer, and reference groups with note descriptions according to the paragraphs;recalling and ranking the question, answer, and reference groups, and selecting the question, answer, and reference groups of a subsample satisfying a preset condition; andtraining the large language model by using the question, answer, and reference groups of the subsample.2.The method according to claim 1, wherein the recalling the question, answer, and reference groups comprises:obtaining sentence vectors of question parts in the question, answer, and reference groups;classifying the question, answer, and reference groups into a plurality of clusters according to the sentence vectors; andscreening out a preset quantity of question, answer, and reference groups from the plurality of clusters.3.The method according to claim 1, wherein the ranking the question, answer, and reference groups comprises:for each question, answer, and reference group, calculating a first perplexity for an answer part in the question, answer, and reference group and a second perplexity about an answer based on a question part and a reference part in the question, answer, and reference group; andranking the question, answer, and reference groups according to a ratio of the first perplexity to the second perplexity.4.The method according to claim 1, wherein the selecting the question, answer, and reference groups of a subsample satisfying a preset condition comprises:selecting the question, answer, and reference groups with relatively high ranks as the question, answer, and reference groups of the subsample.5.An apparatus (200) for training a large language model, comprising:a paragraph parsing module (201) , configured to parse paragraphs of text for training a large language model;a reference generation module (202) , configured to form question, answer, and reference groups with note descriptions according to the paragraphs;a recalling and ranking module (203) , configured to recall and rank the question, answer, and reference groups, and select question, answer, and reference groups of a subsample satisfying a preset condition; anda model training module (204) , configured to train the large language model by using the question, answer, and reference groups of the subsample.6.The apparatus (200) according to claim 5, wherein the recalling and ranking module (203) is further configured to:obtain sentence vectors of question parts in the question, answer, and reference groups;classify the question, answer, and reference groups into a plurality of clusters according to the sentence vectors; andscreen out a preset quantity of question, answer, and reference groups from the plurality of clusters.7.The apparatus (200) according to claim 5, wherein the recalling and ranking module (203) is further configured to:for each question, answer, and reference group, calculate a first perplexity for an answer part in the question, answer, and reference group and a second perplexity about an answer based on a question part and a reference part in the question, answer, and reference group; andrank the question, answer, and reference groups according to a ratio of the first perplexity to the second perplexity.8.The apparatus (200) according to claim 5, wherein the recalling and ranking module (203) is further configured to:select the question, answer, and reference groups with relatively high ranks as the question, answer, and reference groups of the subsample.9.A computer device, comprising a memory and a processor, the memory storing a computer program, wherein the processor implements steps of the method according to any one of claims 1 to 4 when executing the computer program.10.A computer-readable storage medium, having a computer program stored therein, wherein the computer program implements steps of the method according to any one of claims 1 to 4 when executed by a processor.11.A computer program product, the computer program product being tangibly stored in a computer-readable medium and comprising computer-executable instructions, and the  computer-executable instructions enabling at least one processor to perform the method according to any one of claims 1 to 4 when executed.

Images