Method for conducting paper review using llm

Abstract

A method for automatically conducting a paper review using a large language model (LLM), comprising inputting review questions and paper to be reviewed into the LLM, generating simulated answers from the LLM, retrieving a plurality of paper node data from a plurality of knowledge graph nodes of paper knowledge graph of a paper knowledge graph library, identifying a plurality of paper contents from the paper under review which are relevant to the plurality of simulated answers, inputting a plurality of combinations into the LLM, wherein each combination of the plurality of combinations consists of one of the plurality of review questions, one of the plurality of paper node data and one of the plurality of paper contents from the paper under review, and generating review comment for the paper under review through each combination using the LLM.

Description

METHOD FOR CONDUCTING PAPER REVIEW USING LLMTECHNICAL FIELD

[0001] The present disclosure relates to large language models (LLMs) , and more particularly, relates to a method for conducting paper review using LLM.BACKGROUND

[0002] In academia, reviewing papers submitted to academic journals is an essential process for academic publication. To enhance the quality and prestige of academic journals, editors must carefully screen and conduct an initial evaluation for the submitted papers. Submissions meeting the criteria in the initial evaluation will also require further peer review. However, editors and peer reviewers often need to spend considerable time and effort as the number of submissions is enormous. Currently, LLMs trained in domain-specific academic content can effectively read and comprehend journal articles. Thus, the automated review solution could utilize LLMs to automatically read, analyze and understand the submitted papers and provide review reports. Meanwhile, the interactive human-machine Q&Amethod can also improve the quality and the speed of paper reviews. It can effectively reduce the overall workload and time commitment of journal editors and peer reviewers in the review process, further streamlining the peer review process and ultimately enhancing the quality of journal publications.

[0003] Moreover, the publication of academic papers is crucial to a researcher’s academic career. Researchers, in their role as authors, are often expected to publish academic papers. Yet, authors with limited experience in academic publishing must consider various factors to complete the publication process smoothly, overcoming numerous obstacles on the way to publishing their papers including the writing barriers. Therefore, authors can make improvements by using the automated review machine to check their papers before submission, polishing the papers based on comments given by the system, adding missing details, and selecting appropriate journals for submission. LLMs, when integrated with domain-specific external knowledge bases, can encompass a wide breadth of domain-specific knowledge across various academic disciplines, so that the automated review solution based on such models can provide relevant comments to the authors, enhance the quality of their papers, and increase the likelihood of acceptance.

[0004] Today, academic papers still rely on manual review, and problems such as low efficiency fail to analyze the semantic content of the paper-under-review and poor review results persist. Thus, there is need to develop an automatic review solution to at least partially address these issues. Significant technical problems in comprehending and reviewing text-table-image multi-modal data must be resolved for targeted design and training of the pre-trained LLM.SUMMARY

[0005] To address the limitations of inefficiency and suboptimal review outcomes, the present disclosure provides a method for applying LLMs integrated with knowledge graphs to facilitate automatic paper review, a method for fine-tuning pre-trained LLMs for paper review tasks, and a method for generating paper-specific knowledge graphs.

[0006] The present disclosure provides a method for automatically conducting a paper review using an LLM, the method comprising, inputting a plurality of review questions and a paper under review into the LLM, generating a plurality of simulated answers by the LLM according to the plurality of review  questions and the paper under review, retrieving a plurality of paper node data from a plurality of knowledge graph nodes of paper  knowledge graph of a paper knowledge graph library, wherein the plurality of paper node data are related to a plurality of simulated answers, wherein the paper knowledge graph is a graph covering knowledge spanning from a hierarchical structure of the paper to conceptual relationships as disclosed in the paper, identifying a plurality of paper contents from the paper under review which are relevant to the  plurality of simulated answers, inputting a plurality of combinations into the LLM, wherein each combination of the plurality  of combinations consists of one of the plurality of review questions, one of the plurality of paper node data and one of the plurality of paper contents from the paper under review, and generating a review comment for the paper under review through each combination using the  LLM.

[0007] In certain embodiments, the plurality of review questions are extracted from a preset review question bank or from user input.

[0008] In certain embodiments, the method further comprises generating a review decision based on the review comments.

[0009] In certain embodiments, retrieving a plurality of paper node data comprises comparing the cosine similarity between embedding of each of the plurality of simulated answers and embedding of each of a plurality of knowledge graph nodes of paper knowledge graph, getting each of the plurality of knowledge graph node with the embedding exhibiting the highest cosine similarity as the paper node data, and combining the paper node data for all of the plurality of simulated answers as the plurality of paper node data.

[0010] In certain embodiments, identifying a plurality of paper contents from the paper under review comprises comparing the cosine similarity between embedding of each of the plurality of simulated answers and embedding of each of a plurality of contents from the paper under review respectively, getting each of the plurality of contents from the paper under review with the embeddings exhibiting the highest cosine similarity as paper content from the paper under review, and combining paper contents for all of the plurality of simulated answers as the plurality of paper contents from the paper under review.

[0011] In certain embodiments, the LLM is fine-tuned using a training sample set, that includes paper content of various data types and the review questions and comments text set.

[0012] In certain embodiments, the training sample set comprises a plurality of real or artificially constructed paper samples, wherein the plurality of real or artificially constructed paper samples include text paragraphs, tabular data, figures and other content, as well as the corresponding review questions and comments prepared by editors and peer reviewers.

[0013] In certain embodiments, the method further comprises deleting all raw data related to the paper under review once the review comment has been generated.

[0014] The present disclosure serves journal editors and peer reviewers by reducing the workload and enhancing the processing efficiency of journal article publishing. Also, the present disclosure serves the authors by helping them improve the paper quality and success rate of publication based on the review feedback. The automated review carried out by an LLM of the present disclosure achieves the construction of a paper’s knowledge graph to enhance the LLM’s comprehension of the paper’s semantic content and analyze the semantic content of papers. During the review of submitted papers, the automated review method as per the present disclosure also protects the unpublished intellectual property rights of the authors to ensure that any innovative content and data of the authors are not disclosed.BRIEF DESCRIPTION OF THE DRAWINGS

[0015] Exemplary embodiments of the disclosure are described in the following with respect to the attached figures. The figures and corresponding detailed description serve merely to provide a better understanding of the disclosure and do not constitute a limitation whatsoever of the scope of the disclosure as defined in the claims. In particular:

[0016] FIG. 1A shows a flowchart of a paper knowledge graph generation method according to certain embodiments of the present disclosure.

[0017] FIG. 1B shows a preset review question bank for general academic papers according to certain embodiments of the present disclosure.

[0018] FIG. 1C shows a preset review question bank for literature review papers according to certain embodiments of the present disclosure.

[0019] FIG. 1D shows a flowchart of review comment generation method according to certain embodiments of the present disclosure.

[0020] FIG. 1E shows an exemplary paper review decision table according to certain embodiments of the present disclosure.

[0021] FIG. 1F shows a flowchart of review decision generation according to certain embodiments of the present disclosure.

[0022] FIG. 1G shows a schematic diagram of a paper review system according to certain embodiments of the present disclosure.

[0023] FIG. 1H shows a flowchart of a method of conducting paper review using an LLM according to certain embodiments of the present disclosure.

[0024] FIG. 2A shows a flowchart of fine-tuning an LLM according to certain embodiments of the present disclosure.

[0025] FIG. 2B shows a schematic diagram of an exemplary LLM according to certain embodiments of the present disclosure.

[0026] FIG. 3A shows a schematic diagram of an exemplary paper’s hierarchical structure and content according to certain embodiments of the present disclosure.

[0027] FIG. 3B shows a schematic diagram of an exemplary paper knowledge graph according to certain embodiments of the present disclosure.

[0028] FIG. 3C shows a schematic diagram of a paper review generating method by using the LLM according to certain embodiments of the present disclosure.

[0029] FIG. 4A shows a schematic diagram of an applicable exemplary system according to certain embodiments of the present disclosure.

[0030] FIG. 4B shows a flowchart of an automated paper review system according to certain embodiments of the present disclosure.

[0031] FIG. 5 shows a schematic diagram of an electronic device according to certain embodiments of the present disclosure.DETAILED DESCRIPTION

[0032] The disclosure will be more fully described below with reference to the accompanying drawings. However, the present disclosure may be embodied in a number of different forms and should not be construed as being limited to the embodiments described herein.

[0033] To help those skilled in the art to better understand the techniques involved in the application, illustrations of the implementation of the present disclosure are provided below. These illustrations constitute part but not all the functionalities of the present disclosure. Based on the embodiments disclosed in this application, all other embodiments obtained by other personnel should fall within the scope of protection of this application.

[0034] Embodiments of the present disclosure provide a method for automatically conducting paper review using an LLM, in particular, e.g., for automated review of journal articles. The method comprises inputting a plurality of review questions and a paper under review into the LLM, generating a plurality of simulated answers by the LLM according to the plurality of review questions and the paper under review, retrieving a plurality of paper node data from a plurality of knowledge graph nodes of paper knowledge graph of a paper knowledge graph library, wherein the plurality of paper node data are related to a plurality of simulated answers, wherein the paper knowledge graph is a graph covering knowledge spanning from a hierarchical structure of the paper to conceptual relationships as disclosed in the paper, identifying a plurality of contents from the paper under review which are relevant to the plurality of simulated answers, inputting a combination of the plurality of review question, the plurality of paper node data and the plurality of contents from the paper under review, into the LLM, and generating a review comment for the paper under review using the LLM.

[0035] The paper knowledge graph can be obtained from a paper knowledge graph library and comprises accurate and structured knowledge, domain-specific knowledge, etc. FIG. 1A shows a schematic diagram of a method of generating a paper knowledge graph library by using an exemplary LLM. The method comprises the following steps.

[0036] An intelligent document parsing module is configured to generate a paper knowledge graph and the related node data in block 101. The paper knowledge graph covers knowledge spanning from the paper's hierarchical structure to conceptual relationships. A large amount of knowledge relevant to the field of study is also stored in the pre-determined paper knowledge graph library. To generate a paper knowledge graph and extract related node data, the process involves preprocessing published open access journal papers. First, storing internal information such as paper documents, review comments, section text, titles, abstracts, and other relevant parts of the published open access journal papers. Then, the paper documents are parsed, and the desired sections are extracted using text mining techniques. The extracted information is then organized into a structured format suitable for constructing a knowledge graph. The exact methods for extraction may vary depending on the specific requirements and the available tools or libraries for text processing and analysis.

[0037] Node data (text, tables, and images) are encoded into embedding vectors, at block 102.

[0038] If the paper is a training sample, the generated paper knowledge graph and the embedding vectors of node data are added into the paper knowledge graph library, at block 103; if the paper is under review, then the original paper document will be deleted and data of the generated paper knowledge graph shall not be added into the paper knowledge graph library, at block 104. Relevant knowledge can be quickly located by matching nodes’ embedding vector.

[0039] The review questions can be obtained from the preset review question bank or user input. The preset review question bank may cover common paper review and evaluation dimensions, including originality, theoretical importance, experiment design, data analysis, paper writing, research significance, etc. It also allows users to input their own review questions for specific papers or contexts.

[0040] FIG. 1B and FIG. 1C show, as two examples for illustration, the two preset review question lists according to the present embodiment. The questions in the preset review questions bank for general academic papers, as shown in FIG. 1B, can include:

[0041] “How is this study significantly different from other studies in the literature? ”

[0042] “Is the overall research approach new and novel? ”

[0043] “Does the study and significant insights into theoretical debates in the literature? ”

[0044] “Are the theoretical hypotheses of the study clearly stated? ”

[0045] “Is this research incremental, or is it a major breakthrough for the future? ”

[0046] “Are the adopted methods solid and rigorous? ”

[0047] “Are the participants appropriate for the research purpose? ”

[0048] “Is the sample size sufficient for the research questions? ”

[0049] “Does the research design allow an adequate test of the hypotheses? ”

[0050] “Are there any flaws in the materials or procedures used? ”

[0051] “Are the analyses of the results appropriate for the research questions? ”

[0052] “Are the statistics correctly performed according to the field standards? ”

[0053] “Are the expected effects statistically significant? ”

[0054] “Are the non-significant effects conflicting with the research hypotheses? ”

[0055] “Are the results correctly interpreted in light of the extant literature? ”

[0056] “How do the findings match up or disagree with previous studies, and if disagree, why? ”

[0057] “Are the findings generalizable, or are they limited to the current study? ”

[0058] “Are the conclusions based on the results, or are they authors’ own speculations? ”

[0059] “Have the authors discussed major limitations of the study? ”

[0060] “Is the whole article clearly written in style? ”

[0061] The questions in the preset review questions bank for review academic papers, as shown in FIG. 1C, can include:

[0062] “Do the authors explain the reason for writing a review article in this field? ”

[0063] “Does the review article provide a good overview of the development of the field while providing insights on its future development? ”

[0064] “Do the authors adequately represent the most relevant and recent advances in the fields? ”

[0065] “Is the review reported in sufficient detail to allow for its replicability and / or reproducibility (e.g., search strategies disclosed, inclusion criteria and risk of bias assessment for individual studies stated summary methods specified) ? ”

[0066] “Is the statistical summary method (e.g., meta-analysis, meta-regressions) and its reporting (e.g., p-values, 95%Cls, etc. ) appropriated and well described? ”

[0067] “Does the review structure, flow or writing need improvement (e.g., the addition of No. subheadings, shortening of text, reorganization of sections, or moving details from one section to another. Following PRISMA guidelines) ? ”

[0068] “Could the manuscript benefit from language editing? ”

[0069] One embodiment of the present disclosure of the method for conducting paper review using an LLM is shown in FIG. 1H. The method comprises inputting review questions and the paper under review into the LLM, generating simulated answers from the LLM, retrieving a plurality of paper node data from a plurality of knowledge graph nodes of paper knowledge graph of a paper knowledge graph library, wherein the plurality of paper node data are related to a plurality of simulated answers. The paper knowledge graph is a graph covering knowledge spanning from a hierarchical structure of the paper to conceptual relationships as disclosed in the paper, and wherein the paper knowledge graph is selected from the paper knowledge graph library according to the plurality of simulated answers. Then the method further comprises identifying a plurality of paper contents from the paper under review which are relevant to the plurality of simulated answer. The method comprises inputting a plurality of combinations into the LLM, wherein each combination of the plurality of combinations consists of one of the plurality of review questions, one of the plurality of paper node data and one of the plurality of paper contents from the paper under review, and generating a review comment for the paper under review through each combination using the LLM, such as GPT-4o, Claude 3.5 Sonnet.

[0070] As shown in FIG. 1H, Step 1 is to feed multiple review questions and paper under review to LLM. In one embodiment, the text content from the paper under review can be extracted, for example, through Optical Character Recognition (OCR) for scanned documents or open-source methods (e.g., sciencebeam-parser, python-docx) for processing paper document files. The reviewer comment (if any) , submission, title, author, organization, and text information such as abstract, methodology and so on can be extracted. The multiple review questions are extracted from the list of review questions from the preset review questions bank, such as the preset review questions bank for general academic papers or for review academic papers as shown in FIG. 1B and FIG. 1C, or from user input. In one embodiment, the question vector that exhibits the highest cosine similarity with the sentences in the simulated answer is considered the most related. If multiple question vectors are related to the review question, the one that has the highest cosine similarity can be selected, or any other similarity metric that suits the requirements can be used. The specific selection criteria for question vectors would depend on the context and desired outcome of the application.

[0071] An example of the above description is as follows. First, a review question "What are the limitations of the proposed method? " is extracted from the review question library or user input. Then the above review question and the paper under review can be input into the LLM, and a simulated answer, e.g., "The limitations of the proposed method include scalability issues and the need for further validation" , can be obtained. By calculating the cosine similarity between the sentence vectors from the simulated answer and the relevant chunks of the document text, such as from the top 100 sentences, the section "Limitations and Future Work" , appears most frequently. "Limitations and Future Work" is identified as the most relevant chunks that discusses the limitations of the proposed method.

[0072] In Step 2 as shown in FIG. 1H, the plurality of simulated answers can be generated from the LLM. The purpose of the simulated answers is to provide a context for comparison. Then, retrieve paper knowledge graph of the paper under review from a paper knowledge graph library. For example, step 2 comprises translating every sentence inside the simulated answers to embedding, using e.g., Sentence Transformer, and then compare the Cosine similarity between every sentence’s embedding in paper content of paper knowledge graph and the paper under review with the embeddings in the multiple simulated answers. Then identify a plurality of paper node data from a plurality of knowledge graph nodes of paper knowledge graph of a paper knowledge graph library according to the multiple simulated answers, wherein the plurality of paper node data is relevant to the review questions. Then identify a plurality of contents from the paper under review according to the multiple simulated answers, wherein the plurality of contents from the paper under review are relevant to the review questions. The Sentence Transformers can process each sentence in the paper content to obtain a vector representation.

[0073] Preferably, the plurality of paper node data is the most relevant to the multiple simulated answers, and the plurality of contents from the paper under review is the most relevant to the multiple simulated answers. In one example, the step comprises embedding the simulated answers to generate their quantifiable vectors, and comparing the quantifiable vectors of the simulated answers with the quantifiable vectors of the paper chunks of the paper knowledge graph, getting the quantifiable vectors of the paper chunk which is the most relevant to the quantifiable vectors of the simulated answer, and using the paper chunk with the most relevant text as the most relevant text content.

[0074] In Step 3 as shown in FIG. 1H, a combination of the text from the paper under review, review question and the most relevant text content, or a pair consisting of the text from the paper under review, review question and the most relevant text content, can be created after getting the relevant text in the previous step. Then the above combination or pair can be input into the LLM and the LLM generates review comments based on the above combination or pair. The same LLM can be used in both Step 1 and Step 3.

[0075] FIG. 1D illustrates a flowchart of the review comment generation method in accordance with another embodiment of the present disclosure. To protect the authors’ intellectual property, all original data related to the submitted documents are deleted. As shown in FIG. 1D, the review comment generation method comprises the following steps. At first, input the user’s review question, at step 141. Then, feed the user’s review questions and the paper under review into LLM, at step 142. Then the LLM generates simulated answers to the review questions and embedding for each sentence, at step 143. Then, calculate the similarity between each sentence’s embedding and retrieving the most similar content from the paper under review and the paper content from Knowledge Graph, at step 144. Create a (paper under review text, review question, most relevant text content) pair, and input the pair into the LLM, at step 145. Finally, delete all raw data related to the paper under review, at step 146.

[0076] Further, for multiple review questions, the LLM can generate a set of review comments. Then based on the set of review comments generated by the LLM, the LLM can generate review decisions and optional review report. The review report includes the review decision and the set of review comments.

[0077] FIG. 1E shows an exemplary paper review decision table according to certain embodiments of the present disclosure, where the review decision includes the following options: accept, major revision, minor revision, reject, and reject without review.

[0078] FIG. 1F shows a flowchart of the review decision generation method based on certain embodiments of the present disclosure. As shown in FIG. 1F, the review decision generation method comprises the following steps.

[0079] First, inputting a review question from the preset review question bank, at step 161. Then, feeding the review questions and paper under review into an LLM, at step 162. Then the LLM generates simulated answers to the review questions and embeddings for each sentence, at step 163. Then, calculating the similarity between every sentence’s embedding and retrieving the most similar content from the paper under review and the paper content from Knowledge Graph, at step 164. Creating a (paper under review text, review question, most relevant text content) pair and inputting the pair into the LLM, to generate review comment and to generate review decision based on the review comment at step 165. Finally, deleting all raw data related to the paper under review, at step 166.

[0080] FIG. 1G shows a schematic diagram of a paper review system according to certain embodiments of the present disclosure. The paper review system can be used for journal papers or other papers requiring review. As shown in FIG. 1G, the paper review system includes five main modules.

[0081] The paper review system includes an intelligent document parsing module, which is configured to extract structured hierarchical information and content from documents and output the extracted information and content.

[0082] The paper review system further includes a paper knowledge graph module. The paper knowledge graph module comprises a paper knowledge graph library module for storing pre-generated paper knowledge graphs, and a paper knowledge graph generation module. The paper knowledge graph generation module is configured to receive the structured hierarchical information and content from the intelligent document parsing module, generate the paper knowledge graph corresponding to the paper, and send the pre-generated paper knowledge graph to the paper knowledge graph library module for storing.

[0083] The paper review system further includes a training sample module, the training sample module comprises training sample library module for storing the pre-processed paper data training samples of different data types, and an LLM training module. The training sample library module provides pre-processed paper data training samples of different data types to the LLM training module for training the language model. The training sample library module also provides pre-processed paper data training samples of different data types to the paper knowledge graph generation module.

[0084] The paper review system further includes a review engine module. The review engine module comprises a knowledge recalling module, a knowledge ranking module and an LLM. The knowledge recalling module is configured to receive the pre-generated paper knowledge graph from the paper knowledge graph module. The review engine module is configured to convert review questions into corresponding vectors, retrieve the plurality of paper node data from the paper knowledge graph, retrieve the plurality of contents from the paper under review which are relevant to the plurality of simulated answers, and using the knowledge ranking module. The LLM is configured to generate review comments for questions based on the plurality of paper node data and the plurality of contents from the paper under review. Optionally, the LLM is also configured to generate review decisions for submitted papers according to the review comment.

[0085] The paper review system further includes a user interface module, which comprises a reviewer report module and a user interaction module. The reviewer report module is configured to generate the reviewer report based on the review comment and optional review decision. The user interface module is configured to facilitate the output of paper review reports and enable human-computer interaction. The review report includes the review comments and review decisions.

[0086] The present disclosure further provides a method for fine-tuning an LLM for automatic paper review. FIG. 2A is a flowchart of a method for the fine-tuning LLM for automatic paper review according to certain embodiments of the present disclosure. The method comprises Steps 201 and 202.

[0087] Step 201: First, a collection of published academic papers can be obtained as a training sample set or from existing paper samples. The obtained training sample set or existing paper samples contain the paper content of different data types and a set of review questions and review comments for the review task training of the language model. The paper content refers to the textual information contained within a research paper or journal article. The paper content includes various components including: the title, abstract, introduction, methodology, results, discussions, conclusions, and any other sections or subsections that form the body of the written document. The paper content encompasses the text that conveys the research findings, analysis, arguments, and supporting evidence presented in the paper. A large number of contents of training sample set or existing paper samples can be collected, including text paragraphs, tabular data, figures and other content, as well as the corresponding review questions and comments prepared by editors and peer reviewers.

[0088] Step 202: Based on the various types of data in the training sample set (e.g., text, table, image and review question / comment) , to train an LLM capable of outputting review comments. Multi-modal training is applied to the LLM to obtain the LLM that can output review comments and decisions. By combining different training data types and using multi-modal learning, it enables the language model to process multiple data inputs simultaneously and to further generate review comment output for review questions. Then the LLM is fine-tuned based on the review comment, review questions and the training sample set. The LLM can be any suitable model, such as the autoregressive and transformer decoder-based models, e.g., Meta Llama.

[0089] The multi-modal training implemented in the LLM comprise the following steps.

[0090] First, an open-source journal database is introduced to provide a source of paper samples for training. The existing paper samples from the database are processed to extract text, such as captions, charts, tables and images, from different data types in the paper samples, using open-source methods (e.g., sciencebeam-parser) . The caption-image pairs (i.e., charts, tables and images) are collected as training data. In certain embodiments, Optical Character Recognition can be used to extract text from paper content. The paper content can be extracted from scanned documents by using open-source methods, e.g., sciencebeam-parser, python-docx, for working with paper document files. In certain embodiments, the extracted paper content comprises submission, title, author, organization, and text information (e.g., abstract, methodology, etc. ) , along with review questions and reviewer comments.

[0091] Image encoders (e.g., ViT-L / 14 or ViT-g / 14) are used in the LLM. The image encoders can be a cohesive unit of the LLM. These vision encoders are kept frozen to ensure high-quality visual representation without the computational cost of training them again. Then LLMs (e.g., Meta Llama models) can be employed for fine-tuning. The LLM may also be kept frozen to leverage its strong generative capabilities in some steps of fine-tuning. In LLM, the processing steps are generalized as follows. The fine-tuning methods can be implemented using the prepared training data, the image-text contrastive learning that maximizes mutual information between image (e.g., charts, tables, and common images) and text representations, image-grounded text generation, which forces the encoder to generate text from visual inputs, the image-text matching that improves fine-grained alignment by predicting if an image-text pair matches. Fine-tuning LLMs involves techniques such as supervised fine-tuning, where a pre-trained model is trained on a task-specific labeled dataset to improve performance on specific tasks, e.g., GPT-4o fine-tuning for text summarization. For fine-tuning the LLM, the language modeling loss is used. Multi-modal training is applied, the LLM is fine-tuned in two stages-first focusing on vision-language representation learning, and then on vision-to-language generative learning. Finally, the model is assessed on various vision-language tasks to evaluate how effectively it can use visual inputs (e.g., charts, tables, or images) to generate relevant text outputs.

[0092] In certain embodiments, the LLM comprises an autoregressive and transformer decoder-based models.

[0093] FIG. 2B shows a schematic diagram of an exemplary LLM according to certain embodiments of the present disclosure, demonstrating the design of the LLM for paper review. The design of the LLM can adopt a decoder structure and further include the visual encoder, which can process the recalled tables and images. The inputs to the LLM comprise task prompt text, recalled texts from knowledge graph, recalled tables and images, and question text. The visual encoder of the LLM is configured to accept the tables and / or images, extract the semantic features of recalled tables and images, and output the corresponding text as the input of the decoder of the LLM. Specifically, the visual encoder is configured to accept, encode, and fuse tables and images through multimodal embedding and a cross-modal attention mechanism to generate text. The extracted semantic features are embedded to introduce visual comprehension capabilities. The decoder of the LLM is configured to decode the task prompt text, the recalled texts from knowledge graph, the semantic features of recalled tables and images, and the question text. In the method above, the decoder of the LLM can generate simulated answers, retrieve related content from paper knowledge graph, identify contents from the paper under review. For example, a knowledge graph query method (e.g., Cypher on Neo4j) can be used to retrieve the related content from paper knowledge graphs. Then the LLM processes multiple data inputs simultaneously and further generates review comment output for review questions. The types of extracted semantic features outputs depend on the types of images, as illustrated below.

[0094] From Charts:

[0095] Chart Type: Identifying whether it is a bar chart, line chart, pie chart, etc.

[0096] Data Points and Trends: Extracting values and trends like increasing or decreasing patterns.

[0097] Axes Information: Capturing labels, units, and scale of axes.

[0098] Legends and Keys: Understanding what each color or symbol represents in the chart.

[0099] Annotations: Extracting any textual annotations that explain parts of the chart.

[0100] From Tables:

[0101] Headers: Identifying column and row headers to understand the data dimensions.

[0102] Data Types: Recognizing types of data (e.g., numerical, textual, categorical) .

[0103] Cell Values: Extracting the content of individual cells.

[0104] Relationships: Understanding relationships like grouping, sums, or averages that might be indicated within the table.

[0105] From Images:

[0106] Objects and Entities: Identifying and labeling objects within the image.

[0107] Relationships and Actions: Understanding interactions between objects or actions depicted.

[0108] Scene Context: Extracting background information or setting.

[0109] The outputs from the decoder are connected to a frozen LLM for the fine-tuning process. A fully-connected layer adapts the output of the fine-tuned LLM to match the input dimensions of the model.

[0110] The present disclosure further provides a method for using a knowledge graph to fine-tune the LLM to better grasp various academic papers. The LLM can be fine-tuned by using existing datasets, and the LLM can be an existing model, e.g., Meta Llama. The method comprises the following steps.

[0111] Step 3.1: Constructing a paper knowledge graph based on the paper’s hierarchical structure and content, using the extracted hierarchical structure of the paper. FIG. 3A shows a schematic diagram of a paper’s hierarchical structure and content according to one embodiment of the present disclosure. The paper’s hierarchical structure and content comprise authors, organizations, abstract, keywords, chapters, references, etc.

[0112] Step 3.2: Building a paper knowledge graph library covers relevant domain-specific knowledge by extracting the relevant content in individual paper knowledge graphs. FIG. 3B shows a schematic diagram of a paper knowledge graph according to one embodiment of the present disclosure.

[0113] Step 3.3: Integrating the paper knowledge graph and the paper knowledge graph library with the LLM enhances LLM’s ability to comprehend the papers and provide supplementary knowledge, ultimately improving the comprehension capability of the LLM.

[0114] After fine-tuning LLM, a pre-trained LLM is obtained. The pre-trained LLM refers to the one described above. As shown in FIG. 3C, for example, by feeding the review question (s) and paper under review to the pre-trained LLMs for paper review. The LLM then generates simulated answers. Based on the simulated answer, relevant content is retrieved from Paper Knowledge Graph. The Paper Knowledge Graph comprises accurate and structured knowledge, domain-specific knowledge, etc. Meanwhile, based on the simulated answers, the relevant content is retrieved from the paper under review. Then composed prompts and images are obtained according to the relevant content from Paper Knowledge Graph and the relevant content from the paper under review. Next, the composed prompts and images are fed to the pre-trained LLM to obtain the review comments.

[0115] The present disclosure further provides an automated paper review method and an automated paper review system for generating both review decisions and reports. The automated paper review method is based on the review system described above.

[0116] FIG. 4A shows an automated paper review system according to certain embodiments of the present disclosure. The automated paper review system can include a cloud server, a communication network, and / or single or multiple user devices. The cloud server is configured to receive instructions from the user device and perform the automated paper review task as described above. The review comments and report for the target paper are sent back to the user device. The communication network can be any appropriate combination of single or multiple wired and / or wireless networks. User devices may include any device suitable for interacting with users.

[0117] FIG. 4B shows a flowchart of an automated paper review system according to certain embodiments of the present disclosure. Through the automated paper review method, this embodiment outlines the steps of the automated paper review solution that generates review decisions and reports. Users involved include, but are not limited to, journal editors, peer reviewers, and authors. The system for applying the automated paper review method comprises the following Steps 4.1-4.5.

[0118] Step 4.1: The documents are submitted through the system client to the cloud server by the user. The cloud server comprises an intelligent paper parsing module, a paper knowledge graph module, and a review engine module. The intelligent paper parsing module automatically starts analyzing the paper upon uploading the paper under review and review questions from the client device. Specifically, it extracts structured information such as the title, abstract, main text, tables, figures, and other content from the paper.

[0119] Step 4.2: The system automatically constructs the corresponding paper knowledge graph through the paper knowledge graph module. Constructing the corresponding paper knowledge graph can be facilitated by sorting the paper's structured information and content acquired through analysis. The original documents may be deleted in this step.

[0120] Step 4.3: The system converts the questions in the preset review question library into question feature vectors within the review engine module. Then these question vectors will be matched and sorted with the feature vectors of the nodes in the generated paper knowledge graph. This process is conducted in conjunction with the paper knowledge graph library. The matching process aims to obtain the content of the most relevant knowledge nodes. In FIG. 4B, the contents of the three knowledge nodes are shown.

[0121] Step 4.4: The system enters the review questions and relevant content, such as ranked node data and paper contents from the paper under review, into the pre-trained LLM to generate corresponding review comments. This step will be repeated to acquire the review comments corresponding to all preset review questions, which will be combined into a set of review comments. The pre-trained LLM regenerates corresponding review decisions according to the preset review comment set. The review decision and the collection of review comments jointly constitute the review report.

[0122] Step 4.5: The generated paper review report is outputted from the cloud server to the client as a text string. It is then formatted on the client’s device into a standard report for users to read. At this stage, all data related to the user's submission, including the knowledge graph and the review report, are deleted from the cloud server system.

[0123] The present disclosure further provides a computer-readable storage medium on which a computer program is stored. FIG. 5 shows a schematic diagram of an electronic device according to certain embodiments of the present disclosure. The electronic device comprises a processor, which is instructed by the executable instructions in the program to perform the following steps: 1) obtaining the review questions and their corresponding vectors from the communication interface; 2) determining the target node matching the vector from the paper knowledge graph; 3) using the pre-trained LLM to generate review comments for the reviewed questions based on the content corresponding to the matching node; 4) using the language model and preset review questions to make review decisions; 5) generating the paper review report; and 6) storing the program in a computer-readable storage medium. When the processor executes the stored steps / commands, the above automated paper review solution can be implemented.

[0124] Building on the previous descriptions, the first embodiment of the present disclosure provides an automatic review process for journal papers, which includes the following steps. First, it receives each review question as input from journal editors, peer reviewers, or authors involved in the peer review process and then obtains the embedding vectors corresponding to these review questions. Second, it generates a knowledge graph of the target journal paper. Third, it matches the vectors derived from the review questions with the specific knowledge graph of the target paper and the overall knowledge graph library. This step aims to extract the most relevant content in the library to provide enriched background knowledge for the target paper. Fourth, the extracted content and corresponding review question serve as input for the LLM, which generates and automatically outputs the corresponding review comment for each review question related to the target paper.

[0125] A second embodiment of the present disclosure provides a pre-trained LLM and a training method for automatic paper review. The system acquires a training sample set that contains paper content in various data types (text, tables, and images) for the review task, along with the review question / comment text set for training the pre-trained LLM. Based on the different types of training sample data, the system performs multi-modal training on the pre-trained LLM to produce a model capable of outputting review comments and decisions.

[0126] A third embodiment of the present disclosure provides a method to enhance the pre-trained LLMs’ capability to comprehend journal papers using knowledge graphs. This mainly involves constructing knowledge graphs for individual papers to streamline their content and structure. Individual knowledge graphs for papers within the same journal are synthesized, and the relationships between these papers are extracted to build a knowledge graph library specific to that journal. Ultimately, synthesizing the knowledge graph of papers from different journals within the same domain creates a domain-specific knowledge graph library. The knowledge graph from a single paper, the paper knowledge graph library and the pre-trained LLM are interconnected to implement the method described in the first component. This result in a pre-trained LLM enhanced by the knowledge graph.

[0127] A fourth embodiment of the present disclosure provides a solution to protect authors’ undisclosed intellectual property during the automated paper review process. This includes not retaining or saving the original and complete documents submitted in the automated digital platform. The paper knowledge graph generated from the submitted document is only used to implement the method described in the first embodiment. The generated paper knowledge graph is not updated in the paper knowledge graph library. After the automated review is completed, all data related to the submitted paper will be discarded.

[0128] A fifth embodiment of the present disclosure provides an automated paper review system, including an intelligent document parsing module, a paper knowledge graph module, a review engine module, a training sample module, and a user interaction module. (1) The intelligent document parsing module extracts structured hierarchical information and paper content from documents. (2) The paper knowledge graph module generates a knowledge graph corresponding to the paper. This module also includes a paper knowledge graph library for storing pre-generated paper knowledge graphs. (3) The review engine module converts review questions into corresponding vectors and combines them with the paper knowledge graph. It determines the target document node content that matches the vectors in the stored knowledge graph and retrieves the corresponding paper content data. The pre-trained LLM described in the second aspect generates review comments for the reviewed questions according to the content data matching the described review vectors. It also provides review decisions for submitted papers based on typical review questions for academic papers and the review question bank. (4) The training sample module provides pre-processed paper data training samples of different data types for training the LLM. (5) The user interaction module generates paper review reports and human-computer interactions. The content of the review report includes the review comments and decisions generated from the review questions.

[0129] A sixth embodiment of the present disclosure provides a computer storage medium storing computer program. When executed by a processor, the program implements the solutions or systems described in the preceding five embodiments.

[0130] One advantage of the automated paper review solution proposed by the present disclosure is related to the paper publishing process from the perspectives of both editors and reviewers and the authors. First, this solution can improve the quality of the paper review process and reduce the turnaround time, effectively saving the workload and time of journal editors and peer reviewers, thus enhancing the processing efficiency of paper publishing. Second, the proposed automated paper review solution can give targeted review comments to authors, improving the paper's quality and thereby improving the success rate of publication. These two benefits are conducive to promoting the development and progress of the entire field of academic paper publication. In addition, compared with general pre-trained LLMs, the pre-trained LLM employed in the present disclosure is trained by professional scientific knowledge data rather than by training data derived from daily life. When performing automated paper reviews, the knowledge graph can analyze and represent the paper knowledge at multiple levels. The paper knowledge graph provides the most relevant content to the LLM, avoiding hallucinations, preventing irrelevant or incomprehensible review comments, and improving their quality. The present disclosure also addresses a key problem of previous automated review solutions: the failure to analyze the semantic content of papers. Another advantage is that the present disclosure considers intellectual property and data privacy issues. It does not retain the relevant data, such as the original submitted document and the generated paper knowledge graph, and the pre-trained LLM does not use any content in the submitted document for secondary training. It protects the authors’ undisclosed intellectual property and their rights and interests in the automated paper review process.

[0131] The embodiments or elements showcased within the present disclosure, including the specific illustrations and materials using in examples, are intended to be illustrative, not restrictive. They allow for a wide range of alterations, adjustments, or adaptations that align with the fundamental concept of the present disclosure. It should be clarified that all depicted diagrams are solely for illustrative purposes; they are neither to scale nor are they precise reproductions of actual devices.

[0132] Wherever not already described explicitly, individual embodiments, or their individual aspects and features, described in relation to the drawings can be combined or exchanged with one another without limiting or widening the scope of the described disclosure, whenever such a combination or exchange is meaningful and in the sense of this disclosure. Advantages which are described with respect to a particular embodiment of present disclosure or with respect to a particular figure are, wherever applicable, also advantages of other embodiments of the present disclosure.

Claims

1.A method for automatically conducting a paper review using a large language model (LLM) , the method comprising:inputting a plurality of review questions and a paper under review into the LLM,generating a plurality of simulated answers by the LLM according to the plurality of review questions and the paper under review,retrieving a plurality of paper node data from a plurality of knowledge graph nodes of paper knowledge graph of a paper knowledge graph library, wherein the plurality of paper node data are related to a plurality of simulated answers, wherein the paper knowledge graph is a graph covering knowledge spanning from a hierarchical structure of the paper to conceptual relationships as disclosed in the paper,identifying a plurality of paper contents from the paper under review which are relevant to the plurality of simulated answers,inputting a plurality of combinations into the LLM, wherein each combination of the plurality of combinations consists of one of the plurality of review questions, one of the plurality of paper node data and one of the plurality of paper contents from the paper under review, andgenerating a review comment for the paper under review through each combination using the LLM.2.The method according to claim 1, wherein the plurality of review questions are extracted from a preset review question bank or from user input.3.The method according to claim 1, further comprising generating a review decision based on the review comments.4.The method according to claim 1, wherein retrieving a plurality of paper node data comprises comparing the cosine similarity between embedding of each of the plurality of simulated answers and embedding of each of a plurality of knowledge graph nodes of paper knowledge graph, getting each of the plurality of knowledge graph node with the embedding exhibiting the highest cosine similarity as the paper node data, and combining the paper node data for all of the plurality of simulated answers as the plurality of paper node data.5.The method according to claim 1, wherein identifying a plurality of paper contents from the paper under review comprises comparing the cosine similarity between embedding of each of the plurality of simulated answers and embedding of each of the plurality of paper contents from the paper under review respectively, getting each of the plurality of paper contents from the paper under review with the embeddings exhibiting the highest cosine similarity as paper content from the paper under review, and combining paper contents for all of the plurality of simulated answers as the plurality of paper contents from the paper under review.6.The method according to claim 1, wherein the LLM has been fine-tuned using a training sample set, that includes paper content of various data types and the review question / comment text set.7.The method according to claim 6, wherein the training sample set comprises a plurality of real or artificially constructed paper samples, wherein the plurality of real or artificially constructed paper samples include text paragraphs, tabular data, figures and other content, as well as the corresponding review questions and comments prepared by editors and peer reviewers.8.The method according to claim 1 further comprising deleting all raw data related to the paper under review once the review comment has been generated.

Images