Judgment system, judgment method, and program

Abstract

This system provides a judgment system that can appropriately determine the results of security tests on equipment under evaluation. [Solution] The judgment system 10 includes a log acquisition unit 11 that acquires log information d1, a preprocessing unit 13 that generates preprocessed log information d2 from log information d1, a primary analysis unit 15 that generates primary judgment result information d11 by performing a primary analysis of the preprocessed log information d2, a prompt generation unit 14 that generates a prompt d3 for the generation AI based on the preprocessed log information d2, a secondary analysis unit 16 that performs a process to acquire secondary judgment result information d12 by inputting the prompt d3 to the generation AI as a secondary analysis, a comprehensive judgment unit 17 that generates comprehensive judgment result information d13 based on the primary judgment result information d11 and the secondary judgment result information d12, and an output unit 18 that outputs a judgment result report d31 including the judgment result shown by the comprehensive judgment result information d13.

Description

Technical Field

[0001] The present disclosure relates to a system for making a determination regarding the result of a security test, etc.

Background Art

[0002] In recent years, the functions of automobiles have been rapidly evolving. Such functions include, for example, external connection, autonomous driving, automatic control, in-vehicle infotainment (IVI), etc. And due to the evolution of those functions, the integration of electronic control units (ECUs), the introduction of software-defined vehicles (SDVs), etc., dealing with security risks for automobiles has become more important. In particular, the importance of security verification and validity confirmation of automobiles having various interfaces is further increasing in the final verification phase before the shipment of those automobiles or in-vehicle devices. Validity confirmation is also called a security test, and is a test for verifying whether countermeasures against threats are sufficient or for verifying that there are no vulnerabilities.

[0003] Among security tests, there is a fuzzing test. The fuzzing test is a test in which invalid input data or unexpected input data is input to an evaluation target device such as the above-described in-vehicle device, and abnormal operations and vulnerabilities in the evaluation target device are detected. Note that those input data are also called fuzzing data or fuzz data. There is a risk that the evaluation target device may crash due to the input of fuzzing data. For example, due to the input of fuzzing data, the evaluation target device may be reset or freeze. Therefore, a fuzzing test is required before the shipment of the evaluation target device.

[0004] The results of fuzzing tests on equipment under evaluation are generally determined by visually observing the occurrence of crashes or by determining whether or not the equipment responds. However, in recent years, attempts have been made to introduce machine learning to reduce the man-hours required for fuzzing tests. Patent Document 1 discloses an anomaly detection device using machine learning. [Prior art documents] [Patent Documents]

[0005] [Patent Document 1] International Publication No. 2022 / 249315 [Overview of the Initiative] [Problems that the invention aims to solve]

[0006] However, the abnormality detection device described in Patent Document 1 has the problem that it is difficult to appropriately determine the results of security tests on the equipment being evaluated.

[0007] Therefore, this disclosure provides a judgment system that can appropriately determine the results of security tests on equipment under evaluation. [Means for solving the problem]

[0008] A judgment system according to one aspect of this disclosure includes: a log acquisition unit that acquires log information indicating the execution status of security tests performed on a device under evaluation; a setting acquisition unit that acquires a user setting file set by a user and outputs setting information based on the user setting file; a preprocessing unit that generates preprocessed log information by performing editing of the log information as a preprocessing step; a primary analysis unit that generates primary judgment result information indicating the judgment result of the security test by performing a primary analysis on the preprocessed log information using the setting information; a prompt generation unit that generates a prompt to prompt a generating AI (Artificial Intelligence) to output the judgment result of the security test based on the setting information and the preprocessed log information; a secondary analysis unit that performs a process to acquire secondary judgment result information indicating the judgment result of the security test as a secondary analysis when the prompt is input to the generating AI; a comprehensive judgment unit that generates comprehensive judgment result information indicating the overall judgment result of the security test based on the judgment result indicated by the primary judgment result information and the judgment result indicated by the secondary judgment result information; and an output unit that outputs a judgment result report including the judgment result indicated by the comprehensive judgment result information.

[0009] Furthermore, the comprehensive or specific embodiments may be implemented as devices, methods, integrated circuits, computer programs, or recording media such as computer-readable CD-ROMs, or as any combination of devices, methods, integrated circuits, computer programs, and recording media. The recording media may also be non-temporary recording media. [Effects of the Invention]

[0010] The judgment system described in this disclosure can appropriately determine the results of security tests on the equipment being evaluated.

[0011] Further advantages and effects of one aspect of this disclosure will be made apparent from the specification and drawings. Such advantages and / or effects are provided by the embodiments and configurations described in the specification and drawings, but not all configurations are necessarily required. [Brief explanation of the drawing]

[0012] [Figure 1] Figure 1 shows an example of the configuration of the determination system in the embodiment. [Figure 2] Figure 2 is a diagram illustrating the processing performed by the setting acquisition unit in the embodiment. [Figure 3] Figure 3 is a diagram illustrating the processing performed by the preprocessing unit in the embodiment. [Figure 4] Figure 4 shows an example of a prompt generated and output by the prompt generation unit in the embodiment. [Figure 5] Figure 5 is a diagram illustrating the processing performed by the comprehensive determination unit using the primary determination result information and the secondary determination result information in the embodiment. [Figure 6] Figure 6 shows an example of a judgment result report in the embodiment. [Figure 7] Figure 7 is a sequence diagram showing an example of the processing operation of the determination system in the embodiment. [Figure 8] Figure 8 is a flowchart showing an example of the processing operation of the determination system in the embodiment. [Modes for carrying out the invention]

[0013] (Knowledge that forms the basis of this disclosure) The present inventors have found that the following problems arise with respect to the abnormality detection device described in Patent Document 1, which is listed in the "Background Art" section.

[0014] The anomaly detection device described in Patent Document 1 determines anomalies in a test target device that is subject to security testing by an inspection device. Specifically, the anomaly detection device receives a group of pre-classification information output by multiple monitoring functions of the inspection device, performs anomaly classification processing and anomaly detection processing on the pre-classification information group, and outputs the detection result. In the anomaly classification processing, the anomaly detection device classifies the information in the pre-classification information group into normal and abnormal using a machine learning algorithm, and treats the multiple pieces of information classified as abnormal as an anomaly information group. In the anomaly detection processing, the anomaly detection device identifies the relationship between the multiple pieces of abnormal information included in the anomaly information group and the multiple monitoring functions of the inspection device, and derives an anomaly identification value by weighting the identified monitoring functions. Then, the anomaly detection device compares the anomaly identification value with a predetermined threshold, and if the anomaly identification value is greater than or equal to the threshold, it determines that the test target device is abnormal.

[0015] As described above, the anomaly detection device in Patent Document 1 uses a machine learning algorithm. However, in order to use this algorithm, it is necessary to perform machine learning specifically for the device under test in advance. In other words, it is necessary to accumulate sufficient historical data of the device under test and know-how such as judgment criteria used in past security tests and utilize them in machine learning. Furthermore, it is difficult to apply machine learning built specifically for the device under test to other devices under test that have a different structure from the device under test. Therefore, it is necessary to accumulate historical data and know-how such as judgment criteria used in past security tests for other devices under test as well. Consequently, if this know-how is insufficient, there is a problem in that the results of the security test cannot be appropriately judged. In addition, the accuracy of the judgment results of the security test may be low with machine learning algorithms.

[0016] Therefore, the determination system according to the first aspect of the present disclosure includes: a log acquisition unit that acquires log information indicating the execution status of a security test performed on a device to be evaluated; a setting acquisition unit that acquires a user setting file set by a user and outputs setting information based on the user setting file; a preprocessing unit that generates preprocessed log information by performing preprocessing on the editing of the log information; a primary analysis unit that generates primary determination result information indicating the determination result of the security test by performing a primary analysis on the preprocessed log information using the setting information; a prompt generation unit that generates a prompt for prompting the output of the determination result of the security test to a generation AI (Artificial Intelligence) based on the setting information and the preprocessed log information; a secondary analysis unit that performs, as secondary analysis, a process of acquiring secondary determination result information indicating the determination result of the security test by inputting the prompt to the generation AI; a comprehensive determination unit that generates comprehensive determination result information indicating a comprehensive determination result for the security test based on the determination result indicated by the primary determination result information and the determination result indicated by the secondary determination result information; and an output unit that outputs a determination result report including the determination result indicated by the comprehensive determination result information. Note that a specific example of the security test is a fuzzing test.

[0017] This allows for the generation of primary judgment result information showing accurate judgment results through primary analysis, and enables advanced analysis through secondary analysis to generate secondary judgment result information showing highly accurate judgment results. Furthermore, in the first embodiment, a judgment result report including a comprehensive judgment result for the security test is output based on the results of the primary and secondary analyses. Therefore, the accuracy and reliability of the judgment results included in the judgment result report can be improved compared to the judgment results from primary analysis such as error word search, or from secondary analysis using generative AI. In addition, since log information is used, it is possible to effectively detect and prevent potential security defects in the equipment under evaluation. Furthermore, since the judgment result report is output automatically, it is possible to output the judgment result report quickly, reducing the man-hours required to determine the results of the security test. Furthermore, even users without specialized knowledge can easily understand the results of the security test by looking at the judgment result report. In addition, since generative AI is used to determine the results of the security test, the need for prior machine learning corresponding to the equipment under evaluation can be reduced, and the results of the security test can be obtained efficiently. Therefore, in the first embodiment, the results of the security test of the equipment under evaluation can be appropriately determined.

[0018] Furthermore, in the determination system according to the second embodiment, the preprocessing may include the deletion or conversion of at least one of the characters, words, and lines included in the log information. The second embodiment may be subordinate to the first embodiment.

[0019] As a result, through such preprocessing, for example, garbled characters included in the log information are deleted, and characters that may be misrecognized are converted into characters that are less likely to be misrecognized. Since the preprocessed log information generated by such preprocessing is used for the respective processes of the primary analysis unit, the prompt generation unit, and the generation AI, it is possible to suppress the possibility that the processes are executed inappropriately. Furthermore, when words corresponding to confidential information are converted into other words, it is possible to protect the confidential information and privacy. Also, when the number of characters is limited by deleting characters or the like, it is possible to reduce the processing burden on the primary analysis unit, the prompt generation unit, the generation AI, and the like.

[0020] Also, in the determination system according to the third aspect, the preprocessing may include a process of detecting a word indicated in the setting information from the log information and extracting, from the log information, a portion that includes the detected word and consists of a plurality of consecutive lines. Note that the third aspect may be subordinate to the first aspect or the second aspect.

[0021] As a result, since a portion important for the determination of the security test result is extracted from the log information and included in the preprocessed log information, it is possible to reduce the processing burden and improve the processing accuracy of the primary analysis unit, the prompt generation unit, the generation AI, and the like that use the preprocessed log information.

[0022] Also, in the determination system according to the fourth aspect, the preprocessing may include a process of extracting only a portion of the log information that was output within a period specified in the security test. Note that the fourth aspect may be subordinate to any one of the first aspect to the third aspect. For example, the specified period may be included in the setting information.

[0023] As a result, only a portion corresponding to the specified period is extracted from the log information and included in the preprocessed log information. Therefore, it is possible to reduce the processing burden on the primary analysis unit, the prompt generation unit, the generation AI, and the like that use the preprocessed log information.

[0024] Furthermore, in the determination system according to the fifth embodiment, the primary analysis unit may generate the primary determination result information by searching for the error word indicated in the setting information from the pre-processed log information. Note that the fifth embodiment may be subordinate to any one of the first to fourth embodiments.

[0025] This makes it possible to generate primary judgment result information that shows the appropriate judgment results for security tests.

[0026] Furthermore, the determination method according to the first aspect of this disclosure acquires log information indicating the execution status of security tests performed on the equipment under evaluation, acquires a user configuration file set by the user, outputs configuration information based on the user configuration file, generates pre-processed log information by performing editing of the log information as a preprocessing step, generates primary determination result information indicating the determination result of the security test by performing a primary analysis on the pre-processed log information using the configuration information, generates a prompt to the generating AI (Artificial Intelligence) prompting it to output the determination result of the security test based on the configuration information and the pre-processed log information, performs a process to acquire secondary determination result information indicating the determination result of the security test as a secondary analysis by inputting the prompt to the generating AI, generates comprehensive determination result information indicating the overall determination result of the security test based on the determination result indicated by the primary determination result information and the determination result indicated by the secondary determination result information, and outputs a determination result report including the determination result indicated by the comprehensive determination result information.

[0027] This makes it possible to achieve the same effects and advantages as the determination system according to the first embodiment.

[0028] The embodiments will be described in detail below with reference to the drawings.

[0029] The embodiments described below are all comprehensive or specific examples. The numerical values, shapes, materials, components, arrangement and connection configurations of components, steps, and the order of steps shown in the following embodiments are examples only and are not intended to limit this disclosure. Furthermore, among the components in the following embodiments, those not described in the independent claim representing the highest-level concept will be described as optional components.

[0030] Furthermore, each figure is a schematic diagram and not necessarily a strictly accurate representation. Also, the same component is denoted by the same reference numeral in each figure.

[0031] (Embodiment) Figure 1 shows an example of the configuration of the determination system in this embodiment.

[0032] The determination system 10 in this embodiment is a system for appropriately determining the results of a security test of the device under evaluation 1, and comprises a log acquisition unit 11, a setting acquisition unit 12, a pre-processing unit 13, a prompt generation unit 14, a primary analysis unit 15, a secondary analysis unit 16, an overall determination unit 17, and an output unit 18. In this embodiment, the specific example of the security test is a fuzzing test, but other tests may also be used.

[0033] The log acquisition unit 11 acquires log information d1 indicating the execution status of the fuzzing test performed on the device under evaluation 1. The fuzzing test is performed by the test execution unit 2. The test execution unit 2 executes the fuzzing test on the device under evaluation 1 and outputs log information d1 indicating the execution status to the log acquisition unit 11. For example, by inputting fuzzing data as input data to the device under evaluation 1, the test execution unit 2 acquires not only the information ultimately output from the device under evaluation 1, but also information based on the internal processing of the device under evaluation 1 based on that fuzzing data, as log information d1 from the device under evaluation 1. The log acquisition unit 11 acquires this log information d1 from the test execution unit 2 and outputs it to the preprocessing unit 13. The device under evaluation 1 may be, for example, an in-vehicle information system, or an ECU. Furthermore, the method of collecting log information d1 by the test execution unit 2 and the log acquisition unit 11 may differ depending on the type, structure, and installed OS (Operating System) of the device under evaluation 1.

[0034] The setting acquisition unit 12 acquires a user setting file d21 set by the user and outputs setting information d22 based on that user setting file d21. The user setting file d21 contains user setting information related to the evaluation target device 1 or the fuzzing test. The setting information d22 is, for example, information that includes the user setting information and other information. The setting acquisition unit 12 then outputs the setting information d22 to the pre-processing unit 13.

[0035] The preprocessing unit 13 obtains log information d1 from the log acquisition unit 11 and setting information d22 from the setting acquisition unit 12. Then, the preprocessing unit 13 generates preprocessed log information d2 by editing the log information d1 as a preprocessing step. At this time, the preprocessing unit 13 may also perform preprocessing based on the setting information d22. The preprocessing unit 13 then outputs the preprocessed log information d2 and the setting information d22 to the prompt generation unit 14 and the primary analysis unit 15.

[0036] The prompt generation unit 14 obtains pre-processed log information d2 and configuration information d22 from the pre-processing unit 13. The prompt generation unit 14 then generates a prompt d3 that prompts the generating AI (Artificial Intelligence) to output the result of the fuzzing test, based on the aforementioned pre-processed log information d2 and configuration information d22. The prompt generation unit 14 outputs the generated prompt d3 to the secondary analysis unit 16. The result of the fuzzing test is the result of a judgment made on the result of the fuzzing test, and indicates, for example, that the device under evaluation 1 is normal, that a minor problem has occurred in the device under evaluation 1, or that a serious error has occurred in the device under evaluation 1.

[0037] The primary analysis unit 15 obtains pre-processed log information d2 and configuration information d22 from the pre-processing unit 13. Then, the primary analysis unit 15 performs a primary analysis on the pre-processed log information d2 based on the configuration information d22. In other words, the primary analysis unit 15 performs a primary analysis on the pre-processed log information d2 using the configuration information d22. By performing this primary analysis, the primary analysis unit 15 generates primary judgment result information d11 indicating the judgment result of the fuzzing test, and outputs the primary judgment result information d11 to the overall judgment unit 17.

[0038] The secondary analysis unit 16 obtains prompt d3 from the prompt generation unit 14. Then, the secondary analysis unit 16 performs secondary analysis. This secondary analysis is a process that obtains secondary judgment result information d12, which indicates the judgment result of the fuzzing test, by inputting prompt d3 to the generation AI. Specifically, the secondary analysis unit 16 outputs prompt d3 to the generation AI interface 3 and obtains secondary judgment result information d12 from the generation AI interface 3. The secondary analysis unit 16 outputs the secondary judgment result information d12 to the overall judgment unit 17.

[0039] The comprehensive judgment unit 17 obtains primary judgment result information d11 from the primary analysis unit 15 and secondary judgment result information d12 from the secondary analysis unit 16. Then, based on the judgment result indicated by the primary judgment result information d11 and the judgment result indicated by the secondary judgment result information d12, the comprehensive judgment unit 17 generates comprehensive judgment result information d13 that indicates the overall judgment result for the fuzzing test. The comprehensive judgment unit 17 outputs the comprehensive judgment result information d13 to the output unit 18.

[0040] The output unit 18 obtains the overall judgment result information d13 from the overall judgment unit 17. The output unit 18 then generates and outputs a judgment result report d31 that includes the judgment result indicated by the overall judgment result information d13.

[0041] Figure 2 is a diagram illustrating the processing performed by the setting acquisition unit 12 in this embodiment.

[0042] The configuration acquisition unit 12 acquires, for example, a user configuration file d21, as shown in Figure 2. Such a user configuration file d21 is acquired in a question format. For example, the configuration acquisition unit 12 presents the user with multiple questions via a user interface having a display and an input device. The input device may be a keyboard, mouse, touchpad, etc. Each of the multiple questions relates to, for example, the OS (Operating System), product, test content, additional detection words, additional prompts, start time, end time, etc. The user answers these questions by performing input operations on the input device.

[0043] For example, in response to a question about the OS, the user answers with the name of the OS installed on the device under evaluation 1 (e.g., "Linux®"), and in response to a question about the product, they answer with the type, name, or general term of the device under evaluation 1 (e.g., "IVI (In-Vehicle Infotainment)"). In response to a question about the test content, the user answers with the content or specific target of the fuzzing test (e.g., "Bluetooth®"). In response to a question about additional detection words, the user answers with an error word that is added in addition to the one or more default error words (e.g., "bthal_error"). In response to a question about the start time, the user answers with, for example, "13:02", and in response to a question about the end time, they answer with, for example, "13:05". The period from the start time to the end time is the period during which information used to determine the results of the fuzzing test is output from log information d1.

[0044] When the setting acquisition unit 12 acquires such a user setting file d21, it generates and outputs setting information d22, for example, as shown in Figure 2. The setting information d22 includes user setting information d4, error word information d41, and risk level information d42. The setting acquisition unit 12 extracts multiple answers from the multiple answers shown in the user setting file d21, excluding the answers for additional detection words, and generates user setting information d4 containing the extracted multiple answers. The setting acquisition unit 12 also generates error word information d41 containing multiple error words by adding the answers for additional detection words as error words to one or more default error words. The one or more default error words may be selected according to the user setting information d4.

[0045] The setting acquisition unit 12 then generates setting information d22 by adding risk level information d42 to the generated user setting information d4 and error word information d41. Risk level information d42 is information indicating the risk level of the error word shown in the error word information d41. For example, risk level information d42 indicates "critical" as the risk level of the error word "kernel panic" and "low" as the risk level of the error word "warning". Note that "critical" is, for example, the highest risk level, and "low" is a lower risk level than "critical".

[0046] Thus, in this embodiment, the information necessary for the primary analysis can be customized by using user setting information d4. Furthermore, the characteristics and specifications of the device under evaluation 1 can be reflected in the determination of the fuzzing test results. In addition, the prompt d3 can be tuned.

[0047] Figure 3 is a diagram illustrating the processing performed by the preprocessing unit 13 in this embodiment.

[0048] The preprocessing unit 13 performs preprocessing on the log information d1 shown in Figure 3. For example, the preprocessing unit 13 performs character encoding correction, escape processing, character count reduction processing, word detection processing, privacy protection processing, and time division processing as preprocessing.

[0049] In the character encoding handling process, the preprocessor 13 deletes the garbled string c1 contained in the log information d1. This helps prevent errors in the generation AI caused by that string c1. In the escape process, the preprocessor 13 converts the data (e.g., characters) contained in the log information d1 into other data to prevent misrecognition of that data. In a specific example, the preprocessor 13 converts the " <script>」のうちのデータ「<」を「<」に変換し、データ「>」を「>」に変換する。

[0050] 文字数削減処理では、前処理部13は、生成AIに入力されるプロンプトd3の文字数制限に応じた処理を実行する。例えば、前処理部13は、ログ情報d1に含まれている重複している複数の行c2のうちの1つの行c2のみが残されるように、他の1つ以上の行c2を削除する。なお、重複している複数の行c2は、完全に同一でなくてもよく、実質的に同一であってもよい。また、重複している複数の行c2は、連続していなくてもよい。

[0051] プライバシー保護処理では、前処理部13は、プライバシーまたは機密情報に関わる文字列である保護対象文字列c3をログ情報d1から検出して、その保護対象文字列c3を削除または置換する。例えば、前処理部13は、電話番号「123-456-7890」および会社名「ABC Motor Co.,Ltd.」をそれぞれ保護対象文字列c3として検出する。そして、前処理部13は、保護対象文字列c3である電話番号「123-456-7890」を[phone]に置換し、保護対象文字列c3である会社名「ABC Motor Co.,Ltd.」を[Car Maker]に置換する。

[0052] このように、本実施の形態における前処理は、ログ情報d1に含まれる文字、ワード、および行のうちの少なくとも1つの削除または変換を含む。

[0053] ワード検出処理では、前処理部13は、例えば、設定情報d22に示されているエラーワード情報d41に含まれるエラーワードをログ情報d1から検出する。そして、前処理部13は、そのエラーワードを含む行と、その行の周辺にある1つ以上の行とを、ログ情報d1から抽出する。つまり、本実施の形態における前処理は、設定情報d22に示されているエラーワードをログ情報d1から検出し、検出されたエラーワードを含む部分であって、かつ、複数の連続する行からなる部分を、ログ情報d1から抽出する処理を含む。

[0054] 時間分割処理では、前処理部13は、ログ情報d1のうち、ユーザによって指定された期間に評価対象機器1から出力された部分のみを、そのログ情報d1から抽出する。前処理部13は、例えば、ユーザ設定情報d4に示されている開始時刻から終了時刻までの期間を、ユーザによって指定された期間として特定し、その期間に応じた部分を抽出する。つまり、本実施の形態における前処理は、ログ情報d1のうち、ファジングテストにおいて指定された期間内に出力された部分のみを抽出する処理を含む。

[0055] 前処理部13は、これらの処理を前処理として実行することによって、前処理済ログ情報d2を生成する。なお、前処理部13は、文字化け対応処理、エスケープ処理、文字数削減処理、ワード検出処理、プライバシー保護処理、および時間分割処理の全てを実行することなく、少なくとも1つを実行してもよい。

[0056] 一次解析部15は、このような前処理済ログ情報d2と設定情報d22とを取得すると、その設定情報d22に基づいて、前処理済ログ情報d2に対して一次解析を実施する。例えば、一次解析部15は、設定情報d22のエラーワード情報d41に含まれているエラーワードごとに、そのエラーワードを前処理済ログ情報d2から検索する。つまり、一次解析部15は、エラーワードを前処理済ログ情報d2から検出する。そして、一次解析部15は、前処理済ログ情報d2から検索されたエラーワードの危険度を、設定情報d22の危険度情報d42に基づいて特定する。さらに、一次解析部15は、その危険度ごとに、前処理済ログ情報d2中における、その危険度に分類されるエラーワードの出現頻度を導出する。例えば、一次解析部15は、危険度「critical」に分類されるエラーワード(例えば「kernel panic」)の出現頻度である第1出現頻度と、危険度「low」に分類されるエラーワード(例えば「warning」)の出現頻度である第2出現頻度とを導出する。

[0057] そして、一次解析部15は、第1出現頻度および第2出現頻度の少なくとも一方が多いほど、その前処理済ログ情報d2に対応するファジングテストの判定結果が「NG」となる確率を高める。逆に、一次解析部15は、第1出現頻度および第2出現頻度の少なくとも一方が少ないほど、その前処理済ログ情報d2に対応するファジングテストの判定結果が「PASS」となる確率を高める。具体的な一例では、一次解析部15は、第1出現頻度が第1閾値以上であれば、そのファジングテストの判定結果として「NG」を決定する。そして、一次解析部15は、第1出現頻度が第1閾値未満でかつ、第2出現頻度が第2閾値以上であれば、そのファジングテストの判定結果として「WARNING」を決定する。また、一次解析部15は、第1出現頻度が第1閾値未満でかつ、第2出現頻度が第2閾値未満であれば、そのファジングテストの判定結果として「PASS」を決定する。一次解析部15は、このように決定された判定結果を示す一次判定結果情報d11を出力する。

[0058] このように、本実施の形態における一次解析部15は、設定情報d22に示されているエラーワードを前処理済ログ情報d2から検索することによって、一次判定結果情報d11を生成する。

[0059] 図4は、本実施の形態におけるプロンプト生成部14によって生成されて出力されるプロンプトd3の一例を示す図である。

[0060] プロンプト生成部14は、例えば図4に示すプロンプトd3を生成する。プロンプトd3は、前処理済ログ情報d2と、ユーザ設定情報d4と、判定方法d5と、出力形式d6とを含む。

[0061] ユーザ設定情報d4は、設定情報d22に含まれている情報である。このユーザ設定情報d4には、ユーザ設定ファイルd21に含まれていた追加プロンプトが含まれていてもよい。判定方法d5は、生成AIがファジングテストの結果に対する判定を行うための方法である。その判定方法d5では、例えば、ログ(すなわち前処理済ログ情報d2)に重大なエラーメッセージが含まれている場合は「NG」と判定し、軽微なエラーメッセージまたは警告メッセージが含まれている場合には「WARNING」と判定し、問題がない場合は「PASS」と判定することが示されている。なお、判定方法d5には、「NG」、「WARNING」、または「PASS」と判定された理由(すなわち判定理由)と、その理由の根拠とされる箇所(例えば前処理済ログ情報d2内の該当箇所)とを挙げることを、生成AIに促すメッセージが含まれている。出力形式d6は、生成AIからの出力の形式を指定するための情報である。つまり、出力形式d6には、二次判定結果情報d12の形式がサンプルとして指定されている。

[0062] 二次解析部16は、このように生成されたプロンプトd3をプロンプト生成部14から取得すると、そのプロンプトd3を生成AIインターフェース3に出力する。生成AIインターフェース3は、生成AIにプロンプトd3を入力してその生成AIから回答を二次判定結果情報d12として受け取るためのAPI(Application Programming Interface)である。その結果、二次解析部16は、生成AIから生成AIインターフェース3を介して、プロンプトd3に対する回答、すなわち二次判定結果情報d12を取得する。その二次判定結果情報d12は、生成AIからの出力であって、プロンプトd3に対応するファジングテストの判定結果、すなわち「NG」、「WARNING」、または「PASS」と、判定理由と、該当箇所とを示す。そして、二次解析部16は、その判定結果などを含む二次判定結果情報d12を総合判定部17に出力する。

[0063] 図5は、本実施の形態における一次判定結果情報d11および二次判定結果情報d12を用いた総合判定部17による処理を説明するための図である。

[0064] 一次解析部15は、「NG」、「WARNING」、または「PASS」を判定結果として示す一次判定結果情報d11を出力する。同様に、二次解析部16も、「NG」、「WARNING」、または「PASS」を判定結果として示す二次判定結果情報d12を出力する。

[0065] なお、「NG」は、例えば、重大なエラーが発生しており即時対応が必要であることを示す。一次解析部15は、例えば、「kernel panic」、「segmentation fault」などの、危険度「critical」に分類されるエラーワードを検出した場合に、ファジングテストの判定結果を「NG」に決定する。「WARNING」は、例えば、軽微な問題が発生しており修正が推奨されることを示す。一次解析部15は、例えば、「warning」、「connection retry」などの、危険度「low」に分類されるエラーワードを検出した場合に、ファジングテストの判定結果を「WARNING」に決定する。「PASS」は、例えば、問題は発生しておらず、システムが正常であることを示す。一次解析部15は、例えば、危険度「critical」のエラーワード、および危険度「low」のエラーワードの何れも検出しなかった場合に、ファジングテストの判定結果を「PASS」に決定する。

[0066] 総合判定部17は、一次判定結果情報d11に示されている判定結果(すなわち一次判定結果)と、二次判定結果情報d12に示されている判定結果(すなわち二次判定結果)との組み合わせに対して、総合判定結果を決定する。総合判定結果は、一次判定結果と二次判定結果との総合的な判定結果であって、評価対象機器1への対処の重要度であるとも言える。このような総合判定結果は、具体的には、複数のレベルのうちの何れか1つによって示される。その複数のレベルは、「Critical」、「High」、「Medium」、「Low」、「Info」、および「Pass」である。これらのレベルの重要度は、「Critical」>「High」>「Medium」>「Low」>「Info」>「Pass」の関係を満たす。なお、その重要度は、評価対象機器1への対処の優先度であるとも言える。

[0067] 例えば、総合判定部17は、一次判定結果「NG」と二次判定結果「NG」との組み合わせに対して、総合判定結果「Critical」を決定する。また、総合判定部17は、一次判定結果「NG」と二次判定結果「WARNING」との組み合わせ、および、一次判定結果「WARNING」と二次判定結果「NG」との組み合わせに対して、総合判定結果「High」を決定する。また、総合判定部17は、一次判定結果「NG」と二次判定結果「PASS」との組み合わせ、および、一次判定結果「PASS」と二次判定結果「NG」との組み合わせに対して、総合判定結果「Medium」を決定する。また、総合判定部17は、一次判定結果「WARNING」と二次判定結果「WARNING」との組み合わせに対して、総合判定結果「Low」を決定する。また、総合判定部17は、一次判定結果「WARNING」と二次判定結果「PASS」との組み合わせ、および、一次判定結果「PASS」と二次判定結果「WARNING」との組み合わせに対して、総合判定結果「Info」を決定する。また、総合判定部17は、一次判定結果「PASS」と二次判定結果「PASS」との組み合わせに対して、総合判定結果「Pass」を決定する。

[0068] 図6は、本実施の形態における判定結果レポートd31の一例を示す図である。

[0069] 判定結果レポートd31は、例えば図6に示すように、タイトルd7、概要d8、ユーザ設定情報d4a、日付d9、一次判定結果d11a、二次判定結果d12a、総合結果d13a、および判定理由d14を含む。例えば、タイトルd7は、「ファジングテストレポート」である。概要d8は、ファジングテストの目的および概要などであって、例えば「ファジングテスト(Bluetooth)」である。ユーザ設定情報d4aは、設定情報d22のユーザ設定情報d4に含まれている、評価対象機器1の種別、OS、プロトコルなどを示す情報であって、例えば、「製品:IVI」および「OS:Linux」を示す。日付d9は、そのユーザ設定情報d4に含まれている、ファジングテストが行われた日付であってもよい。一次判定結果d11aは例えば「NG」であり、二次判定結果d12aは例えば「NG」であり、総合結果d13aは例えば「Critical」である。なお、総合結果d13aは、総合判定結果情報d13に示されている総合判定結果である。判定理由d14は、生成AIの回答、すなわち二次判定結果情報d12に含まれている判定理由である。なお、判定理由d14は、複数の判定理由を含んでいてもよい。さらに、判定理由d14は、判定理由に対応する上述の該当箇所を含んでいてもよい。

[0070] 出力部18は、例えば、設定情報d22を前処理部13から取得し、その設定情報d22に含まれているユーザ設定情報d4に基づいて、タイトルd7、概要d8、ユーザ設定情報d4a、および日付d9を生成する。さらに、出力部18は、例えば、一次解析部15から一次判定結果情報d11を取得し、二次解析部16から二次判定結果情報d12を取得し、それらの情報に基づいて、一次判定結果d11aおよび二次判定結果d12aと、判定理由d14とを生成する。さらに、出力部18は、総合判定部17から総合判定結果情報d13を取得し、その総合判定結果情報d13に基づいて総合結果d13aを生成する。そして、出力部18は、それらの生成されたタイトルd7、概要d8、ユーザ設定情報d4a、日付d9、一次判定結果d11a、二次判定結果d12a、総合結果d13a、および判定理由d14を結合することによって判定結果レポートd31を生成する。

[0071] なお、図6の例では、判定結果レポートd31は、タイトルd7、概要d8、ユーザ設定情報d4a、日付d9、一次判定結果d11a、二次判定結果d12a、総合結果d13a、および判定理由d14を含んでいるが、それらの全てを含んでいなくてもよい。つまり、判定結果レポートd31は、少なくとも総合結果d13aを含んでいればよい。また、判定結果レポートd31は、例えばHTML(HyperText Markup Language)の形式であってもよい。

[0072] 図7は、本実施の形態における判定システム10の処理動作の一例を示すシーケンス図である。

[0073] まず、ユーザは、テスト実行部2に対して評価対象機器1のファジングテストのための操作(すなわちテスト実行操作)を行う(ステップS1)。これにより、テスト実行部2は、評価対象機器1に対してファジングテストを実行する。そして、テスト実行部2は、そのファジングテストの実行状況を示すログ情報d1をログ取得部11に出力する(ステップS2)。ログ取得部11は、そのログ情報d1を取得すると、そのログ情報d1を前処理部13に出力する(ステップS3)。

[0074] また、設定取得部12は、ユーザによる上述の入力デバイスへの入力操作に応じて、ユーザ設定ファイルd21を取得する(ステップS4)。そして、設定取得部12は、そのユーザ設定ファイルd21に基づいて設定情報d22を生成して前処理部13に出力する(ステップS5)。

[0075] 前処理部13は、ステップS3およびS5で出力されたログ情報d1および設定情報d22を取得すると、その設定情報d22を用いてログ情報d1に対して前処理を行う。そして、前処理部13は、その前処理によって生成された前処理済ログ情報d2および設定情報d22を一次解析部15に出力する(ステップS6、S7)。

[0076] 一次解析部15は、ステップS6およびS7で出力された前処理済ログ情報d2および設定情報d22を取得すると、設定情報d22を用いて前処理済ログ情報d2に対して一次解析を実施する。そして、一次解析部15は、その一次解析の結果を示す一次判定結果情報d11を生成して総合判定部17に出力する(ステップS8)。

[0077] また、前処理部13は、前処理によって生成された前処理済ログ情報d2および設定情報d22をプロンプト生成部14に出力する(ステップS9、S10)。プロンプト生成部14は、前処理済ログ情報d2および設定情報d22に基づいてプロンプトd3を生成し、そのプロンプトd3を二次解析部16に出力する(ステップS11)。

[0078] 二次解析部16は、ステップS11で出力されたプロンプトd3を用いた二次解析を実施することによって、生成AIからの回答である二次判定結果情報d12を取得し、その二次判定結果情報d12を総合判定部17に出力する(ステップS12)。

[0079] 総合判定部17は、ステップS8およびS12で出力された一次判定結果情報d11および二次判定結果情報d12に基づいて、ファジングテストの総合的な判定結果を示す総合判定結果情報d13を生成する。そして、総合判定部17は、その総合判定結果情報d13を出力部18に出力する(ステップS13)。出力部18は、ステップS13で出力された総合判定結果情報d13によって示される判定結果を含む判定結果レポートd31を生成して出力する(ステップS14)。

[0080] 図8は、本実施の形態における判定システム10の処理動作の一例を示すフローチャートである。

[0081] まず、判定システム10のログ取得部11は、テスト実行部2からログ情報d1を取得する(ステップS21)。また、設定取得部12は、ユーザによる入力操作に応じて、ユーザ設定ファイルd21を取得して設定情報d22を生成する(ステップS22)。

[0082] 次に、前処理部13は、その設定情報d22を用いてログ情報d1に対して前処理を行う(ステップS23)。そして、一次解析部15は、その前処理によって生成された前処理済ログ情報d2に対する一次解析を、設定情報d22を用いて実施することによって、一次判定結果情報d11を生成する(ステップS24)。

[0083] 次に、プロンプト生成部14は、前処理によって生成された前処理済ログ情報d2に基づいてプロンプトd3を生成する(ステップS25)。このとき、プロンプト生成部14は、設定情報d22をプロンプトd3の生成に用いる。そして、二次解析部16は、そのプロンプトd3に基づく生成AIを用いた二次解析を実施することによって、二次判定結果情報d12を取得する(ステップS26)。

[0084] 次に、総合判定部17は、ステップS24で生成された一次判定結果情報d11と、ステップS26で取得された二次判定結果情報d12とに基づいて、総合判定結果情報d13を生成する(ステップS27)。そして、出力部18は、その生成された総合判定結果情報d13から判定結果レポートd31を生成して出力する(ステップS28)。

[0085] 以上のように、本実施の形態では、一次解析によって、正確な判定結果を示す一次判定結果情報d11を生成することができ、二次解析によって、高度な解析を実現し、精度の高い判定結果を示す二次判定結果情報d12を生成することができる。さらに、本実施の形態では、一次解析および二次解析の結果に基づいて、ファジングテストに対する総合的な判定結果を含む判定結果レポートd31が出力される。したがって、例えばエラーワード検索などの一次解析による判定結果よりも、あるいは、生成AIを用いた二次解析による判定結果よりも、その判定結果レポートd31に含まれる判定結果の精度および信頼性を高めることができる。また、ログ情報d1が用いられるため、評価対象機器1のセキュリティに関する潜在的な不具合を効果的に発見して未然に防止する可能性を高めることができる。また、判定結果レポートd31が自動的に出力されるため、迅速に判定結果レポートd31を出力することができ、ファジングテストの結果を判定するための工数削減を図ることができる。さらに、専門知識のないユーザであっても、その判定結果レポートd31を見ることによって、ファジングテストの判定結果を容易に把握することができる。さらに、ファジングテストの結果の判定に生成AIが用いられるため、評価対象機器1に対応する事前の機械学習を行う必要性を削減することができ、ファジングテストの判定結果を効率的に得ることができる。したがって、本実施の形態では、評価対象機器1のファジングテストの結果を適切に判定することができる。

[0086] また、本実施の形態では、前処理によって、例えば、ログ情報d1に含まれる文字化けの文字などが削除され、誤認識され得る文字などが誤認識され難い文字などに変換される。このような前処理によって生成される前処理済ログ情報d2が、一次解析部15、プロンプト生成部14、および生成AIのそれぞれの処理に用いられるため、その処理が不適切に実行される可能性を抑えることができる。さらに、機密情報に相当するワードなどが他のワードに変換される場合には、機密情報およびプライバシーの保護を図ることができる。また、文字などの削除によって文字数が制限される場合には、一次解析部15、プロンプト生成部14、および生成AIなどの処理負担の軽減を図ることができる。

[0087] また、本実施の形態では、前処理によって、ファジングテストの結果の判定に重要な部分がログ情報d1から抽出されて前処理済ログ情報d2に含められるため、その前処理済ログ情報d2を用いる一次解析部15、プロンプト生成部14、および生成AIなどの処理負担の軽減と、処理精度の向上とを図ることができる。

[0088] また、本実施の形態では、前処理によって、指定された期間に相当する部分のみがログ情報d1から抽出されて前処理済ログ情報d2に含まれる。したがって、その前処理済ログ情報d2を用いる一次解析部15、プロンプト生成部14、および生成AIなどの処理負担の軽減を図ることができる。

[0089] また、本実施の形態では、一次解析部15は、設定情報d22に示されているエラーワードを前処理済ログ情報d2から検索することによって、一次判定結果情報d11を生成する。したがって、ファジングテストの適切な判定結果を示す一次判定結果情報d11を生成することができる。

[0090] 以上、本開示の1つまたは複数の態様に係る判定システム10および判定方法について、実施の形態に基づいて説明したが、本開示は、その実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態に施したものも本開示に含まれてもよい。

[0091] 例えば、ログ情報d1は、評価対象機器1から出力される情報を含んでいてもよく、テスト実行部2によって生成された情報を含んでいてもよい。つまり、ログ情報d1は、ファジングテストによって生成されて出力される情報であれば、どのような情報を含んでいてもよく、ネットワークデバイスによって生成されて出力される情報を含んでいてもよい。

[0092] また、本実施の形態では、生成AIは、判定システム10に含まれていないが、含まれていてもよい。また、生成AIは、判定システム10に通信ネットワークを介して接続されたクラウドサーバに構築されていてもよく、判定システム10と共に同一のコンピュータ(例えばパーソナルコンピュータ)に構築されていてもよい。

[0093] また、プロンプト生成部14は、1つの前処理済ログ情報d2に対して複数のプロンプトd3を生成し、二次解析部16は、その複数のプロンプトd3を生成AIに入力してもよい。この場合、1つの前処理済ログ情報d2は、複数の情報に分割され、その複数の情報が複数のプロンプトd3にそれぞれ含められてもよい。これにより、1つのプロンプトd3に含まれる、前処理済ログ情報d2に関する文字数またはデータ量を制限範囲内に容易に抑えることができる。

[0094] また、出力部18は、ユーザによる入力デバイスへの入力操作に応じて、判定結果レポートd31の形式または内容をカスタマイズしてもよい。

[0095] なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU(Central Processing Unit)またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態の判定システム10などを実現するソフトウェアは、例えば図8に示すフローチャートの各ステップをコンピュータに実行させるコンピュータプログラムである。

[0096] なお、以下のような場合も本開示に含まれる。

[0097] (1)上記の少なくとも1つのシステムまたは装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。そのRAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、上記の少なくとも1つの装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

[0098] (2)上記の少なくとも1つのシステムまたは装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。

[0099] (3)上記の少なくとも1つのシステムまたは装置を構成する構成要素の一部または全部は、その装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

[0100] (4)本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。

[0101] また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD(Compact Disc)-ROM、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。

[0102] また、本開示は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

[0103] また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

産業上の利用可能性

[0104] 本開示の判定システムは、例えば車両などに組み込まれるECUなどのセキュリティテストの結果の判定を支援する装置またはシステムなどに適用することができる。

符号の説明

[0105] 1 評価対象機器2 テスト実行部3 生成AIインターフェース10 判定システム11 ログ取得部12 設定取得部13 前処理部14 プロンプト生成部15 一次解析部16 二次解析部17 総合判定部18 出力部c1 文字列c2 行c3 保護対象文字列d1 ログ情報d2 前処理済ログ情報d3 プロンプトd4、d4a ユーザ設定情報d5 判定方法d6 出力形式d7 タイトルd8 概要d9 日付d11 一次判定結果情報d11a 一次判定結果d12 二次判定結果情報d12a 二次判定結果d13 総合判定結果情報d13a 総合結果d14 判定理由d21 ユーザ設定ファイルd22 設定情報d31 判定結果レポートd41 エラーワード情報d42 危険度情報< / script>

Claims

1. A log acquisition unit that acquires log information showing the execution status of security tests performed on the equipment under evaluation, A configuration acquisition unit that acquires a user configuration file set by the user and outputs configuration information based on the user configuration file, A preprocessing unit that generates preprocessed log information by performing the aforementioned editing of log information as a preprocessing step, A primary analysis unit generates primary judgment result information indicating the judgment result of the security test by performing a primary analysis on the pre-processed log information using the aforementioned setting information. A prompt generation unit generates a prompt to prompt the generated AI (Artificial Intelligence) to output the judgment result of the security test, based on the configuration information and the pre-processed log information, A secondary analysis unit performs a process as a secondary analysis to obtain secondary judgment result information indicating the judgment result of the security test by inputting the prompt to the generating AI, A comprehensive determination unit generates comprehensive determination result information indicating the overall determination result for the security test based on the determination result indicated by the primary determination result information and the determination result indicated by the secondary determination result information. An output unit that outputs a judgment result report including the judgment result indicated by the aforementioned comprehensive judgment result information, A judgment system equipped with the following features.

2. The aforementioned pretreatment is This includes the deletion or transformation of at least one of the characters, words, and lines included in the log information. The determination system according to claim 1.

3. The aforementioned pretreatment is The process includes detecting the word indicated in the configuration information from the log information, and extracting from the log information a portion that contains the detected word and consists of multiple consecutive lines. The determination system according to claim 1.

4. The aforementioned pretreatment is This process includes extracting only the portion of the log information that was output within the period specified in the security test, The determination system according to claim 1.

5. The primary analysis unit described above is The primary determination result information is generated by searching for the error word indicated in the setting information in the pre-processed log information. The determination system according to claim 1.

6. Obtain log information showing the execution status of security tests performed on the equipment under evaluation. The system retrieves a user configuration file set by the user, and outputs configuration information based on the user configuration file. By performing the aforementioned editing of log information as a preprocessing step, preprocessed log information is generated. By performing a primary analysis on the pre-processed log information using the aforementioned configuration information, primary judgment result information indicating the judgment result of the security test is generated. A prompt is generated to the generating AI (Artificial Intelligence) to prompt it to output the result of the security test, based on the configuration information and the pre-processed log information. Upon input of the prompt to the generating AI, a process is performed as a secondary analysis to obtain secondary judgment result information indicating the judgment result of the security test. Based on the judgment result indicated by the primary judgment result information and the judgment result indicated by the secondary judgment result information, comprehensive judgment result information indicating the overall judgment result for the security test is generated. Output a judgment result report that includes the judgment result indicated by the aforementioned comprehensive judgment result information. Judgment method.

7. Obtain log information showing the execution status of security tests performed on the equipment under evaluation. The system retrieves a user configuration file set by the user, and outputs configuration information based on the user configuration file. By performing the aforementioned editing of log information as a preprocessing step, preprocessed log information is generated. By performing a primary analysis on the pre-processed log information using the aforementioned configuration information, primary judgment result information indicating the judgment result of the security test is generated. A prompt is generated to the generating AI (Artificial Intelligence) to prompt it to output the result of the security test, based on the configuration information and the pre-processed log information. Upon input of the prompt to the generating AI, a process is performed as a secondary analysis to obtain secondary judgment result information indicating the judgment result of the security test. Based on the judgment result indicated by the primary judgment result information and the judgment result indicated by the secondary judgment result information, comprehensive judgment result information indicating the overall judgment result for the security test is generated. Output a judgment result report that includes the judgment result indicated by the aforementioned comprehensive judgment result information. A program that causes a computer to perform a task.

Images