False information determination device, false information determination method and false information determination program

Abstract

To provide a false information determination device, a false information determination method and a false information determination program capable of accurately determining false information.SOLUTION: A determination device 1 comprises: an input part 11 for receiving input of object data for which authenticity determination is performed; a theme analysis part 12 for applying the object data to a generation AI, for acquiring a keyword for searching the object data on the Internet; an information collecting part 13 for acquiring multiple pieces of page data by accessing a prescribed number of URLs in high ranks, out of search results of searching on the Internet by the keyword, then extracting multiple pieces of document data excluding data which is indicated by a specific tag from the multiple pieces of page data; a summary acquisition part 14 for applying the multiple pieces of document data to the generation AI for acquiring a summary; an authenticity determination part 15 for applying the summary and the object data to the generation AI, acquiring a response of whether or not there is contradiction between them, and determining that the object data is false information if there is contradiction; and an output part 16 for outputting a determination result.SELECTED DRAWING: Figure 1

Description

[Technical field]

[0001] The present invention relates to an apparatus, a method, and a program for determining the authenticity of information. [Background technology]

[0002] In recent years, a technology called generative AI has been put to use, which automatically generates various contents such as text, images, audio, and videos based on learned data (see, for example, Non-Patent Document 1). [Prior art documents] [Non-patent literature]

[0003] [Non-Patent Document 1] ChatGPT, Internet,<https: / / openai.com / > Summary of the Invention [Problem to be solved by the invention]

[0004] At first glance, generative AI appears to be able to provide the correct answer to any question, but internally it is a language model, and generates answers from information that is more prevalent at the time of learning. For this reason, it has been difficult to determine the truth of fake news, which is the dissemination of altered, up-to-date information.

[0005] An object of the present invention is to provide a false information determination device, a false information determination method, and a false information determination program that can accurately determine false information. [Means for solving the problem]

[0006] The false information determination device of the present invention comprises an input unit that accepts input of target data for which authenticity determination is to be made, a theme analysis unit that provides the target data to a generation AI and acquires keywords for searching the Internet for the target data, an information collection unit that accesses a predetermined number of top URLs from the search results obtained by searching the Internet using the keywords to acquire multiple page data, and extracts multiple document data from the multiple page data excluding data indicated by specific tags, a summary acquisition unit that provides the multiple document data to the generation AI and acquires a summary, a true / false determination unit that provides the summary and the target data to the generation AI and acquires a response as to whether there is a contradiction between the two, and determines the target data to be false information if there is a contradiction, and an output unit that outputs the determination result made by the true / false determination unit.

[0007] The output unit may output the keyword, the search result, and the summary together with the determination result.

[0008] The false information determination method of the present invention includes an input step of accepting input of target data to be determined as to whether it is true or false, a theme analysis step of providing the target data to a generation AI and acquiring keywords for searching the Internet for the target data, an information collection step of accessing a predetermined number of top URLs from the search results obtained by searching the Internet using the keywords to acquire multiple page data, and extracting multiple document data from the multiple page data excluding data indicated by specific tags, a summary acquisition step of providing the multiple document data to the generation AI and acquiring a summary, a true or false determination step of providing the summary and the target data to the generation AI, acquiring a response as to whether there is a contradiction between the two, and determining that the target data is false information if there is a contradiction, and an output step of outputting the determination result in the true or false determination step.

[0009] A false information determination program according to the present invention causes a computer to function as the false information determination device. Effect of the Invention

[0010] According to the present invention, false information can be determined with high accuracy. [Brief description of the drawings]

[0011] [Figure 1] FIG. 2 is a block diagram showing a functional configuration of a determination device according to an embodiment. [Diagram 2] 1 is a flowchart showing a procedure of a false information determination method according to an embodiment. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS

[0012] An example of an embodiment of the present invention will now be described. In order to determine the authenticity of "newly generated information" that is released daily, including fake news, it is necessary to find the information sources that are thought to have been used as the source of alterations by fake news and extract significant differences from the information sources. This will reveal the route of alterations made by malicious actors and make it possible to determine that there are significant differences, that is, that it is fake news.

[0013] The fake information detection method of this embodiment searches for the information sources from which the fake information was generated from given information, as well as fragments of information obtained from the given information, and by combining these, the fake information is detected using a generation AI without any additional learning.

[0014] FIG. 1 is a block diagram showing the functional configuration of a determination device 1 (false information determination device) in this embodiment. The determination device 1 is an information processing device including a control unit 10, a storage unit 20, and various input / output interfaces. The control unit 10 is a part that controls the entire determination device 1, and realizes each function in this embodiment by appropriately reading and executing various programs stored in the storage unit 20. The control unit 10 may be a CPU.

[0015] The storage unit 20 is a storage area for various programs for causing the hardware group to function as the determination device 1, various data, and the like, and may be a ROM, a RAM, a flash memory, a hard disk drive (HDD), or the like.

[0016] Specifically, the control unit 10 functions as an input unit 11, a theme analysis unit 12, an information collection unit 13, a summary acquisition unit 14, a truth / falsehood determination unit 15, and an output unit 16 by executing software (false information determination program) stored in the memory unit 20.

[0017] The input unit 11 accepts input of target data for which a truth determination is to be made as to whether or not the data is fake news.

[0018] The theme analysis unit 12 provides the input target data to the generation AI and obtains keywords for searching the target data on the Internet. This theme analysis unit 12 may be provided as an API that can be connected to a predetermined generation AI.

[0019] The information collecting unit 13 acquires multiple page data (HTML data) by accessing a predetermined number of top URLs from the search results obtained by searching the Internet using the keywords acquired by the theme analyzing unit 12. Furthermore, the information collecting unit 13 extracts multiple document data from the acquired multiple page data, excluding data indicated by specific tags. This information collection unit 13 may be provided as an API connectable to a predetermined search engine. In addition, specific tags to be excluded from HTML data are, for example, <script>、<meta>、<link>等であり、文書データとしては不要な記述部分である。

[0020] 要約取得部14は、情報収集部13により収集された複数の文書データを生成AIに与え、要約データを取得する。すなわち、この要約データは、真偽判定の対象データをテーマ解析して得られたキーワードによる最新の検索結果を要約した文書である。

[0021] 真偽判定部15は、要約データ及び対象データを生成AIに与え、両者に矛盾があるか否かを問い合わせる質問文に対する回答を取得し、矛盾がある旨の回答を得た場合に対象データを偽情報と判定する。この真偽判定部15は、所定の生成AIに接続可能なAPIとして提供されてよい。

[0022] 出力部16は、真偽判定部15による判定結果を出力する。また、出力部16は、判定結果とともに、テーマ解析部12により得られたキーワード、情報収集部13により得られた検索結果、及び要約取得部14により得られた要約データを出力してもよい。

[0023] 図2は、本実施形態における偽情報判定方法の流れを示すフローチャートである。ステップS1において、入力部11は、偽情報かどうかを判定したい対象データXの入力を受け付ける。

[0024] ステップS2において、テーマ解析部12は、生成AIを用いて対象データXのテーマ解析を行う。例えば、テーマ解析部12は、生成AIに対して対象データXを与え、「Xをネット検索で探すためのキーワード」を出力させる。この結果、キーワードYが得られる。

[0025] ステップS3において、情報収集部13は、キーワードYでネット検索し、検索結果の上位n件K1~Knを取得する。

[0026] ステップS4において、情報収集部13は、検索結果K1~KnのURLにアクセスし、それぞれのHTMLデータH1~Hnを取得する。

[0027] ステップS5において、情報収集部13は、HTMLデータH1~Hnの構造解析を行い、不要なタグ(script、meta、link等)を発見すると、これらのタグの開始から終端までを削除し、文書データH´1~H´nを得る。

[0028] ステップS6において、要約取得部14は、生成AIに対して文書データH´1~H´nを与え、「H´1~H´nの要約」を出力させる。この結果、要約Zが得られる。

[0029] ステップS7において、真偽判定部15は、生成AIに対して要約Zと対象データXとを与え、「内容に重要な違い」又は「内容に矛盾」があるか否かをYES / NOを含む選択式(予め与えた複数の記号のうちの一つを回答するように指示)で出力させる。

[0030] ステップS8において、出力部16は、ステップS7の出力がYESである場合に、対象データXがフェイクニュースであると判定し、NOの場合にフェイクニュースでない(正しい情報である)と判定して応答する。このとき、出力部16は、途中結果である、キーワードY、検索結果K1~Kn、要約Zを合わせて応答してもよい。

[0031] 本実施形態によれば、判定装置1は、最新情報を学習内容に持たない生成AIに対して、対象データに関する最新情報を探す手法(キーワード)を聞き、この回答を用いて検索された最新情報の要約と対象データとの差異から真偽判定結果を導いている。すなわち、判定装置1は、生成AIを用いたテーマ解析と検索エンジンとを併用することで、大量のデータを無作為に収集する代わりに、テーマ解析を組み合わせて収集したデータを理解(要約)して真偽判定に必要なデータをピンポイントで取得する。したがって、判定装置1は、フェイクニュースか否かの判定という従来は判定困難であった問題に対して、生成AIを自然言語処理手段として複数の段階に分けて複数回利用することで、判定するための思考過程を構築でき、この結果、誤検知を抑制して偽情報を精度良く判定できる。

[0032] また、判定装置1は、判定結果とともに、検索キーワード、検索結果及びその要約を出力してもよい。例えば、判定装置1は、「信頼できる情報源A,B,Cとの比較を行なった」、「信頼できる情報源Aと重要な数値部分が大きく異なっており偽情報と考えられる」等のように、判断根拠となる理由を言葉で示すことができる。これにより、判定装置1は、どのようにして信頼できる情報ソースを探したのか、どのような情報を信頼できる情報ソースとして利用したのか、信頼できる情報ソースをどう解釈(要約)したのか、その結果どう判定したのか、という生成AIによる思考過程をホワイトボックス化して提示できる。

[0033] さらに、判定装置1は、生成AIに対して、事前に特別なデータセットで追加学習させる必要がなく、直近の少ない情報を元に複雑な判断が可能であり、データセットに依存しない性能を出すことができる。

[0034] 通常、AIの利用には膨大な量の学習データセットが必要だが、判定装置1は、学習済みの汎用の生成AIを用いる。汎用の生成AIは、特定の用途向けに最適化されたものではないが、世の中の幅広い情報が学習された状態となっている。本実施形態では、このような汎用の生成AIを用いて、真偽判定に応用するための制御手順を追加することにより、膨大な量のデータセットを用いた学習を省き、これまでできなかったタスクを可能とした。このように、本実施形態によれば、従来必要であった大量のデータセットは必要なく、事前のフラグ付けも必要ない。また、攻撃手法の変化による学習の劣化や過学習による判定精度の劣化といった問題からも無縁である。

[0035] なお、本実施形態により、例えばフェイクニュースを精度良く判定して正確な情報を提供できることから、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

[0036] 以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、前述した実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載されたものに限定されるものではない。

[0037] 判定装置1による判定方法は、ソフトウェアにより実現される。ソフトウェアによって実現される場合には、このソフトウェアを構成するプログラムが、情報処理装置(コンピュータ)にインストールされる。また、これらのプログラムは、CD-ROMのようなリムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されてもよい。さらに、これらのプログラムは、ダウンロードされることなくネットワークを介したWebサービスとしてユーザのコンピュータに提供されてもよい。

符号の説明

[0038] 1 判定装置10 制御部11 入力部12 テーマ解析部13 情報収集部14 要約取得部15 真偽判定部16 出力部20 記憶部< / script>

Claims

1. An input unit that accepts input of target data to be subjected to authenticity judgment; A theme analysis unit that provides target data to a generation AI and acquires keywords for searching the target data on the Internet; an information collecting unit that accesses a top predetermined number of URLs among search results obtained by searching the Internet using the keyword, acquires a plurality of page data, and extracts a plurality of document data from the plurality of page data, excluding data indicated by specific tags; a summary acquisition unit that provides the plurality of document data to a generation AI and acquires a summary; A truth / falsehood determination unit that provides the summary and the target data to a generation AI, obtains a response as to whether there is a contradiction between the two, and determines that the target data is false information if there is a contradiction; An output unit that outputs the determination result by the true / false information determination unit.

2. The false information determination device according to claim 1 , wherein the output unit outputs the keyword, the search result, and the summary together with the determination result.

3. An input step of accepting an input of target data to be subjected to truth / falsehood judgment; A theme analysis step of providing target data to a generating AI and obtaining keywords for searching the target data on the Internet; an information gathering step of accessing a top predetermined number of URLs among search results obtained by searching the Internet using the keyword, acquiring a plurality of page data, and extracting a plurality of document data from the plurality of page data, excluding data indicated by specific tags; a summary acquisition step of providing the plurality of document data to a generation AI and acquiring a summary; A truth determination step of providing the summary and the target data to a generation AI, obtaining a response as to whether there is a contradiction between the two, and determining that the target data is false information if there is a contradiction; an output step of outputting a determination result in the authenticity determination step, the false information determination method being executed by a computer.

4. A false information determination program for causing a computer to function as the false information determination device according to claim 1 or 2.

Images