方法及びコンピュータプログラム(ニューラルネットワークの隠れ層モデルの推論及び訓練のためのノイジーフォワード(ノイズの多い順方向)モジュールの使用)

Abstract

LLMによって引き起こされるデータ漏洩のコストは高額になる可能性がある。【解決手段】隠れ層、入力層、及び出力層を含む訓練されたニューラルネットワークの隠れ層モデルを使用して推論を実行する;及びニューラルネットワークの隠れ層モデルを訓練するための方法。入力層は、トークンのシーケンスを含むクエリを受け取り、トークンのシーケンスを埋め込みに変換し、埋め込みを第1の隠れ層に渡す。各隠れ層は活性化行列Aを生成する。連続する隠れ層間のノイジーフォワードモジュールは、(i)行列Aを打ち切って打ち切られた行列Acを生成する;(ii)完全又は半単峰性対称分布からランダムサンプリングを介してノイズξを生成する;(iii)A′=Ac+ξを介して修正された活性化行列A′を計算する;及び(iv)A′を次の隠れ層に渡す。最後の隠れ層はA′を出力層に渡す。出力層はクエリに対する回答を生成して出力する。

Images