ChatGPT（GPT-4）は英語で使うべきか

2023.11.30

日立製作所の研究者たちが行った興味深い研究があります。

彼らは、大規模言語モデルGPT-4が生成するコードの安全性に及ぼす日本語と英語の入力の違いについて検証しました。

この研究では、ChatGPT（GPT-4）に日本語と英語の両方でコード生成を指示し、450個のコードサンプルの安全性を分析しました。この分析には、暗号化と復号、サンドボックス化されたディレクトリという2つのシナリオが用いられ、Python、C、JavaScriptの3種類のプログラミング言語でコードが生成されました。

分析の結果、日本語と英語のプロンプトを使用した場合、コードの安全性にほとんど差がないことが判明しました。

ただし、Pythonでは日本語のプロンプトの方が英語よりも安全なコードを生成する傾向があることが明らかになりました。

これは、英語のプロンプトで生成されたコードに不安全な機能が追加されたためです。

また、使用するプログラミング言語によってもコードの安全性に大きな違いがあることが確認されました。

たとえば、Pythonの「cryptography.io」を使用したコードはすべて安全でしたが、「pycryptodome」を使用したコードでは安全でない例が存在しました。

これらの結果から、日本語を母国語とするユーザーが英語で無理にプロンプトを作成する必要はないとされています。

しかし、生成されたコードや説明文の大半が「部分的に安全」または「安全でない」とされるため、言語に関係なく、生成されたコードを理解し、必要に応じて安全なコードに修正することが重要です。

前の投稿

一覧

次の投稿