这篇论文评估了大型语言模型（LLM）进行个性化网络钓鱼攻击的能力，并将 LLM 的表现与人类专家和去年的 AI 模型进行了比较。

研究人员进行了一项人类参与的研究，共设置了四组电子邮件，共有 101 人参与：

* **对照组**：随机发送的网络钓鱼邮件，点击率为 12%。

* **人类专家组**：由人类专家编写的网络钓鱼邮件，点击率为 54%。

* **AI 自动化组**：完全由 AI 自动生成的网络钓鱼邮件，点击率为 54%。

* **AI 人机协同组**：AI 生成邮件，人类参与校对，点击率为 56%。

结果表明，AI 自动化攻击的性能与人类专家不相上下，并且比对照组高出 350%。与去年进行的类似研究相比，这些结果显示了 AI 模型的欺骗能力有所提高。

研究中使用的 AI 自动化电子邮件是由一个自定义工具发送的，该工具自动化了整个网络钓鱼过程，包括信息收集和为每个目标创建个性化的漏洞配置文件。AI 收集的信息在 88% 的情况下是准确且有用的，只有 4% 的参与者生成的配置文件包含不准确的信息。

研究还使用语言模型来检测电子邮件的意图。Claude 3.5 Sonnet 的得分超过 90%，误报率低，并检测到一些看似良性的电子邮件，而这些电子邮件通过了人类的检测。最后，研究分析了网络钓鱼的经济学，强调 AI 如何使攻击者能够以更低的成本攻击更多个人，并为更大的受众将盈利能力提高高达 50 倍。

研究方法主要包括以下五个步骤：

1. 收集目标。

2. 使用 AI 网络浏览代理收集有关目标的信息，该代理会爬取公开可用的信息。

3. 根据收集到的信息和精心设计的语言模型提示编写个性化的网络钓鱼电子邮件。

4. 使用定制构建的自动化软件发送电子邮件。

5. 通过跟踪电子邮件中嵌入的 URL 的点击次数来分析结果。

研究还分析了 AI 生成的配置文件的质量以及 AI 驱动的网络钓鱼的经济效益。研究结果表明，AI 驱动的网络钓鱼攻击具有高度的有效性和经济可行性，其自动化侦察在几乎所有情况下都能提供准确且有用的信息。当前的安全防护措施未能可靠地阻止模型进行侦察或生成网络钓鱼邮件。然而，AI 可以通过高级检测和定制化的应对措施来缓解这些威胁。