从研究传统软件安全的角度来说,大模型作为一种软件、一种系统、一种软件产品,是否也存在传统软件安全领域的问题?是否也会被入侵?它所运行的系统是否也会被攻击者控制,进而去控制大模型的行为?

9月7日至8日的腾讯数字生态大会上,腾讯安全团队发起对大模型网络安全的讨论。腾讯安全玄武实验室负责人于旸表示,大模型自身存在的一些安全问题。


【资料图】

具体来说,清华大学计算机科学与技术系教授朱军表示,人工智能几大要素——数据、模型算法和应用场景中,数据端存在的安全问题有隐私保护、储存安全、数据恶意泄露等。模型算法端如目前使用较广泛的深度学习,或经典机器学习模型,本身也可能存在安全问题。另外,当人工智能可以快速高效地生成一些以假乱真的内容时,它可能会引起监管和伦理上的风险,即应用端的安全问题。

腾讯安全策略发展中心总经理吕一平大会期间与多位行业人士交流,发现大家对大模型所带来的新的网络安全问题已有关注。此外,安全大模型能否应用在类似于安全攻防环节中,也就是大模型成为了你的对手,如通过大模型高效生成社工脚本、生成恶意木马等,这也是客户比较关心的。

可能引发的安全危机该如何应对?于旸表示,人工智能技术在网络安全行业的应用已有一段时间了,当时很多探索者将图像算法运用在网络安全检测上,并取得了不错的效果,但一直没有得到特别大规模的应用。很多较为成功的案例仅仅聚焦在一些特定场景和领域,并未真正实现行业性的变革。由此可见,短期内深度学习相关技术在安全行业仍有一定的局限性。

这与深度学习技术难以获得足够多的数据有关,于旸归纳了三方面原因:第一,在网络安全领域很难获得足够的打标数据;第二,如果用相关技术去研究漏洞,则需要有足够多的漏洞数据去进行训练,但现存的网络安全漏洞量级并不足以形成足够的、成熟的、可用的数据;第三,数据打标需要相关技术人员去操作,这需要消耗很多昂贵的技术人力。这些原因导致了深度学习技术在安全领域的应用存在掣肘。

这一局面有可能被大模型技术改变。于旸表示,当用大模型来开展一些检测分析工作时,它不需要通过“投喂”大量相关数据进行学习训练了,基于其强大的推理能力,在少量的调整下就可以实现指令的执行。

在于旸看来,大模型和深度学习等方法不太一样,大模型可以使用工具,包括网络攻防的工具、编程的工具等,通过借助外部工具并对工具处理结果进行分析,判断是否需要再用别的工具,从而完成任务需求。这样一来,大模型的能力越大,能够改变的领域也越多。

但在眼下的风险应对举措上,吕一平对记者表示,短期来看,腾讯云安全中心将发布类似于微软AI Copilot的产品,帮助客户分析安全事件,将安全运营、安全分析的能力门槛降低。另在7日上午的主峰会上,腾讯云总裁邱跃鹏发布了一款由玄武实验室研发的隐私保护工具。通过一种生成式双向脱敏技术,保障用户在使用AIGC类产品时,隐私信息不会随着prompt提交给模型方泄密。

长期来看,吕一平认为目前行业对大模型的关注度实在太高,但还远未到广泛应用的阶段。安全是伴随的属性,伴随着技术的应用落地才会逐渐诞生对应的策略。

“网络安全产业之前一直面临一个问题,有很多事情必须要依靠人去做,这就带来了一个问题:成本居高不下。网络安全威胁是全球化的,地球上每一分钟都有还没有睡觉的攻击者,这种问题在之前可能都是矛盾,今天有了大模型技术的加持,我们看到相关的问题解决可能出现了曙光。”于旸称。

如果从大模型看更大范围的“智能化”趋势,腾讯集团副总裁、腾讯安全总裁丁珂表示,产业互联网进入“智能化”下半场,企业安全建设将面临四个方面的挑战:企业安全防御的半径将大幅增加、遭遇攻击后的反应窗口期将进一步缩短、辨别“人”和“机器”的难度增大、现存的安全“情报库”逐渐失效。

在此趋势下,丁珂提出三个调整思路:拥抱智能化时代,需要建立发展驱动的安全建设理念;建立可度量的安全体系,评估安全建设的有效性;应对智能化时代的攻防趋势,企业需要打造内在自适应的“安全免疫力”。

(文章来源:第一财经)

推荐内容