4月23日,以“融合·创新·突破”为主题的第二届武汉网络安全创新论坛在武汉市东西湖区国家网络安全人才与创新基地启幕。在当天下午举行的“人工智能安全分论坛”上,政、产、学、研精英齐聚,围绕人工智能国际化合规路径、安全可信评估、标准体系建设、开源创新与共治、未成年人服务安全等议题展开深入研讨。

第二届武汉网络安全创新论坛人工智能安全分论坛现场(主办方供图)。

此次论坛上,多位专家提及了在人工智能时代出现的“新型风险挑战”。华为中国首席网络安全隐私保护官李加赞指出,AI时代面临着层出不穷的安全威胁与挑战,比如系统漏洞攻击、代码攻击、容器攻击等计算环境的威胁,针对AI的各种新数据、模型、提示语等等攻击威胁,还有应用和服务滥用的威胁等。

华为中国首席网络安全隐私保护官李加赞作主旨演讲(主办方供图)。

浙江大学研究员、君同未来创始人韩蒙的分享着眼于“人工智能体”的发展与可控,他强调像“MCP、A2A类协议”在可信安全层面设计的重要性。韩蒙认为,当前智能体快速发展,但其全生命周期的风险是巨大的,通过技术完成可信增强势在必行。而作为智能体最受关注的支撑协议——“MCP协议”仍存在上下文隔离缺失、大模型防护薄弱、信息不对称、授权认证不完善等较多问题,他呼吁各界迫切建立开放可信的智能体协议的生态。

浙江大学研究员、君同未来创始人韩蒙作主旨演讲(主办方供图)。

深信服科技股份有限公司高级副总裁AI首席专家邱亮提出了AI新形势下面临的6点安全挑战,包括黑客专门攻击、渗透攻击常态化、传统安全方法难以有效保护大模型业务、企业内部边界在AI时代被打破、应用发展速度快于安全、智能终端仍在不断迭代等。

深信服科技股份有限公司高级副总裁AI首席专家邱亮作主旨演讲(主办方供图)。

在“人工智能开源创新与共治”圆桌研讨中,中国科学技术法学会人工智能法专委会执行主任刘朝也提到了开源AI的三点突出风险。其一,开发者因技术开放性丧失用户行为控制权,模型可能遭非法篡改并用于制造虚假信息、实施网络犯罪;其二,用户端因缺乏持续性技术责任主体,面临模型透明度不足、训练数据合规性存疑等权益保障难题;其三,恶意攻击者可能借开源特性植入高危代码,降低技术犯罪门槛,加剧网络黑产危害。

“人工智能开源创新与共治”圆桌会议(主办方供图)。

论坛上,也有专家关注到了随大模型出现的多种新型漏洞,如“奶奶漏洞(提示词攻击)”“无限思考漏洞”“不充分训练Token level漏洞”“特殊Token漏洞”等。还有“模型投毒”也值得关注,即通过加入少量的“有毒数据”,让模型产生大量的错误信息,造成模型幻觉。专家认为,开展人工智能的可信评估具有非常重要的意义。

据悉,本届论坛由武汉市人民政府主办,中国网络空间安全协会、武汉临空港经济技术开发区管委会承办,中国互联网发展基金会支持,“人工智能安全分论坛”由中国网络空间安全协会人工智能安全治理专业委员会主办。