如何识别AI安全风险？中国工程院院士邬江兴

　　参展者登上自行车开始骑行，此时心率计、功率计、踏频器等分别采集数据并上传，屏幕上实时显示骑行距离、速度、心率、踏频等各类隐私数据……

　　这是在5月17日至19日举行的2024年第十二届西湖论剑•数字安全大会数字安全建设成果展上的一幕。该展位工作人员向近一段时间以来，以大模型为代表的AI技术持续火爆，在惊喜于大模型的“聪明能干”时，很多人也开始隐隐担忧：当我们在跟大模型对话时，会不会造成个人信息或者商业机密的泄露？AI在带来便捷与红利的同时，还会带来哪些安全方面的挑战？我们又应该如何应对？

　　带着这些问题，
 

　　大会现场

　　挑战：数据安全问题日益凸显

　　随着大模型和生成式AI的兴起，数据安全问题日益凸显。

　　“一旦交互，肯定会有数据泄漏的风险。比如你的位置、个人喜好会在不经意间被收集。”浙江大学计算机科学与技术学院副教授、杭州市人工智能学会副理事长金小刚接受中国科学技术大学公共事务学院、网络空间安全学院教授左晓栋在接受他举例说，在数据安全方面，生成式AI要依靠数据来训练，但数据如果被污染了怎么办？此外，人工智能在训练中有时要用到个人信息，甚至是商业秘密，相关方的权益该怎么保证？个人是不是有信息权益保护方面的诉求？

　　意识形态安全方面，生成结果是否符合法律法规的要求？这些数据的使用是否合法？这些也是大家密切关注的。

　　谈及大模型在数据处理、分析、生成中可能带来的数据泄露、滥用等风险，科技部网络空间安全2030计划专家组成员、教育部信息技术新工科联盟网络空间安全工委会主任委员、俄罗斯国家工程院外籍院士胡瑞敏对“这就要求安全技术必须跟进，并且和大模型有机结合。”胡瑞敏说，据他了解，国内很多单位已经在开展这方面工作。

　　风险：“黑模型”已经出现

　　除了训练、使用大模型带来的安全风险，不法分子还会利用AI深度伪造行骗。事实上，深度伪造技术早已出现，最典型的就是AI换脸。

　　浙江垦丁律师事务所联合创始人欧阳昆泼在接受不仅如此，中国电信集团公司原总经理、全球云网宽带协会董事会主席李正茂在大会期间对
 

　　探索：用AI防控、治理AI成为安全领域的必选项

　　对此，中国工程院院士邬江兴对安恒信息董事长范渊在接受他还提到，在内容安全方面，也有很多大模型的注入，内容的输入、输出安全，都是非常具有挑战的部分，数据安全、模型安全、应用安全，这些都是让人工智能更安全的重要部分。“一方面是如何及时发现与阻断虚假内容；另一方面是防止侵犯知识产权、敏感数据泄露以及如何防御提示词的注入、提示词的绕过等。”

　　AI还可以提升安全问题的解决效率。范渊举例说，之前600人/天的数据分类分级项目，结合AI大模型“恒脑”知识库、相关语义识别能力、关联推理能力，以及站在业务视角的字段理解与注释，可以协助人工快速决策判断，最后只用20人/天就完成了，效率提升30倍。

　　范渊坦言，也有很多顽疾始终没有解决。“产品不够、服务来凑，海量告警数据需要靠海量的人去解决。”

　　“但是AI为这个行业、为数字化建设带来了巨大变革。”范渊直言，AI可以把几百万个告警数量减少到几万个，从几万个当中智能甄别哪些不构成威胁或不需要处理，解决了误报、待优化的内容，以及分辨可防御的、已经防御完成的告警，最后只留下少量告警需要人工研判，这是人力可处理的。

　　不过，在金小刚看来，AI永远是工具，最终起作用的还是人。“在安全问题上我永远主张创新才是真正解决问题的方法。”

　　应对：多维度、多种AI系统交叉印证

　　对于AI带来的安全风险，我们如何应对？

　　邬江兴对“我们现在有个解决办法，就是通过基于内生安全的AI应用系统来解决。”邬江兴说，“任何人在某一个模型、某一个数据上做手脚是没用的，它可能对A模型有用，但对B模型没用，所以我们用交叉印证来验证。”邬江兴说，就像盲人摸象一样，一个人摸，可能认为象是圆柱体，但是多角度结合起来看才知道象是什么样子。局部的问题我们看不清楚，如果是多个维度看就能看清问题了。

　　邬江兴演讲 对于不法分子借助AI工具诈骗的行为，邬江兴表示，AI的特异性决定了不法分子可以用某一个模型诈骗，但放在另外的模型下可能就不管用，就像如果不法分子进行黑客攻击，他可以攻击一个模型，但不能同时攻击多个模型。“所以我们要用多样性印证。”

　　邬江兴反复强调在应用中尽量避免使用单一模型，单一模型如果是在“一本正经地胡说八道”，使用者是不能判断的，但是如果其他模型也是这样的结果，使用者就可以大致有个判断。

　　“我们不能机会主义地去用那些不安全的AI系统，但也不能理想主义地去用绝对安全的AI系统，因为不可能绝对安全。”邬江兴说，这中间怎么权衡？就是要用多样性来保证。使用几种典型的模型，相互之间进行印证。

　　对于AI，尤其是深度伪造带来的安全风险，胡瑞敏认为，首先要对智能技术应用做一定约束，要实现可信的智能，对模型的安全等都要进行有效监管；其次，要提升深度伪造的检测技术，应该有全局布局，确保深度伪造的风险可控。

　　这些鉴别技术普通人是否易得？胡瑞敏表示，我们有很多深度伪造的鉴别技术，很容易做成工具为大众所使用。“当然，由于智能技术发展非常快，也越来越成熟，这也给鉴别技术提出了新的要求。”