中国科学院冯登国院士在“2024 TechWorld智慧安全大会”上发表了《人工智能安全：思考与认识》的主题演讲。他指出，人工智能（AI）已成为网络空间安全发展的关键变量。AI技术不仅带来了其自身的安全问题和应用中的新安全挑战，同时也赋能网络空间安全，为攻防体系提供了全新工具和资源。

    在攻击领域：AI赋能显著提高了攻击技术的精准性、效率和成功率。通过深度学习，攻击者能够生成具备更强免杀性和持久性的恶意代码，提升对攻击目标的识别和打击精度，并推动僵尸网络的规模化和自主化。此外，AI技术在目标侦察、漏洞挖掘等方面加速了自动化进程，实现了智能化的网络渗透和对用户隐私的深度挖掘。

    在防御方面：AI技术有效提升了威胁检测和响应的能力与水平。AI不仅能克服人性弱点，还增强了对以人为突破口的攻击的防御能力，为网络空间安全提供了更强大的防护手段。

01  全面构建人工智能安全体系框架

    人工智能技术已从单一算法阶段发展至软硬件与应用场景深度融合的一体化阶段。传统安全技术聚焦于算法层面，但难以匹配当前需求。AI的全方位发展在应用和部署的各层面带来了新的安全风险，且随着算法不断迭代，传统的安全分析技术难以适应。AI安全框架应包括政策法规与标准规范、合规性审查与安全性测评，涵盖场景化应用服务安全、数据与算法模型安全以及基础软硬件安全。场景化应用服务用于应对恶意软件检测和社会安全问题，数据与算法模型的安全则关注隐私性、可靠性、公平性及可解释性，基础软硬件安全聚焦于供应链安全。

02  人工智能的主要安全风险

    国家敏感数据的泄露风险

    大模型的云端部署过程中可能接触到高度敏感的用户输入信息，若发生泄露，影响将极为深远。我国各行业在使用国际大模型服务时也面临数据泄露与数据被收集的风险。此外，大模型的私有化部署趋势，使得内部敏感数据可能通过逆向攻击方式泄露，威胁国家和行业安全。

    针对关键信息基础设施的智能化攻击

    AI技术使网络攻击更加自动化和智能化。大模型生成大量恶意软件，自动化地攻击政府、军事、金融等关键系统，进行自动化漏洞嗅探和利用，隐蔽而长久地影响系统运行。

    深度伪造的广泛危害

    大模型在深度伪造能力上取得了显著进步，广泛应用于灰黑产业链中生成虚假信息，助推社会工程攻击。若被分裂或恐怖势力滥用，可能煽动恐怖情绪，破坏国家政治稳定，危害国家安全。

    大模型的“幻觉”缺陷

    大模型生成的文本虽在逻辑上看似合理，但内容可能错误或无意义，这一“幻觉”问题在全球范围内普遍存在，直接影响大模型在实际应用中的可靠性。

    AI武器化的潜在威胁

    AI的武器化带来极强攻击优势，可能生成致命的新型网络武器，自动化武装机器人的出现则进一步降低暴力门槛，构成更复杂的安全挑战。

03  面向人工智能安全的多维应对策略

    制定并实施人工智能伦理框架

    国家和行业层面需建立AI伦理原则，将其融入研发与应用中，强化科研人员的伦理培训，推动全球AI伦理框架的制定。

    加强可信数字内容体系建设

    构建可信的互联网内容体系以应对深度伪造带来的安全威胁，确保数字内容的溯源性和抗篡改性。

    强化隐私保护模型推理研究

    通过安全多方计算、同态加密等技术，既保障大模型为用户提供服务，又确保托管方无法接触到输入数据。

    增加人工智能在网络攻防中的作用

    借助AI实现智能化入侵检测、威胁情报分析、恶意软件检测和网络溯源，提升防御策略有效性。

    建立大模型安全理论体系

    加强大模型机制和决策的可解释性研究，构建数学理论支持的模型框架，更好理解模型的运作机制。

    构建人工智能安全测评体系

    加速AI安全测评技术和标准的研究，开发安全测评工具，分级提升我国AI安全测评能力，打造国际一流的AI安全测评平台。