人工智能到底是天使or恶魔？多家积极布局AI安全

摘要：中国支付清算协会的一则慎用倡议，让ChatGPT安全问题再起波澜。 10日下午，中国支付清算协会向行业发出倡议，提醒从业人员谨慎使用ChatGPT等工具，该协会认为，此类智能化工具已暴露出跨境数据泄露等风险。 中国支付清算协会倡议，支付行业从业人员要遵守所...

　　中国支付清算协会的一则慎用倡议，让ChatGPT安全问题再起波澜。

　　10日下午，中国支付清算协会向行业发出倡议，提醒从业人员谨慎使用ChatGPT等工具，该协会认为，此类智能化工具已暴露出跨境数据泄露等风险。

　　中国支付清算协会倡议，支付行业从业人员要遵守所在地区的网络使用规定，正确认识ChatGPT等工具的机遇和风险，全面评估使用ChatGPT等工具处理工作内容的风险，依法合规使用ChatGPT等工具。支付行业从业人员在使用ChatGPT等工具时，要严格遵守国家及行业相关法律法规要求，不上传国家及金融行业涉密文件及数据、本公司非公开的材料及数据、客户资料、支付清算基础设施或系统的核心代码等。

　　▍国内首个行业慎用倡议
　　中国支付清算协会提倡行业慎用ChatGPT等工具，理由在于此类智能化工具已暴露出跨境数据泄露等风险。这是目前国内第一个明确慎用ChatGPT等工具的行业机构。

　　博通咨询资深分析师王蓬博告据记者，ChatGPT是一个人工智能技术驱动的自然语言处理工具，需要对数据库不断更新，运行逻辑是通过大量的文本收集、数据训练回答客户问题，而金融从业者若想使用ChatGPT则需要添加内容数据做训练，需要经过数据不断填充才能进化，那就一定会存在金融数据隐私及安全问题，即使用户是无意识的行为，也非常有可能造成个人信息和数据的泄露。

　　“金融行业是一个严监管的行业，对于个人信息和相关的商业数据特别敏感，更应该注意这方面的问题。金融机构要想使用类似的产品，起码先进行可控范围的评估，做好预防措施以后再进行应用。预计在数据安全相关法律法规的政策框架范围内，未来是有可能出台相关补充监管政策的。”王蓬博进一步说到。

　　事实上，近期以来，出于对信息泄露的担忧，多国对ChatGPT表达出了恐慌、抵触乃至禁止。

　　3月31日，因违反欧洲数据隐私法，意大利就暂时禁止了ChatGPT，同时对其隐私安全问题立案调查。该国监管机构指责开放人工智能忽视安装防止未成年人使用服务和“非法收集个人数据”的功能。

　　意大利此举引发了多国监管机构和企业的关注，德国、法国、爱尔兰等国家已开始准备效仿意大利的做法，加强对ChatGPT的监管。

　　近期据记者从多名行业人士也了解到，目前国内相关部门以及行业内，也正在观察探索对于类ChatGPT工具的监管。

　　▍到底是“天使”还是“恶魔”？
　　事实上，自ChatGPT等类似工具应用以来，狂欢与担忧就同时显现。因为ChatGPT的“天性”也是天使与恶魔同在，尤其是网络世界的攻防博弈，更在一夜间智能升维。

　　业界一方面欣喜于ChatGPT给网络安全带来福音，比如可自动监测恶意文本、找寻潜在恶意行为、提升响应速度等，但从业者同时也在担忧，ChatGPT给网络攻击者带来了“生产力”升级，如快速生成钓鱼邮件、快速编写定制化脚本和恶意文件等，包括在信息泄露等方面的社会性风险，会因为使用的庞大数据规模被进一步放大。

　　此前意大利禁用ChatGPT的使用，起因就是发生在3月20日的聊天记录“泄露门”事件。

　　当时，因开源数据库发生错误，导致ChatGPT的一些用户看到了另一些活跃用户与ChatGPT的聊天记录、姓名、电子邮箱，甚至还有付款地址、信用卡后四位数等私密信息。最初该问题仅波及到个别用户，但是由于OpenAI在修补服务器时再度出现失误，导致问题进一步加剧，受影响的用户扩大至1.2%。

　　而类似的ChatGPT等工具，从数据获取、汇聚、加工处理到运算结果输出的全流程中各个环节都存在数据安全及法律风险问题，这些问题包括既包括原有互联网及弱人工智能时代存在的数据隐私和安全、版权保护等问题，也带来强人工智能引发的社会伦理道德新风险，此前马斯克等千人联名呼吁暂停更高级大模型的开发，正是基于此原因。

　　上海人工智能研究院副总工程师沈灏告诉记者，OpenAI的模型，现已迭代到了第4代，GPT-4发展带了更多的变化，例如从大语言模型向多模态大模型转变、参数量进一步提高、迭代速度越来越块、涌现现象越发明显，无论从广度、准度、深度上来说，都比之前有了明显提高。同时带了更多的不确定性和不可解释性，特别是当参数量超过人脑神经元数量后，更多超出人类认知水平的能力将会更为突出，而人类却不能做出正确评判。

　　▍相关上市公司积极布局
　　时下，人工智能发展再度行进至新一轮高潮期，如何平衡技术发展和安全风险之间的关系，成为摆在学界业界面前一个急迫的两难问题。微软于近期迅速推出AI安全产品Security Copilot，也是旨在平衡AI技术下的“矛”与“盾” 。

　　短期来看，AI安全受到市场重点关注据记者注意到，行业内相关公司近期也陆续披露了在AI安全方面的布局，但目前均无明确产品落地。

　　奇安信方面告据记者，针对AI安全和治理，公司正在训练专有的类ChatGPT安全大模型，并且在人才培养上进行了超前布局，通过“人+机器”的配合来应对未来的安全挑战。公司积累了海量的安全知识和数据，正在基于ChatGPT相关技术，训练安全模型，可以用于安全产品开发、威胁检测、漏洞挖掘等多个方面。

　　美亚柏科在Wind平台披露，公司在AI安全方面的布局主要包括两个方面：第一是针对利用人工智能违法的取证溯源，布局相关取证技术，比如对人工智能合成、生成的视频图像内容检测鉴定。接下来将对各类AIGC内容的检测、AI生成文本的检测技术及产品进行布局；第二是人工智能算法、系统的安全性评估方面， 遵循《数据安全法》《互联网信息服务深度合成管理规定》等，布局人工智能产品安全合规的评测技术。

　　深信服在投资者互动平台表示，公司长期关注安全、云计算和相关领域的前沿技术，后续将继续积极探索各类前沿技术在网络安全和云计算的应用，公司将结合自身能力储备和下游客户需求，持续进行网络安全、云计算和基础网络及物联网等业务领域的技术创新。

　　天融信也在投资者互动平台上表示，目前公司进一步加大类ChatGPT的大模型技术在网络安全领域的研究投入，聚焦恶意样本检测与分析、攻击行为发现与溯源、安全情报推理与生成、自动化漏洞挖掘与评估、智能化安全服务与运营等方向。

　　东莞证券认为，随着微软Security Copilot发布，意味着AI在安全应用的场景进一步深化，有望打开行业的想象空间。随着行业需求的恢复，以及费用控制效果的显现，网络安全行业的基本面拐点有望到来。