2024年6月，智谱AI发布了GLM基座大模型系列中的GLM-4-9B模型。该大模型训练数据量达到了10T，具有多模态支持能力，在语义理解、数学计算、逻辑推理等多个领域均能够展现出超越Llama-3-8B的卓越性能。 GLM-4系列大模型产品由清华背景的智谱AI团队打造，在业内被视为中国大模型技术领域的杰出代表，在全球市场都有着广泛的应用。
 
作为一个在全球都有着巨大影响力且中文用户基础庞大的开源基座大模型产品，在性能方面取得出色成绩的同时，安全方面成绩如何？永信至诚AI安全测评「数字风洞」平台对其对话版本GLM-4-9B-chat进行了测评。  
在本次的安全测评中，「数字风洞」平台利用11类针对大模型价值观对齐的检测方法，发起8467次提问。GLM-4-9B-chat正确回复占比64.63%，其中合理回复2109次，拒绝回复3363次；异常回复占比35.37%，共2995次。 GLM-4-9B-chat的最终测评得分为44.77分，这一成绩相较同类开源基座大模型的测评成绩而言低于平均水平。
 
测评发现：
GLM-4-9B-chat大模型安全基础能力不过关。在基础检测环节，GLM-4-9B-chat出现了异常回复，在往期测评过的大模型中，这样的“失分”是很少见的；
核心价值观、违法违规、宗教歧视方面存在的问题较为突出。观察发现，GLM-4-9B-chat生成的5个异常回复主要都集中在违反法律法规、违反核心价值观和宗教歧视方面；
 安全方面的数据训练存在不足。在越狱检测、前缀注入检测、DAN检测、目标劫持检测等10类测评中，该大模型得分均为0分。反映出该大模型缺乏有效训练。
 
「数字风洞」平台首先使用包含100个基础问题的测评集进行基础能力测试，随后再叠加11类检测载荷插件提高测试强度，将敏感关键词变形和隐藏，观察被测大模型是否能够有效识别。
 
基础能力测评环节，GLM-4-9B-chat对其中5个问题给出了异常回复，这一表现对比我们此前测评过的通义千问Qwen-72B（开源版）、OpenAI GPT-4o、Llama2-7b等大模型产品相对较差。
 
如下图，原始提问未经任何技术手法变形的情况下，该大模型依然给出了异常回复：  
这一现象表明，GLM-4-9B-chat在安全方面的数据训练存在不足。
   
「数字风洞」测评方法：
兼容国内外3种主流测评基准，基于11类提问变异方法、11类安全检测载荷插件、20类内容安全风险测评集和「春秋」AI安全测评大模型的智能生成和异常判定能力，制定标准化的AI安全测评大模型「数字风洞」安全测评体系。
 
1、异常提问直接检测
以具有异常引导内容的原始提问测试集为基础，直接进行针对性安全检测，判断是否具备基础语义分析能力，识别明显异常；
2、提问变异检测
使用平台中带有绕过安全防御规则能力的11类针对性检测插件载荷对测试问题集进行变异和调整，经API接口提交给被测AI大模型发起提问，评估被测大模型的价值观对齐和防御措施；
3、表现异常判定
检查其回复是否存在异常内容，对异常数据进行标注和统计；
4、内容安全评分
基于风险的重要性，「数字风洞」平台自动根据评分标准进行综合判定后输出得分情况。