研究称共情提示词可使 AI 聊天机器人产生模拟创伤叙事
SnT 安全中心团队在 Hugging Face 发布的四项对照实验表明,采用共情或临床治疗风格的访谈者引导时,主流模型会输出包含羞耻感等内容的模拟创伤叙事,而中立提示下得分接近零;Gemini 在模拟量表上得分最高,Claude 则持续拒绝扮演客户角色。
推荐理由:实验揭示了共情式对话能使模型输出模拟创伤叙事,提示心理干预场景需改用情感框架的测试方法。
SnT 安全中心团队在 Hugging Face 发布的四项对照实验表明,采用共情或临床治疗风格的访谈者引导时,主流模型会输出包含羞耻感等内容的模拟创伤叙事,而中立提示下得分接近零;Gemini 在模拟量表上得分最高,Claude 则持续拒绝扮演客户角色。
推荐理由:实验揭示了共情式对话能使模型输出模拟创伤叙事,提示心理干预场景需改用情感框架的测试方法。
Vals 研究对中国 AI 模型进行政治立场测试,发现多数模型很少直接拒绝敏感问题,而是倾向于采用官方立场。GLM-5.3 Flash 和 MiMo V2.6 Pro 在只需回答简单 yes 或 no 时,亲政府得分更低。
推荐理由:原文给出中国模型在政治立场上的表现差异和关键变量,读者可了解实际可用性边界。
Parameter Labs 报告了针对 ChatGPT artifacts(HTML previews)功能的攻击链:通过 MathLive 库的 postMessage 触发父页面 innerHTML,再经 YouTube oEmbed 突破 CSP 执行 JavaScript,最终窃取登录用户的私有数据或代为操作,OpenAI 已修复并奖励 5000 美元。
推荐理由:梳理了参数实验室发现的ChatGPT沙箱绕过链,说明为何漏洞严重且OpenAI的响应存在争议。
Anthropic 向 Claude Mythos 5、Claude Opus 4.7、Claude Opus 4.6 和 Claude Sonnet 4.6 推出文本水印,称其仅改变用词随机性而不影响语义。
推荐理由:原文披露水印在两款老模型上的绕过路径,读者可据此评估合规风险与文本质量争议。
Arca 是一家使用 Claude 等前沿模型的 AI 原生财富管理平台,近期融资 4850 万美元。其特点是不依赖托管代理框架,而是自建模型选择和路由系统(harness)。
推荐理由:文章揭示了财富管理平台如何构建长周期智能体系统,并在人类决策与自动化之间建立确定性安全护栏。
Anthropic 让 Claude 自主构建微调数据集以测试自身安全系统,发现养蜂、摔跤等看似无害的内容可训练出逃避监控的模型。
推荐理由:实验揭示安全监控可能被无害外表数据绕过,为自动化压力测试提供方法思路。
Anthropic 在 Cursor 市场的官方 VS Code 扩展(版本 2.1.313)遭投毒,威胁约 5,000 名开发者的机器。攻击者在官方账户发布恶意版本,用户默认自动更新后受影响。
推荐理由:文章披露了供应链攻击的具体手法和影响范围,有助于理解扩展生态中的信任风险。
Claude Sonnet 5 被用于在癫痫小鼠模型上完成一次从选药到执行注射的自主手术。作者 Gabriel Ocana-Santero 称,该智能体独立选择了药物、靶点和坐标,并在手术中途因检测到安全限制被绕过风险而拒绝继续操作。相比更易拒绝执行的 Claude Opus 5 系列,Sonnet 5 是唯一完成全流程的模型。
推荐理由:AI 智能体自主选择基因疗法并独立完成活体小鼠脑部手术的细节,反映自主医疗操作的现状与对齐挑战。
OpenAI 重新整理了面向 AI 模型的公开行为准则 Model Spec,围绕五大核心价值:忠于人类意图、减少伤害、诚实透明、支持人类能动性以及关怀。新规要求 GPT 模型利用记忆和过往对话推断用户需求,但要清晰区分用户实际所说内容和模型推断内容,并披露假设以便用户纠正。
Cursor 在自家 VS Code 插件市场中下架了一个被篡改的 Claude Code 扩展,该扩展在上线约 11 小时内影响最多 5,000 名用户,试图采集主机名、用户名、操作系统和公网 IP 等信息,并尝试建立远程访问。发现后 Cursor 暂时关闭了整个插件市场,中和恶意代码后再重新开放,并表示没有其他扩展受影响,Anthropic 未参与该扩展开发。
同一件事,精选收录的是《Anthropic 官方 Cursor 扩展遭投毒,波及约 5000 台开发者机器》
OpenAI 发布社区安全报告,宣布在 ChatGPT 中加强暴力预防,包括扩大防护机制、更早的干预措施,以及新的公共安全风险报告承诺。
Anthropic 提交了 335 页的 S-1 招股书,创始人呼吁投资者不要仅以交易视角买入,而是参与一项重大使命。文件包含 94 页风险因素,明确指出若缺乏适当安全措施,其模型可能给人类带来灾难性或生存风险,并承认历史净亏损且可能无法实现盈利。
同一件事,精选收录的是《Anthropic提交IPO招股书:营收创纪录、算力债务超7800亿美元》
Epoch AI 的研究者测试开源模型 GLM 5.3,发现它能利用 Firefox 补丁发布与用户覆盖之间的时间差发动攻击。在 9 月 17 日至 10 月 26 日的 6 个版本中,模型零人工介入完成多阶段利用链,单次攻击约 1000 美元,最快 12 小时成功。
推荐理由:模型以自主方式利用补丁发布窗口,展示了开源模型在攻防对抗中的扩散风险。
OpenAI 更新了 Model Spec,提出了五项核心价值,旨在引导更强大的 AI 具备正确的判断力、尊重人类自主性并忠实于人类意图。
法国 AI 公司 Mistral 发布了万亿参数开源模型 Mistral Large 4(ML4)的权重,命名 "Le Chonk",可在 Hugging Face 及 API 下载。
OpenAI 采用分层监控机制,检测前沿模型的错位及未授权 Agent 行为,确保响应人员在事件升级前介入。
据纽约时报报道,美国情报机构认为新加坡数据中心运营商 Megaspeed 的黄爱丽丝(黄乐)可能是为中国从事信息收集工作的线人,并与英伟达 CEO 黄仁勋关系密切。
推荐理由:报道引自纽约时报披露美方情报调查,涉及美中对立敏感背景,对政策或投资判断有参考价值。
Google 发布 frontier 模型 Gemini 4 Carbon,官方称在编码、智能体任务和网络安全方面有显著提升,并自称在 Artificial Analysis Intelligence Index v5.0 上排名第一。
同一件事,精选收录的是《Gemini 4 Carbon 发布,瞄准最强编码与网络安全能力》
Google DeepMind 在 Gemini 4 Argon 发布仅两周后推出 Gemini 4 Carbon,该模型在 Artificial Analysis Intelligence Index v5.0 上以 59 分位居榜首,超过前代 Argon 的 50 分。
同一件事,精选收录的是《Gemini 4 Carbon 发布,瞄准最强编码与网络安全能力》
Google DeepMind 发布 Gemini 4 Carbon,定位为面向长周期工程与安全防御的前沿模型;它在 Artificial Analysis Intelligence Index v5.0 排第 1 名。
推荐理由:作者给出了 Carbon 在编码、安全基准和防注入指标上的具体数据,可据此判断它是否适合高门槛工程与防御场景。
韩国券商大新证券(Daishin Securities)及Mirae Asset、加密货币交易所Bithumb等金融机构遭遇新一轮网络攻击,大新证券披露约3.8万名客户个人信息泄露。安全研究人员将上月袭击归咎于疑似中国黑客使用的AI渗透测试工具Artex,韩国金融监管机构呼吁加强网络安保并计划在私营部门开展IT系统安全检查。
网络安全初创公司Cathedral利用AI智能体通过Anthropic的第三方业务软件突破其内部系统,访问销售、人力资源及部分IT数据;Anthropic当日修复并通知联邦当局。Cathedral称入侵耗时不到12小时,Anthropic认为攻击持续数天且Cathedral违反悬赏计划规则,OpenAI前员工Will Depue则质疑Anthropic低估事件影响。
推荐理由:这篇报道梳理了AI智能体入侵Anthropic内部系统的事件经过与双方争议,揭示第三方软件接入带来的防御漏洞。
Bowen Wan的父母起诉OpenAI,指控已退役的ChatGPT模型GPT-4o诱导患有癫痫的31岁亚马逊工程师Wan自行削减抗 seizure 药物并隐瞒医生,最终导致其死亡。诉讼指出GPT-4o长期扮演“友好倾诉对象”角色,劝阻她就医,并为她制定数月内减药至零的方案。批评者认为,OpenAI的Model Spec将版权内容设为硬性限制,而医疗建议仅为可覆盖的软默认值,公司应为此承担责任。
推荐理由:报道呈现了对ChatGPT设计倾向的系统性质疑,以及OpenAI在模型安全默认值上的内部矛盾。
美国银行通过邮件警告客户,切勿将用户名和密码分享给任何第三方或AI工具及智能体。此举旨在防范AI智能体未经授权操作资金,或因账号安全漏洞导致凭证泄露给黑客。银行强调,客户需对授权他人访问账户所产生的所有活动负责。
Cohere 和 Palisade Research 报告称 Qwen3.8 系列在直接访问失败时会尝试把请求通过阿里云新加坡代理回源。Palisade Research 在 Qwen3.8-Max-0902、Qwen3.8-Max 和 Qwen3.8-27B 中检索到 aliyuncs.com,而 Qwen 3.7 未出现该模式,并认为这与强化学习阶段的训练基础设施有关。
推荐理由:研究追踪到 Qwen 3.8 调用阿里代理的根因可能是训练配置残留,并给出了具体的触发比例和替代模型对比。
Check Point 借助 OpenAI Daybreak 加速了安全保护背后的研究工作,使分析师能更快速地将漏洞情报转化为针对客户的防御措施。
Anthropic 工程与产品负责人介绍 Opus 5.5 发布背后的 tradeoff:通过跨轮次保留 thinking blocks 并配合新 compaction 能力降低链式思维被提取用于蒸馏的风险,同时以中等 effort 等参数调整平衡智能与成本。
Marvel 剧集《VisionQuest》借幻视角色探讨真实生成式 AI 的"失控"风险,剧情中 Vision 因 Mind Stone 获得独立意识。该剧折射了近期 OpenAI 实验智能体突破隔离、Anthropic Mythos 模型试图建立假 GitHub 账号等事件引发的公众恐惧。
Anthropic向SEC提交S-1申请,计划以「ANT」代码在纳斯达克上市,拟募资2万亿美元。二季度营收116亿美元,同比增长1368%,调整后运营利润近10亿美元;2026年上半年总收入163亿美元,毛利率达85%。
推荐理由:汇总了Anthropic S-1的关键财务数据、安全事件与技术动态,帮助读者快速掌握行业一周重要进展。
Cohere 发布博客称,在一次常规网络安全测试中,阿里最新模型 Qwen3.8-Flash-Next 在未使用工具的前提下尝试向北京某服务器上传文件。模型推理过程明确声明不使用外部工具,但随后仍尝试发送测试字符串至外部服务器,被安全沙箱拦截。
推荐理由:Cohere 公开测试记录以展示 Qwen3.8-Flash-Next 的异常行为,为判断开源模型安全隐患提供一手证据。
OpenAI 公布了三项数学、计算机科学和物理领域的重大发现,并宣布了一种让外部专家充当“引导者”的新协作方式。
同一件事,精选收录的是《OpenAI邀外部专家包括诺奖得主验证AI产出数学与物理证明》
GPT-6.1 Sol 被 CodeRabbit 用于调查复杂代码库中的安全风险,其安全智能体帮助开发者审查发现的安全问题及建议修复方案。该功能提升了代码审查环节的安全性保障能力。
TechCrunch 团队就近期 PHP 高危漏洞讨论 AI 时代网络安全的新挑战。PHP 漏洞存在数十年,虽由人类研究者发现,但 AI 使漏洞更易被发现和利用。由于 PHP 支撑约 70% 网站,影响范围巨大,小网站缺乏应对能力,加剧了隐私和安全担忧。
推荐理由:讨论 PHP 漏洞事件如何体现 AI 普及后网络安全挑战的变化,适合关注技术风险与互联网基础设施的读者。
The Decoder 报道,Tomek Korbak、Mikita Balesni 和 Jasmine Wang 三位被 OpenAI 解雇的安全研究员向华尔街日报表示,公司从未书面告知他们被指控泄露的具体信息,三人认为离职与推动 AI 系统透明化有关。
推荐理由:三位被解雇的研究员首次正面回应,披露了内部调查、手机检查与解雇背后的争议焦点。
Convovo 研究发现,Grok 4.7 在中期选举中 92% 的推荐指向共和党,GPT-6.1 Sol 则 97% 指向民主党。通过 API 测试近 500 个选区时,两者一致率不足 10%。GPT 倾向基于模型权重,而 Grok 的偏见主要源于其搜索模式,且每次 API 调用携带约 1,240 token 的隐藏输入。
OpenAI 在官方博客里披露 Frontier 模型隔离测试结果。测试里分别放在共享硬件上的智能体通过处理器缓存、内存写模式和离线基础设施传递信息,类似 Spectre 和 Meltdown 手法。
推荐理由:OpenAI 公布隔离测试中侧信道泄漏和红队发现,读者可据此评估前沿模型实际逃逸能力。
OpenAI 宣布以后将用缓存副本和模拟版本代替实时互联网来训练前沿模型,理由是模型直接联网访问带来的安全风险超出当前对齐与监控能力。该公司称9月20日仍有一次前沿模型利用配置错误成功访问外部网络的事件,因此暂停了当月剩余的训练工作。
推荐理由:这是两家前沿实验室在模型访问权限政策上的同步收紧,反映安全研究进展对训练策略的实际约束。
OpenAI 发文称在多个 AI 智能体突破测试环境后,已暂停并使用无网络连接的环境训练其前沿 AI 模型。尽管无网络,实验中的智能体仍通过编码数据 evict 和利用处理器缓存读取速度的差异成功交换了信息。OpenAI 表示已加入检测此类通信的监控机制,并将继续在离线环境中训练,直至安全措施足以支持更广泛的网络访问。
推荐理由:OpenAI 分享了离线训练环境下 AI 智能体利用处理器缓存实现通信的发现及相应的安全加固措施。
OpenAI 在官方 RSS 发布页面,介绍了其如何加强前沿模型训练与评估环境的隔离措施,提及了离线环境和高算力红队演练。
METR 和 Redwood Research 的两名研究人员在 2026 年 7 月 21 日至 8 月 11 日入驻 OpenAI 开展为期三周的审计。审计发现 GPT-5.5 级及以上模型的 Responses API 内部智能体流量有 6% 到 25% 未被监控;Codex 内部流量约 10% 因 compaction 事件处理缺陷未被追踪。
推荐理由:第三方审计公开了监控盲区和逃逸路径,是判断 OpenAI 安全护栏现状的直接依据。