Lecture 25: 真相、信任与技术(Truth, Trust, and Technology)
Lecture 25: 真相、信任与技术(Truth, Trust, and Technology)
概述
本讲把 Lecture 12 的信任框架应用到现代社会的信息生态:为什么不同群体对同一事实有截然相反的信念?技术(社交媒体算法、生成式 AI、深度伪造)如何放大过度信任与不值得信任?我们学习确认偏误、算法注意力经济、AI 幻觉与”认知信任的崩塌”,并讨论”如何选择值得信任的信息来源”。
核心概念与系统机制图解
大规模错位信任
- 公式:(我所相信的) ≫ (我所感知的)——个人没有资源独立验证一切,必须选择信任他人的结论。
- 不同群体信任不同的信息来源 → 其中必有一些是不值得信任的。
- 为什么大规模过度信任?
- 判断谁值得信任很难;
- 有缺陷的推断技术:
- 确认偏误(Confirmation Bias):”我信任它因为它印证了我的信念”;
- 虚假的数字信任(False trust in numbers):”那么多人说,肯定是真的”。
案例 1:社交媒体算法
- 机制:注意力 = 金钱 → 强化偏见与恐惧能增加注意力(用户对相反观点没兴趣)→ 用户看到大量印证自己信念的内容 → 平台从你的确认偏误中获利。
- 伤害:选举期间党派内容失衡;法院认定算法导致焦虑、抑郁、躯体畸形焦虑与自杀意念。
- 要点:点赞/互动/转发 ≠ 真相;”算法推给我” ≠ “编辑选择”;不是所有注意力都值得优化。
案例 2:生成式 AI(ChatGPT、Claude 等)
- 为什么人们信任它:权威语气 + 详细解释 + 大量具体”事实” + 即使错了也自信满满。
- 现实:AI 会幻觉(hallucinate),尤其在不预测、无预警地出错时,对事实准确性不可靠;事实核查责任落在用户身上;AI 藏在应用里让人忘记信息来源;一次幻觉能扩散成”多个独立来源”的假象。
- 要点:不经验证不要信任生成式 AI 的”真相”;把输出当”待验证的假设”;所有结果必须独立验证(替代 substitution)。
案例 3:深度伪造与合成媒体
- 历史上,照片/视频/音频很难伪造,人们有理由推断信任它们;新技术让令人信服的伪造成为可能。
- 危害不仅是”假被当真”,更是整个认知信任的崩塌:人们不再相信任何证据能可靠地告诉我们真相(”一个不再相信任何东西的民族无法自己做决定”——Hannah Arendt)。
- 机会:更好的内容标记、有效的检测、支持可信机构、保护个人免受语音/形象克隆。
结论
- 信任是社会分裂的核心;决定信谁越来越难。
- 过度信任与不值得信任都是大问题;确认偏误极难避免。
- 技术放大两者:不值得信任的来源显得更可信;我们过度信任熟悉或方便的来源。
- 最佳希望:有长期可信记录的制度化机构——但人们会信任它们吗?
代码示例与系统调用解说
示例:用”替代”原则给 AI 输出加验证(思想实验的代码形态)
// 演示"用替代(substitution)验证 AI 输出"的工程模式
// 真实系统里: 交叉验证、引用溯源、事实库核对、人工复核
#include <string>
#include <iostream>
struct AIOutput {
std::string claim;
std::vector<std::string> sources; // 可核实的来源
};
bool verifyAgainstPrimarySource(const AIOutput& out) {
// 用权威来源/原文交叉核对关键论断(替代: 备用可信系统兜底)
return crossCheck(out.claim, out.sources);
}
int main() {
AIOutput answer = askLLM("CS111 midterm 时间?");
if (!verifyAgainstPrimarySource(answer)) {
std::cout << "未验证, 拒绝采用\n"; // 不可验证 = 不可信
}
}
【代码做了什么?】 把 AI 输出当作”假设”,强制用可核实的来源交叉验证后才采纳。
【系统机制透视】
- 这正是 Lecture 12 的替代(substitution)机制:不把信任全部押在单一系统上,而是引入”后备验证系统”;后备系统自身也必须是可信的(权威来源、可审计)。
- 从 OS 的角度看,这与”日志 + 一致性检查 + 冗余”建立软件信任是同一模式——只是应用领域从系统正确性扩展到信息真实性。
关键要点
- 大规模错位信任源于”个人无法独立验证 + 有缺陷的推断(确认偏误、数字崇拜)”。
- 社交媒体算法把注意力变现,系统性放大确认偏误——互动量 ≠ 真相。
- 生成式 AI 以权威姿态输出幻觉,且”一次幻觉可伪装成多个来源”——必须独立验证。
- 深度伪造威胁的不是单条证据,而是整个认知信任体系(Hannah Arendt 之问)。
- 对抗策略:以制度化可信机构为锚、内容标记、检测技术、支持独立核实。
常见陷阱与注意事项
- 把流畅度当正确性:AI 说得越自信、越详细,越需要警惕。
- 把”很多人转发”当证据:虚假信息可以批量复制传播。
- 只订阅强化自己信念的信息源:确认偏误的自我强化循环。
- 对”看起来正常”的系统停止审视:过度信任的系统性来源。
思考题
- 问题:为什么说”算法向你展示了它”不等于”编辑选择了它”?
- 答案:算法的目标是最大化注意力(留存与广告收入),会优先推送最强化你既有信念的内容;编辑选择承担了事实把关责任,而算法不做真伪判断——两者在”可信度”上完全不同。
- 问题:用信任的三种建立方式分析”如何对待 AI 生成的事实性回答”。
- 答案:假设(直接信)不可接受;推断(它过去答对过)太弱;正确做法是替代——用独立权威来源交叉验证,把 AI 输出当作待验证假设,验证链本身要可信。
