Blog 玻璃小屋.cn/ 懒人博客;随缘更新. Thu, 02 Jul 2026 03:55:51 GMT https://validator.w3.org/feed/docs/rss2.html https://github.com/jpmonette/feed zh-CN All rights reserved 2026, 海鸥旅人 <![CDATA[多模态大模型是怎么看懂图片、视频和音频的？]]> 玻璃小屋.cn/article/how-multimodal-llm-sees 玻璃小屋.cn/article/how-multimodal-llm-sees Fri, 26 Jun 2026 00:00:00 GMT
💡
写作假设：你了解 ChatGPT/大语言模型是什么，但好奇它们怎么"看"图片和视频、"听"声音。读完你会理解多模态模型的核心架构和训练逻辑，不需要 AI 论文基础。

一句话结论

🔑
多模态大模型 = 专用编码器（把图片/视频/音频变成数字信号） + 连接器（把信号"翻译"到语言空间） + 大语言模型（推理和生成）

一、引言：从纯文本到"看懂世界"

2023 年 GPT-4V 发布的时候，最让开发者兴奋的不是它文字能力提升了多少，而是——你可以给它发一张图。
比如你拍了个冰箱内部的照片，问它"今晚能做什么菜？"它真的能看懂每样食材。这在这之前的大模型里是不可能的——以前的模型只能读文字，你得像写作文一样描述"冰箱里有三个鸡蛋、半棵白菜、一块豆腐"。
问题是，你描述得再详细，也比不上直接给一张照片。 这句大白话，背后其实是一个严肃的学术命题：
一张图片承载的信息量，远超一段自然语言描述能表达的内容。
这句话正是 DeepSeek-VL 论文（arXiv:2403.05525）开篇的核心论点。论文指出，真实世界的场景中——网页截图、PDF 排版、表格、公式、逻辑图——这些复杂信息如果用文字描述，要么丢失大量细节，要么描述本身就比图片还长。而视觉输入可以直接、完整地传达所有信息。
咱们接下来就一层层拆解：多模态大模型到底是怎么做到的。
什么是「多模态」？
"模态"（Modality）就是信息的形式。文本是一种模态、图片是一种模态、视频和音频也是。多模态 = 能同时处理多种信息形式。就像人类用眼睛看画面、用耳朵听声音、用语言表达——多模态模型也在模仿这种能力。

二、核心架构：LLM 怎么"看得见"？

多模态大模型的核心结构其实很简单，可以用一句话概括：
给大语言模型（LLM）装上一个"眼睛"和一个"翻译器"。
它的整体架构分为三层：
  1. 🟢 感知层（编码器）：把图片、视频帧、音频波形转成数字特征向量
  1. 🔵 翻译层（连接器）：把视觉/音频特征"翻译"成 LLM 能理解的 embedding
  1. 🟣 推理层（LLM）：像处理文字一样处理这些视觉 token，回答问题
多模态大模型三段式架构图
多模态大模型三段式架构图
💡
关键洞察：LLM 本身不需要"长眼睛"。它只认识 token（数字序列）。视觉编码器把图片变成数字，连接器确保这些数字的"语言"LLM 能看懂。就这么简单。
现有的主流架构可以分为四类（后面第6章展开对比）。

三、图像理解：从像素到 token

图片是怎么变成 LLM 能理解的东西的？我们一步步看。

3.1 切块编码（Patchify + ViT）

一张 224×224 像素的图片，首先被切成一个个 16×16 的小方块（patch），一共 14×14=196 个 patch。每个 patch 展平成一串数字（768 维向量），然后加上位置信息（告诉模型这个 patch 在图片的哪个位置）。
什么是「ViT（Vision Transformer）」？
ViT 就是"视觉版的 Transformer"。它像处理文字一样处理图片——文字是切分成 token，ViT 把图片切分成 patch（方块），然后用同样的自注意力机制来理解 patch 之间的关系。2020 年 Google 提出后迅速取代了传统的 CNN 架构。
这些 patch 序列通过 ViT 的 Transformer 层，经过自注意力（self-attention）计算每个 patch 跟其他 patch 的关系。比如一张狗的照片，高层的注意力权重会集中在狗脸的 patch 上，忽略背景的 patch。
ViT 图像切patch → token 示意图
ViT 图像切patch → token 示意图

3.2 对齐：为什么 ViT 懂"语义"？

光有 ViT 还不够——它的输出是一堆数字，怎么确保这些数字对应的是"狗"、"树"、"桌子"这些语义概念？
答案是 CLIP（Contrastive Language-Image Pre-training）。CLIP 在 4 亿张图文对上训练，用对比学习让图片的特征和对应的文字描述在向量空间中"靠在一起"，不相关的内容"推开"。训练完成后，ViT 编码器输出的向量就有了语义含义。
什么是「对比学习」？
想象你有一堆照片和对应的文字描述。训练时，模型要做的就是把"正确的配对"拉近（照片A和它的文字描述A），把"错误的配对"推远（照片A和文字描述B）。这样一来，模型学会了什么图片特征对应什么语义。

3.3 DeepSeek-VL 的高清策略

一般的 ViT 只能处理 384×384 大小的图片。真实世界的截图、PDF 通常远高于这个分辨率。DeepSeek-VL 提出了一个巧妙的方案：
  • 混合视觉编码器（Hybrid Vision Encoder）：一个 384×384 的编码器提取"粗语义"，一个 1024×1024 的高分辨率编码器提取"精细特征"
  • 两者融合后，一张大图压缩成 仅 576 个 token，既保留了丰富的视觉信息，又把计算量控制在合理范围。
📝
其他模型的高清策略：LLaVA-NeXT 用 AnyRes 网格，DeepSeek-VL2 用动态平铺（dynamic tiling）。思路相似，实现不同。

四、视频理解：让模型"看连续画面"

视频不是静态的——每秒 24-30 帧，有运动、有剧情、有变化。模型怎么理解？

4.1 核心思路：帧采样

把视频当作"一组连续图片"来处理：
  1. 帧采样：从视频中均匀抽取 N 帧（常见 8 帧或 32 帧）
  1. 每帧通过视觉编码器：共享同一个 ViT 权重，参数不增加
  1. 时空位置编码：把帧序号加入 token，告诉模型"这是第几秒的画面"
  1. 帧间时序建模：用 3D 卷积或时间注意力捕捉帧与帧之间的变化

4.2 Video-LLaVA 的神奇发现

Video-LLaVA（arXiv:2311.10122）有一个惊人的发现：只用图像数据训练的视频 LMM，也能理解视频——零样本迁移。也就是说，模型只在单张图片上训练过，但给连续帧序列时，它自动学会了理解动作变化。
原因是：LLM 本身学过足够的时序推理能力（语言本身就是时序的），加上正确的空间位置编码，从静态帧推理动态变化就水到渠成了。
什么是「零样本迁移」？
模型在没有专门训练某项任务的情况下，就能完成任务。Video-LLaVA 没在视频数据上训练过，但给它看视频帧序列，它能回答"这个人正在做什么"——这就是零样本能力。

4.3 视频的 token 消耗

每帧产生约 256 个 visual token，8 帧视频就是 2048 个 token——已经相当可观了。这也是为什么很多视频模型选择"稀疏采样"（每秒只取 1-2 帧）而不是密集采样。

五、音频理解：听声、听歌、听语气

音频的挑战和图像不同：它是一维时序信号（声波随时间变化），不像图片那样有明确的空间结构。
目前有两种主流路径：

路径 A：语音转文字（ASR First）

这个路径简单高效，适合"语音对话"场景。但缺点很明显——丢失了所有非语言信息：背景的狗叫声、说话人的情绪语气、音乐节奏等等。

路径 B：原生音频编码（Audio Native）

这是 Gemini 的做法。音频先经过短时傅里叶变换（STFT）变成声谱图——一张"时间的频率变化图"，然后让 ViT 或专门的音频 Transformer（AST、CLAP、BEATs）来处理。
什么是「声谱图（Spectrogram）」？
把声音的波形转换成一幅图：横轴是时间、纵轴是频率、颜色深浅代表音量大小。这样一来，声音就变成了"图像"，可以用同样的视觉模型来理解。狗叫是一块黄色斑块、钢琴声是一排横线。这就是"跨模态"的巧妙之处。
CLAP 是 CLIP 的音频版——用对比学习对齐音频和文字描述，让模型学会"狗叫的声音"≈"a dog barking"的文本。
Gemini 的突破：它把音频编码为 32kHz 采样率的"音频 token"序列，和文本 token 混在一起训练，所以它能理解非语言声音——背景的钟声、笑声、汽车鸣笛声。

六、跨模态对齐：让视觉和语言"说同一种话"

视觉编码器输出的是视觉特征，LLM 输入的是文字 embedding——它们的"语言"不同。连接器（Connector）的任务就是当翻译。
现有的对齐方式有三大流派：
三种跨模态对齐方案对比
三种跨模态对齐方案对比

6.1 简单映射（MLP Projector）— LLaVA 方案

用 1-2 层 MLP 把视觉特征直接映射到 LLM 的 embedding 空间。
视觉特征（4096维）→ MLP → 语言空间（4096维）
✅ 简单、高效、参数量少
❌ 表达能力有限，视觉信息可能丢失

6.2 Query Transformer（Q-Former）— BLIP-2 / InstructBLIP 方案

用一组可学习的 query token，通过交叉注意力从视觉特征中"选择性提取"有用信息。
✅ 信息压缩率高（256→32），筛选能力强
❌ 结构复杂，训练成本更高

6.3 交叉注意力注入（Cross-Attention）— Flamingo 方案

在 LLM 的每一层之间插入 GATED XATTN-DENSE 模块，让 LLM 在推理时"额外看一眼"视觉特征。
✅ 视觉信息直接参与推理，不信息损失
❌ 计算量大（每层都要交叉注意力）
💡
三者的本质区别：MLP 是"硬翻译"，Q-Former 是"先筛选再翻译"，Cross-Attention 是"边推理边查阅"。

七、训练三部曲：对齐→微调→RLHF

多模态模型不是一次性训练出来的。以 LLaVA 为代表，标准流程分三个阶段：

阶段一：模态对齐预训练

  • 目标：让连接器学会"翻译"视觉特征到语言空间
  • 数据：图文对（CC3M / LAION），约 558K 条
  • 训练：冻结视觉编码器 + 冻结 LLM，只训练连接器
  • 损失：语言建模（next token prediction）
输入：<image>\nA dog sitting on a chair.
输出：模型预测下一 token，推动连接器把视觉特征映射到正确的语言 token 分布。

阶段二：视觉指令微调

  • 目标：让模型学会跟随多模态指令（问答、描述、推理）
  • 数据：LLaVA-665K（GPT-4 从 COCO 图像生成）+ 学术 VQA
  • 训练：冻结视觉编码器，联合训练连接器 + LLM
  • 关键：DeepSeek-VL 在这个阶段发现，至少要保留 70% 的纯文本数据，否则语言能力会退化

阶段三：RLHF / DPO（可选）

  • 目标：减少幻觉，提高事实性
  • 方法：RLHF 或 DPO（直接偏好优化）
  • 效果：模型学会说"我不知道"而不是瞎编
⚠️
关键教训：很多开源模型只做阶段二（指令微调），不做阶段一（预训练对齐），导致模型虽然能在 benchmark 上刷分，但真实场景中理解图片的"世界知识"很薄弱。DeepSeek-VL 论文特别强调了预训练的重要性。

八、主流多模态模型一表对比

模型
编码器
连接器
底座 LLM
多模态
发布时间
GPT-4V/o
未公开
未公开
GPT-4
图像+推理
2023
Gemini
原生多模态
无（统一编码）
Gemini
图像+视频+音频+文本
2023
Claude 3.5 Vision
未公开
未公开
Claude 3
图像
2024
DeepSeek-VL
混合 ViT (384+1024)
连接器
DeepSeek-LLM
图像+表格+OCR
2024.03
DeepSeek-VL2
动态平铺+MoE
连接器
DeepSeekMoE
图像+表格+图表+定位
2024.12
LLaVA 1.5
CLIP ViT-L/336
2层 MLP
Vicuna-13B
图像
2023.10
Qwen-VL
ViT-bigG
Resampler
Qwen-7B/72B
图像+定位
2023.08
InstructBLIP
ViT-g (EVA)
Q-Former
FLAN-T5
图像+指令
2023.05
Flamingo
NFNet-F6
Perceiver
Chinchilla
图像+视频+交错
2022.11
Llama 3.2 Vision
SigLIP
Cross-attn
Llama 3
图像
2024.09

九、总结

一张表回顾核心要点：
要理解的概念
一句话解释
关键论文
为什么需要视觉
图片信息量远超文字描述
DeepSeek-VL
图片怎么编码
ViT 切成 patch + CLIP 对齐语义
CLIP
视频怎么理解
帧采样 + 时序位置编码
Video-LLaVA
音频怎么理解
频谱图→视觉模型 或 ASR 转文字
Gemini
跨模态对齐
MLP/Q-Former/Cross-Attn 三种方案
Flamingo
训练方法论
对齐→微调→RLHF 三阶段
LLaVA
🚀
下一步可以学的：
  • 想动手？去 HuggingFace 下 LLaVA 或 DeepSeek-VL2 的模型权重跑跑
  • 想深入？读 LLaVA 论文（最易懂的多模态入门论文）
  • 想实战？用 OpenAI GPT-4o 或 Gemini 的 API 体验多模态对话

延伸阅读与参考资料

<bookmark url="https://arxiv.org/abs/2403.05525" />
<bookmark url="https://arxiv.org/abs/2304.08485" />
<bookmark url="https://arxiv.org/abs/2103.00020" />
<bookmark url="https://arxiv.org/abs/2204.14198" />
<bookmark url="https://arxiv.org/abs/2311.10122" />
<bookmark url="https://arxiv.org/abs/2312.11805" />
<bookmark url="https://github.com/haotian-liu/LLaVA" />
<bookmark url="https://github.com/deepseek-ai/DeepSeek-VL" />
 
]]> <![CDATA[AI Agent 记忆系统架构：2026年全景解读]]> 玻璃小屋.cn/article/ai-agent-memory-architecture-2026 玻璃小屋.cn/article/ai-agent-memory-architecture-2026 Mon, 22 Jun 2026 00:00:00 GMT

一、为什么需要给AI装记忆？

你有没有遇到过这种情况——和一个 AI 助手聊了半小时，它突然问你「你的名字是什么？」明明十分钟前刚说过。
这不是 AI 笨，是上下文窗口的物理限制。

上下文窗口不是什么「记忆」

大语言模型的工作方式是：每次对话，把所有内容塞进一个固定大小的上下文窗口里。
  • GPT-3（2020）：2K tokens
  • GPT-4（2023）：32K tokens
  • Claude 2（2023）：100K tokens
  • Gemini 1.5 Pro（2024）：1M tokens
🤔
类比一下：你的办公桌（上下文窗口）可以放很多文件，但下班后桌子被清空。记忆是你的书架——下班了书还在上面。
notion image

为什么不能全靠扩大窗口？

三个原因：
  • 计算成本爆炸。Transformer 自注意力是 O(N²)——窗口每扩大一倍，算力翻四倍。
  • 「Lost in the Middle」。模型倾向记住开头和结尾，中间丢失。
什么是「Lost in the Middle」？
LLM 在处理超长文本时，对开头和结尾的内容记忆最好，中间部分容易被「淹没」。这是因为自注意力机制中，中间的 tokens 同时受到前后信息的干扰，信号最弱。
举例：读一本 300 页的书，你最容易记住前 10 页和后 10 页，中间 280 页的内容可能只记得零星片段。大模型处理长上下文时也是类似的。
这也是为什么即使上下文窗口扩大到 1M tokens，依然需要外部记忆系统——窗口大了，但中间部分还是容易丢失。
  • 跨会话记忆。窗口在每次新对话时重置。上周的项目、用户偏好——全部归零。

二、三种记忆，三种角色

2026年的 Agent 记忆架构已经收敛到共识模式：三层记忆架构，对应人类认知中的情景、语义和程序记忆。

情景记忆（Episodic）— 发生了什么

记录「什么时间、什么地点、发生了什么」。每轮对话的结构化日志，按 (租户, 用户, 会话, 轮次) 索引存储在事务型数据库中。

语义记忆（Semantic）— 我知道了什么

从情景记忆提炼出的事实、实体、关系。跨会话持久化——无论开多少次新窗口，Agent 都应记得用户信息。
  • 用户偏好：如「用户用微信支付」（数月到永久）
  • 实体关系：如「用户在研发部」（永久）
  • 领域知识：如「API 限速 100 req/min」（随版本更新）

程序记忆（Procedural）— 我会做什么

Agent 学会的操作流程、技能、工具用法。每一次成功执行强化技能，每一次失败是修正的机会。
💡
三个记忆层必须物理分离、schema 独立、可单独寻址，才能避免数据混在一起的问题。
📊
三层架构一图流：情景记忆（发生了什么）+ 语义记忆（我知道了什么）+ 程序记忆（我会做什么）。每个层有独立的读写路径、生命周期和存储后端，通过巩固管道连接。
notion image

三、Write-Manage-Read：记忆的生命周期

notion image
2026年综合综述（arXiv:2603.07670）将 Agent 记忆形式化为 Write-Manage-Read 循环，嵌入 POMDP 框架：
什么是「POMDP」？
POMDP（Partially Observable Markov Decision Process）是描述 Agent 在不完全信息环境中决策的数学模型。
用大白话说：Agent 看不到世界的全部信息（就像你闭着眼睛走路），只能靠过去的观察和记忆来推断当前状态。记忆就是 Agent 对「世界现在是什么样」的信念。
把 Agent 记忆形式化为 POMDP 的好处是：有了理论框架来讨论「什么该记、什么该忘、如何检索」，而不是凭经验拍脑袋设计。
记忆不是一堆文字的快照，而是 Agent 在不完全信息世界中的信念状态。

编码（Write）— 每轮写入

每轮对话结束时，Agent 将结构化事件写入情景存储，包含租户、会话、轮次、角色、内容、工具调用等字段。写是同步的——写入不成功则本轮不算完成。

巩固（Consolidation）— 异步提炼

巩固是连接三层记忆的管道，每 N 轮或 N 分钟异步运行一次：
  • 事实提取：从最近事件中提取实体和关系 → 写入语义存储
  • 工作流检测：识别重复成功的任务序列 → 提升为程序记忆
  • 摘要压缩：旧事件压缩为会话摘要（原始数据保留审计）
  • 遗忘与衰减：过期事实降低权重、失效工作流降级
⚠️
语义和程序记忆只能通过巩固管道写入，对话循环中禁止直接写入。这确保所有事实都有溯源链。

检索（Read）— 混合读取

每轮开始前检索三层：最近 N 轮情景 + Top-K 语义 + Top-M 工作流。结果包有硬上限（如 8+12+4），超出部分丢弃并记录日志。

四、2026年最值得关注的两个记忆系统

Mem0：多信号检索的标杆

Mem0（48K GitHub Stars）是当前最成熟的开源 Agent 记忆层。
什么是「多信号检索」？
传统检索只用向量相似度（embedding），Mem0 跑三个并行评分通道后融合：语义匹配（主要）+ BM25关键词匹配（补充）+ 实体识别（补充）。三路融合比单语义搜索高出约 16 分。
基准成绩（2026年5月官方数据）：
  • LoCoMo：92.5（每轮 ~7,000 tokens）
  • LongMemEval：94.4（每轮 ~6,800 tokens）
  • BEAM 1M：64.1 / BEAM 10M：48.6
对比：全上下文方案每轮消耗 25,000+ tokens。Mem0 在 3-4x 更低的 token 成本下达到同等或更高准确率。
notion image

Engram：双时间模型的突破

Engram（arXiv:2606.09900, 2026年6月）是由 Liuyin Wang 提出的开源双过程记忆引擎。
什么是「双时间数据模型」？
记录每个事实的「有效时间」（事实真实发生时间）和「事务时间」（系统记录时间）。旧版本标记为已替代但不删除——保证完整溯源链。
更少的上下文，更高的准确率：
  • Engram（精简检索）：83.6%（~9.6K tokens）
  • 全上下文基线：73.2%（~79K tokens，8x 更多）
  • 差值：+10.4 分 ⭐
⭐
Engram 用约 1/8 的 token 量反而高出 10.4 分。关键在混合读取路径：稠密向量 + 词汇匹配 + 图遍历 + 近因信号。
notion image

五、Agent 记忆的安全与挑战

记忆中毒（Memory Poisoning）

什么是「记忆中毒（Memory Poisoning）」？
记忆中毒是一种针对 AI Agent 长期记忆系统的攻击。攻击者通过间接提示注入，在 Agent 读取网页或文件时，将恶意内容嵌入 Agent 的记忆存储中。
危害在哪？Agent 中毒后，每次回想都可能输出攻击者想要的结果——比如推荐特定产品、泄露隐私、或拒绝执行本该执行的命令。因为是记忆层被污染，影响是跨会话、持续性的。
形象地说：这像有人在图书馆的书里偷偷替换了几页。你每次借这本书读到的都是被改过的版本，但你自己完全不知道。
MINJA 攻击（2025）通过间接提示注入在 Agent 记忆中植入恶意内容：
  • 95% 注射成功率
  • 70% 攻击成功率
  • LLM 检测漏掉 66% 的中毒条目
⚠️
典型场景：用户让 Agent 搜索网页信息，页面中被植入了隐藏恶意指令。Agent 读取后将其写入记忆——LLM 逐条看都觉得无害（漏掉 66% 的原因），但多条叠加就形成完整攻击链。防御需要写入过滤 + 审计 + 定期异常检测三层。
notion image

遗忘权（Right to be Forgotten）

GDPR、DPDP 等法规要求用户有权删除自己的数据。需要三层记忆级联删除，单 API 调用应在几百毫秒内完成。

开放挑战

  • 记忆管理：多数系统「写」「读」不错，但中间的巩固/管理环节被严重忽视。不加管理的记忆就像没人整理的仓库——东西越堆越多，越来越难找到真正有用的那件。
  • 评估标准化：LoCoMo、LongMemEval、BEAM 是主流基准，但不同系统使用不同条件，分数不可直接比较。Engram 论文专门批评了这个问题并开源了可复现评测框架。
  • 跨LLM可移植性：模型 A 写的记忆，模型 B 读——信息保留率多少？Rosetta Memory（arXiv:2606.07711）正在探索这个方向。
  • Token 预算约束：技能/记忆模块每次检索都有 token 成本，当开销超过价值时应该退役。插入记忆系统不是免费的。
这些挑战意味着：Agent 记忆不只是存储技术，更是涉及安全、评估、经济的系统工程。

六、总结

💡
核心要点： 1. 上下文窗口是工作缓冲区，不是记忆库 2. 三层架构（情景/语义/程序）是 2026 年共识 3. Write-Manage-Read 循环是核心设计模式 4. Mem0 和 Engram 代表多信号检索和双时间模型的突破 5. 记忆安全和遗忘权是必须考虑的生产要素
如果只带一句话：好的 Agent 记忆系统是在正确的层级上用正确的方式存储正确的信息，而不是把一切扔进向量数据库。
回顾全文脉络：
  • 从问题出发：上下文窗口是工作台不是书架，扩大窗口解决不了记忆问题
  • 到架构设计：三层记忆 + Write-Manage-Read 循环是 2026 年共识模式
  • 到实现落地：Mem0 和 Engram 代表两种不同的工程路径
  • 到安全挑战：记忆中毒、遗忘权、评估标准化——系统工程远未完工
📊
实战选型建议： • 产品级快速落地 → Mem0（平台成熟，48K⭐） • 需要强溯源审计 → Engram（双时间模型，完整溯源链） • 多租户 SaaS 场景 → 三层架构 + 独立租户隔离 • 从零开始建议 → 先做情景存储，再加巩固管道，最后上语义和程序记忆
值得关注的下一步方向：
  • 记忆巩固自动化——当前手动设计巩固规则，未来需要 Agent 自主管理记忆质量
  • 跨会话身份追踪——让 Agent 在不同会话间识别同一用户和同一实体
  • 时效与遗忘——不是所有信息都需永久保留，如何自动衰减和遗忘是开放问题

延伸阅读与参考资料

arxiv.org
https://arxiv.org/abs/2603.07670
arxiv.org
https://arxiv.org/abs/2512.13564
arxiv.org
https://arxiv.org/abs/2606.09900
arxiv.org
https://arxiv.org/abs/2504.19413
www.appscale.blog
https://www.appscale.blog/en/blog/agent-memory-architecture-episodic-semantic-procedural-the-three-tier-pattern-2026
aiagentmemory.org
https://aiagentmemory.org/articles/context-window-problem-llm/
mem0.ai
https://mem0.ai/research
towardsdatascience.com
https://towardsdatascience.com/a-practical-guide-to-memory-for-autonomous-llm-agents/
zylos.ai
https://zylos.ai/research/2026-04-05-ai-agent-memory-architectures-persistent-knowledge/
unit42.paloaltonetworks.com
https://unit42.paloaltonetworks.com/indirect-prompt-injection-poisons-ai-longterm-memory/
mem0.ai
https://mem0.ai/blog/ai-memory-security-best-practices
arxiv.org
https://arxiv.org/abs/2602.19320
arxiv.org
https://arxiv.org/abs/2501.13956
arxiv.org
https://arxiv.org/abs/2601.03236
]]> <![CDATA[lora训练部署]]> 玻璃小屋.cn/article/lora 玻璃小屋.cn/article/lora Fri, 02 Jul 2021 00:00:00 GMT
😀
这里写文章的前言： 基于阿里云服务器的“机器学习api”平台部署（可以白嫖三个月的服务时长） 着条环境理论上是可以在任何一个liunx服务器上部署成功的。
 
 

📝 主旨内容

系统环境

  • 系统镜像：modelscope:tf1.15torch1.11-gpu-py37-cu113-ubuntu20.04
  • 系统版本：ubuntu20.04
  • 系统环境：py 3.7/cu113
项目引用
GitHub - Akegarasu/lora-scripts: LoRA training scripts use kohya-ss's trainer, for diffusion model.
LoRA training scripts use kohya-ss's trainer, for diffusion model. - GitHub - Akegarasu/lora-scripts: LoRA training scripts use kohya-ss's trainer, for diffusion model.
GitHub - Akegarasu/lora-scripts: LoRA training scripts use kohya-ss's trainer, for diffusion model.
https://github.com/Akegarasu/lora-scripts
GitHub - Akegarasu/lora-scripts: LoRA training scripts use kohya-ss's trainer, for diffusion model.

准备

  • 阿里云账号，并开通了机器学习api的工作台。
  • 一台电脑
  • 手
  • 会复制粘贴

开始实操

创建服务器实列，环境
  1. 选择交互式建模(DSW),并创建实列。
      2. notion image
      👉
      随便来一个实列名称，选择GPU规格，在官方镜像下选择modelscope:tf1.15torch1.11-gpu-py37-cu113-ubuntu20.04 这个镜像
      notion image
      需要挂在nas的可以挂载nas系统
      👉
      然后下一步，创建实列即可。
系统环境的基本创建。
  • 等待系统环境的创建~~~~~出现了打开就可以进入系统环境了。
notion image
  • 进入界面后点击上面的加号，在选择控制终端。
notion image
  1. 安装Anaconda3
  • 出现这个输入yes即可，然后就回车确认即可
notion image
  • 这有重复出现的输入no即可退出
notion image
  1. 创建虚拟环境
  1. 不建议一起扔进去有可能会报错。
  • 拉去项目文件
  • 安装vem环境安装pip
  • 更新pip版本
  • 下载依赖文件
  • 安装xformers：
  • 安装Triton：
  • 安装lion：
  • 安装accelerate模块
 
  • 退出vem环境

📎 参考文章

  • 参考网页
在Linux云服务器上部署stable diffusion的lora训练的另一种方法_回天一梦的博客-CSDN博客
在云服务器上部署stable diffusion的lora训练的另一种方法更加简单，便捷。
在Linux云服务器上部署stable diffusion的lora训练的另一种方法_回天一梦的博客-CSDN博客
https://blog.csdn.net/OriginSXC/article/details/129458346
 
💡
有关Notion安装或者使用上的问题，欢迎您在底部评论区留言，一起交流~
]]> <![CDATA[Vibe Coding实现MAX Script编写]]> 玻璃小屋.cn/article/vibe-coding-max-script 玻璃小屋.cn/article/vibe-coding-max-script Fri, 19 Jun 2026 00:00:00 GMT
💡
写作假设（由 AI 推断）
  • 目标读者： 3ds Max 用户、CG 从业者、想用 AI 辅助编写 MAXScript 但无从下手的初学者
  • 前置知识： 了解 MAXScript 的基本概念，有 3ds Max 操作经验，不需要编程背景
  • 读完能做什么： 知道 Vibe Coding 是什么、怎么选工具（含 2026年6月最新模型排行榜数据）、怎么用 RAG/Agent 等进阶技巧写 MAXScript

1. 了解 Vibe Coding

1.1 什么是 Vibe Coding

Vibe Coding（氛围编程） 是一个由 Andrej Karpathy（OpenAI 联合创始人）在 2025 年初提出的概念。直译过来就是「在氛围中编程」——意思是开发者不再需要逐行写代码，而是用自然语言描述想要什么，AI 帮你生成代码，你要做的只是预览、测试、微调。
「Vibe Coding」这个词怎么来的？
2025 年 2 月，Karpathy 在社交媒体上描述了一种新的编程方式：你完全沉浸在「氛围」里，跟 AI 对话式地写代码，遇到错误就直接粘贴给 AI 让它修，不再像传统程序员那样逐行 debug。他管这叫 Vibe Coding —— 一种「全情投入地感受，然后让 AI 帮你写出来」的编程范式。
这个词很快在开发者社区传开，因为它准确描述了 AI IDE（Cursor、Windsurf、Copilot 等）带来的全新体验。
传统写 MAXScript 的流程是：想功能 → 查文档 → 写代码 → 报错 → 调试 → 改 → 再试。一个简单的批量导入工具，可能折腾一整天。
有了 Vibe Coding 之后，流程变成了：
想功能 → 告诉 AI → 等几秒 → 测试 → 不满意就再描述一次 → 完成
你不需要记住 3ds Max 的 API 方法名叫什么，不需要担心 dotNetClass 的语法细节，你只需要描述清楚你要做什么。

1.2 Vibe Coding 与传统编程的区别

notion image
维度
传统编程
Vibe Coding
工作方式
手写每一行代码
自然语言描述需求
学习曲线
陡峭（先学语法、API）
平缓（会说话就行）
调试方式
看日志、断点、逐行排查
把错误粘贴给 AI 让它修
适合人群
专业程序员
任何人，包括设计师、艺术家
代码质量
稳定可控
依赖 AI 模型能力
效率提升
熟练后稳定
新手直接起飞，但需验证
💡
一个简单的例子：
传统方式写「批量导出为 FBX」：
Vibe Coding 直接说：「帮我写一个 MAXScript，把当前场景里所有选中物体批量导出成 FBX，按物体名称命名」 → 等 10 秒 → 跑一下 → 可能有个小 bug → 「导出路径不对，改成弹窗让用户选择保存文件夹」 → 搞定。

2. AI中的名词/术语解释

2.1 上下文

上下文（Context）是 AI 的「短期记忆」——它决定了 AI 能「看到」多少你的聊天历史和项目信息，直接影响回答的准确性。
窗口越大，AI 能参考的代码就越多，生成的代码越符合你的项目风格。把整个项目放进去，AI 就能理解你的命名规范和已有模块，而不是从零猜测。
各模型的上下文大小：DeepSeek V4 和 Claude Sonnet 4 均支持 1M Token（约 75 万汉字）。可以把整个大型代码库一次性放进去，但消耗的 Token 更多，费用也更高。
💡
高效技巧：只粘贴关键代码片段 → 善用 @Codebase / RAG → 定期 /compact 压缩 → 新任务开新会话 → 项目根目录放 CLAUDE.md

2.2 Token

Token（词元）是 AI 处理文本的最小单位——可以是一个汉字、半个英文单词、或一个标点符号。不同模型的「分词器」（Tokenizer）切分方式不同，同一句话在 GPT、Claude、DeepSeek 中的 Token 数会有差异。AI 的上下文窗口和费用都以 Token 计算。
什么是分词器（Tokenizer）？
分词器（Tokenizer）是 AI 模型内部的「切词工具」。它把人类的文字切成一个个小片段（Token），这样 AI 才能处理。不同模型用不同的分词器，所以同一句话在 GPT、Claude、DeepSeek 中切出来的 Token 数会不一样。
举个例子：「我爱编程」这句话，GPT 可能切成 3 个 Token（我/爱/编程），Claude 可能切成 4 个（我/爱/编/程）。Token 数不同，费用也不同。
中文大约 1 个汉字 = 1~2 个 Token，英文大约 1 个单词 = 1~2 个 Token。DeepSeek V4 的 1M Token 上下文窗口约等于 75 万汉字，能把整个大型代码库放进去。
💰
省钱技巧：Token 越多费用越高。写代码时只粘贴关键片段，善用 RAG 自动检索，避免把整个文件丢给 AI。

2.3 skill

Skill（技能）是 AI 工具中的「按需知识文档」——遵循 agentskills.io 开放标准，只在需要时加载，教会 AI 如何完成特定类型的任务。注意：Skill ≠ 持久指令（如 CLAUDE.md）。CLAUDE.md 每次会话都会加载到上下文中，而 Skill 只在被调用时才加载，更节省 Token。
Skill 和 CLAUDE.md/Rules 有什么区别？
• CLAUDE.md / Rules = 持久指令，每次会话自动加载到上下文中，消耗 Token
• Skill = 按需知识文档，只在被调用时才加载，更省 Token
• 两者都遵循 agentskills.io 开放标准，支持 /skill-name 斜杠命令调用
• 实际使用：项目规范放 CLAUDE.md（每次生效），特定任务流程放 Skill（按需加载）
💡
建议：把常用的任务流程保存为 Skill，按需加载更省 Token；项目级的通用规范放 CLAUDE.md/Rules，每次自动生效。
不同工具中的 Skill 叫什么？
• Hermes Agent → Skill 文件（.hermes/skills/目录下的 SKILL.md）
• Claude Code → CLAUDE.md（项目根目录下的指令文件）
• Cursor → Rules（.cursor/rules/目录下的规则文件）
• Windsurf → .windsurfrules

2.4 MCP 工具&协议

MCP（Model Context Protocol）是 AI 的「USB 接口」——一种开放协议，让 AI 能直接查询数据库、操作文件、调用 API，而不只是生成文本。
MCP 能做什么？
• 查询数据库（MySQL、PostgreSQL、MongoDB）
• 操作文件系统（读写文件、管理目录）
• 调用 API（GitHub、Notion、Slack、Google Sheets）
• 访问云服务（AWS S3、Cloudflare、Vercel）
• 控制浏览器（Playwright、Puppeteer）
MCP 采用客户端-服务器架构，基于 JSON-RPC 2.0 协议：
• Host（主机）：AI 应用（如 Claude Desktop、Cursor），协调管理客户端
• Client（客户端）：每个 MCP 服务器对应一个客户端，维护专用连接
• Server（服务器）：提供工具（Tools）、资源（Resources）、提示模板（Prompts）
传输方式：Stdio（本地进程间通信）或 Streamable HTTP（远程通信+OAuth 认证）
在 Vibe Coding 中，MCP 让 AI 从「聊天框」变成了真正的「工具箱」——可以访问你的代码库、文档甚至云服务。比如通过 MCP，AI 可以直接读取你的项目文件、查询 Notion 文档、操作 GitHub 仓库。
🔌
常用 MCP 服务器：文件系统、数据库、GitHub、Notion、Slack 等。

2.5 缓存命中

缓存命中（Cache Hit）是 AI 的「记忆复用」——当你问的问题和之前相似时，AI 直接复用已计算过的结果，而不是重新生成一遍。
缓存命中的好处
• 响应速度：从几秒降到毫秒级
• 成本降低：缓存命中的费用通常是重新计算的 10%~25%
• 一致性：相同问题得到相同答案，避免随机性
工作原理：基于 Prompt 前缀精确匹配——相同前缀的部分直接复用已计算的 KV 缓存，无需重新推理。
费用对比（Anthropic 官方定价）：
• 普通输入：1.0× 基准价
• Cache Write（写入缓存）：1.25× 基准价（5分钟TTL）
• Cache Read（命中缓存）：0.1× 基准价（节省 90%！）
OpenAI 在 Prompt ≥1024 Token 时自动启用缓存，无需代码改动。
响应速度提升最高 80%，费用节省最高 90%（Anthropic 官方数据：Cache Read 仅收基准价的 10%）。原理是基于 Prompt 前缀精确匹配——相同前缀直接复用已计算的 KV 缓存，无需重新推理。OpenAI 在 Prompt ≥1024 Token 时自动启用缓存。
⚡
技巧：相似问题尽量在同一个会话中问，更容易触发缓存命中。

2.6 温度

温度（Temperature）是控制 AI 输出随机性的参数——取值范围 0~2（OpenAI）或 0~1（Anthropic/Gemini），默认值为 1.0。通过缩放 Softmax 函数的 logits 来改变概率分布：T=0 时完全确定（每次输出相同），T 越高输出越随机多样。
不同平台的温度范围
• OpenAI：0 ~ 2.0，默认 1.0
• Anthropic (Claude)：0 ~ 1.0
• Google Gemini：0 ~ 1.0，默认 1.0
• T=0 时为完全确定性输出（greedy decoding），相同输入始终得到相同输出
🎛️
写代码时温度设低（接近 0），保证确定性输出；创意写作时温度设高，获得更多样化的表达。注意：Temperature 和 top_p 建议只调其一，不要同时调整。
温度设置建议
• 写代码：0.1~0.3（保守、确定、正确性优先）
• 写文档/注释：0.5~0.7（自然、流畅、可读性好）
• 创意写作：0.8~1.0（有想象力、但可能不稳定）
• 数学计算：0.0（完全确定、无随机性
温度通过缩放 Softmax 函数的 logits 来改变概率分布形状：
• T < 1：概率分布变「尖锐」，高概率 token 更主导，输出更聚焦确定
• T = 1：保持模型原始概率分布（默认行为）
• T > 1：概率分布变「平坦」，低概率 token 也有机会被选中，输出更多样
• T = 0：等同于 argmax，每次对相同输入返回完全相同输出（greedy decoding）
注意：Temperature 和 top_p 建议只调其一，不要同时调整（OpenAI 官方建议）。
🎛️
建议：写代码时温度设低，写注释时温度设高，灵活调整。

2.7 RAG — 让 AI 参考你的代码库

RAG（Retrieval-Augmented Generation，检索增强生成）是 Vibe Coding 进阶的关键技术。简单说就是：AI 写代码时，先自动从你的代码库里找相似代码作为参考，再生成新的。
RAG 的原理大白话
没有 RAG 的 AI：它凭空生成 MAXScript，用的是训练数据里的「通用知识」。它不知道你写过什么工具函数、不知道你的命名规范、不知道你常用的模式。
有 RAG 的 AI：你问它「写一个批量导出工具」，它会先检索你已有的代码库，找到你之前写的导出函数、UI 组件、工具类，然后基于这些已有代码生成新的脚本。生成结果风格一致、直接可用。
对 MAXScript 的实用场景：
场景
操作方法
效果
复用已有工具函数
@Codebase 参考 myTools.ms 里的 UI 风格
新脚本和老工具风格一致
学习现有代码
@Codebase 分析这个脚本的工作流
AI 解释别人的 MAXScript
跨文件重构
@Codebase 把三个脚本里的重复功能提取成公共函数
自动整理代码库
建立你的 MAXScript RAG 知识库：
为了让 RAG 效果更好，建议在项目目录下放一个 _references/ 文件夹，存放：
💡
RAG 进阶技巧： 每次写新功能前，先用 @Codebase 看一下有没有现成的代码可以直接复用。这比你让 AI 从零生成要快得多，而且代码风格一致。每次完成的脚本都放入 _references/ 知识库，下次同类型任务 RAG 就能直接参考，形成越用越顺的正循环。

2.8 Agent（智能代理模式）

如果说 Vibe Coding 是「你告诉 AI 做什么」，那 Agent 模式就是「你告诉 AI 一个目标，AI 自己规划步骤、执行、检查结果」。
Agent 和普通聊天的区别
维度
普通聊天
Agent 模式
任务粒度
一次一步
多步自主规划
工具调用
你手动复制运行
AI 自动调用工具
错误处理
你把报错贴给 AI
AI 自己发现并修复
适用场景
简单脚本
复杂多步骤任务
Agent 会自动：读取场景 → 分析需求 → 生成代码 → 运行测试 → 发现 bug → 修复 → 完成。你只需要在最后验收。
也可以多 Agent 协同： 一个 Agent 写核心逻辑，另一个 Agent 写 UI，第三个 Agent 测试。这在 Windsurf 的协作模式下已经可以实现。

2.9 提示词模板库

不要每次都从零开始写 prompt。创建一套 MAXScript 专用的提示词模板，直接复制使用：
模板 1：从零写脚本
模板 2：修改现有脚本
模板 3：调试报错
模板 4：生成 UI 界面

3. 如何开始

3.1 需要用到的工具

3.1.1 AI IDE 选择

Claude Code 和 Codex 是新一代的 AI 编程工具，它们不再依赖传统的 IDE 界面，而是直接在终端中运行，通过自然语言与你对话来完成代码编写、调试和重构。这种模式更符合 Vibe Coding 的理念——你只需要描述想要什么，AI 帮你实现。
与传统的 AI IDE（如 Cursor、Windsurf）相比，Claude Code 和 Codex 的优势在于：
  • 无需切换编辑器：直接在终端运行，与你现有的 3ds Max 工作流无缝集成
  • 更强的上下文理解：能读取整个项目目录，自动理解代码结构和依赖关系
  • 自动化程度更高：可以自主执行测试、修复错误、迭代优化，你只需要在最后验收
推荐选择：如果你是第一次接触 Vibe Coding，建议从 Claude Code 开始——它的中文理解能力更强，对 MAXScript 这种小众语言的支持也更好。如果你已经有 Python/Node.js 基础，Codex 也是不错的选择。
主流 AI 编程工具对比：
  • Claude Code（CLI/终端）— 中文理解强，MAXScript 支持好，适合小众语言开发，学习成本低
  • Codex（CLI/终端）— OpenAI 生态，Python/JS 强，适合 Python 和 Web 开发，学习成本中
  • Cursor（AI IDE）— 可视化界面，RAG 集成，适合全栈开发和大型项目，学习成本中
  • Windsurf（AI IDE）— 多 Agent 协同，实时预览，适合团队协作和复杂项目，学习成本高
  • GitHub Copilot（IDE 插件）— 代码补全，生态成熟，适合日常编码和快速原型，学习成本低

3.1.2 Claude code安装使用指南

Claude code 安装

官方脚本安装(简单方便)
Windows PowerShell：
Windows CMD：
macOS、Linux、WSL：
npm安装方式(需要安装nodejs)
首先检查是否本地环境中安装了nodejs
输出如果没有输出版本号那么》点开我《
成功输出了版本号那么就复制下方代码安装claude code cli
验证是否安装成功
如果正确的输出了版本号那么就安装成功了。
下方命令是手动更新Claude code
一般情况下不需要手动更新，每次启动时会自动更新。

API配置

claude code 常用命令

命令
功能
/help
参考全部可用命令
/init
创建CLAUDE.md项目记忆(初始化项目)
/compact
压缩上下文(省token)
/model
切换模型
/clear
查看token用量
/review
代码审查
/plan
进入规划模式
/memory
编辑CLAUDE.md
/exit(或Ctrl+D)
退出
💡
超级实用：在一次对话后你对本次对话的修改不满意可以双击“ESC”键可以将对话或修改退回到上次对话的状态。
💡
想了解更多Claude code使用技巧可以访问一下以下网站。
Claude Code 教程 | 菜鸟教程
Claude Code 教程 Claude Code 是 Anthropic 推出的面向开发者的 AI 编程协作工具。 Claude Code 定位不是聊天，而是在本地代码仓库中执行高权限、可上下文感知的工程任务。 Claude Code 与在聊天窗口里写几段代码不同，它理解你的整个项目，能直接读取你的文件、运行测试并根据反馈修改代码。 Claude Code 不是一个代码生成器，而是一个能读项目、懂上下文、遵守约束的 AI..
Claude Code 教程 | 菜鸟教程
https://www.runoob.com/claude-code/claude-code-tutorial.html

3.2 国内外模型选择（2026年6月 AA Quality Index 排行榜）

本数据来自 DataLearnerAI AA Quality Index（人工智能质量指数）综合排行榜（2026-06-13 数据版本），综合10项权威评测基准（GDPval-AA、Terminal-Bench、GPQA Diamond、SciCode等），从数学、科学、编程、推理等多维度对AI模型进行全面评估，共212个模型。
Artificial Analysis Intelligence Index - AI模型智能指数排行榜 | DataLearnerAI
AI智能指数排行榜：基于10项评测比较190+模型综合能力。
Artificial Analysis Intelligence Index - AI模型智能指数排行榜 | DataLearnerAI
https://www.datalearner.com/leaderboards/external/aa-quality-index
💡
选型建议：
代码能力最强的当属 Claude Fable 5，以 95% SWE-bench 得分 + LMArena 编程 Elo 1566 占据双料冠军位置，但需要中转服务才能使用。
国内用户首选 DeepSeek-V4-Pro（80.6% 开源最强，$0.2/M 极致低价，1M token 上下文）或 6 月新发的 MiniMax M3（70%，同样 100 万上下文）。日常对话用 DeepSeek V4 Flash（比 Pro 更便宜），复杂脚本生成切到 Claude。
注意中转服务（如 GeekAI、API2D）会有一定加价，但省去了海外 API 直连的网络问题。如果不方便用海外模型，DeepSeek-V4 系列和 GLM 5.1 都能写出可用的 MAXScript。

4. 使用 AI 工具的发展阶段

4.1 提示词工程（Prompt Engineering）

提示词工程工作流
提示词工程工作流
这是 Vibe Coding 的第一阶段——学会问问题。
很多新手第一次用 AI 写 MAXScript 会说：
❌「帮我写个脚本」
这种问题太模糊，AI 不知道你要什么。好的提示词应该包含：
💡
提示词的核心公式：
角色（你是谁） + 任务（做什么） + 输入（有什么） + 输出（给什么） + 约束（注意事项）
这五要素每多一个，AI 的输出质量就上一个台阶。

4.2 上下文工程（Context Engineering）

上下文工程：给AI喂对的材料
上下文工程：给AI喂对的材料
第二阶段——给 AI 喂对的材料。
AI 不知道你的项目环境、不知道你用的是哪个版本的 3ds Max、不知道你有哪些已经写好的工具函数。你需要告诉它。
实际做法：
  • 在项目根目录放一个 CONTEXT.md，写明项目基本信息
  • 在 AI IDE 的 Rules 里写好固定上下文
  • 每次问问题前，先粘贴相关代码给 AI 看
MAXScript 项目 CONTEXT.md 示例

4.3 驾驭工程（Harness Engineering）

驾驭工程：给AI装方向盘和刹车
驾驭工程：给AI装方向盘和刹车
第三阶段——给 AI 装「方向盘」和「刹车」。
AI 生成的代码不一定是对的，尤其是 MAXScript——3ds Max 的 API 版本差异很大，AI 偶尔会生成过时的 API 调用。你需要驾驭它：
  • 方向控制： 用 Rules / Instructions / Skill 限定 AI 的行为边界
  • 安全护栏： 涉及文件操作、批量删除、场景修改的脚本，第一次别直接跑，先看一遍代码
  • 增量验证： 让 AI 分步骤生成脚本，每步都测试，不要一次性生成 500 行代码然后全崩

4.4 循环工程（Loop Engineering）

循环工程：让AI进入自我迭代循环
循环工程：让AI进入自我迭代循环
最终阶段——让 AI 进入自我迭代的循环。
到了这个阶段，你不是在跟 AI 对话，而是在建立一个循环：
描述 → 生成 → 测试 → 反馈 → 修正 → 测试 → 发布
循环工程的实际工作流

5. 进阶工作流：综合运用

将前面所有知识点串联起来，形成完整的 Vibe Coding + MAXScript 工作流：
Vibe Coding + MAXScript 完整工作流
Vibe Coding + MAXScript 完整工作流
💡
核心原则： 每次完成的脚本都放入 _references/ 知识库，下次同类型任务 RAG 就能直接参考，形成越用越顺的正循环。

总结

Vibe Coding 不是「编程的终结」，而是编程的民主化。对于 MAXScript 这种小众但实用的脚本语言来说，Vibe Coding 的价值格外明显——你不用再花费大量时间翻找零散的官方文档，而是用自然语言直达目标。
从本文学到的技能栈：
  1. ✅ 选对工具和模型（IDE + 模型配置，数据来源 DataLearnerAI 2026-06-17）
  1. ✅ 理解基础概念（Token、上下文、缓存）
  1. ✅ 用 RAG 让 AI 学习你的代码风格
  1. ✅ 用 Agent 模式处理复杂多步任务
  1. ✅ 用模板避免每次从零写 prompt
  1. ✅ 用代码审查保证输出质量
  1. ✅ 用循环工程迭代到满意
从提示词工程到循环工程，你会经历四个阶段。不需要一口气全部掌握——先从 3.1 的提示词公式开始，写几个简单的脚本找找感觉，慢慢地你就会发现自己已经进入了循环工程的模式。
💡
最后的一句话：
AI 写的 MAXScript 不一定一次就对，但让 AI 修三次之后，大概率就对了。这是 Vibe Coding 最核心的思维转变——不追求一次完美，追求快速迭代。
]]> <![CDATA[非真实感渲染（NPR）管线拆解：从卡通着色到风格化笔触 ]]> 玻璃小屋.cn/article/npr-rendering-pipeline 玻璃小屋.cn/article/npr-rendering-pipeline Thu, 11 Jun 2026 00:00:00 GMT

非真实感渲染（NPR）管线拆解：从卡通着色到风格化笔触

你以为塞尔达的卡通感是"画"出来的？不，那是一套精心设计的渲染管线。本文带你手拆 NPR 四道核心工序。
📌
🏷️ 本文特色：四道工序逐层拆解 · 完整 GLSL 着色器代码 · 6 个术语 Toggle 解释（从零开始）· 8 张对比速查表 · 初学者友好，无需 NPR 基础
💡
写作假设（由 AI 推断）
  • 目标读者：学过基础图形学（了解标准渲染管线），但没系统学过 NPR
  • 前置知识：熟悉法线、漫反射光照、后期处理的基本概念
  • 读完能：理解 NPR 的核心技术模块，能在 GLSL 中实现卡通着色 + 描边
  • 本文不会深究：PBR、次表面散射、高级 NPR（水彩/油画风格）
💡
先说结论
NPR（Non-Photorealistic Rendering）不是一种技术，而是一套可自由组合的「风格工具箱」。它的核心思路是：丢掉「越真实越好」的执念，用渲染技术模仿艺术风格。标准的 NPR 管线由四道工序串联而成：漫反射量化 → 边缘描边 → 高光风格化 → 后期合成。

为什么你需要理解 NPR

你可能没意识到，近几年最火的游戏几乎都在用 NPR：
  • 《塞尔达传说：旷野之息》——用低饱和色阶 + 水彩描边创造冒险感
  • 《原神》——经典的二次元 Toon Shading，角色面部特调光照
  • 《无主之地》——粗黑描边 + 纯色填充 + 美式漫画质感
  • 《罪恶装备：斗争》——三渲二天花板，完全模仿 2D 手绘动画
Toggle: 什么是「非真实感渲染（NPR）」？
NPR 全称 Non-Photorealistic Rendering，直译就是「非照片级真实感渲染」。
大白话说：真实感渲染的目标是「像照片一样真实」；NPR 的目标是「像画一样好看」。
在这篇文章里，你只需要知道：NPR 是一个技术统称，卡通着色（Toon Shading / Cel Shading）是它最主流的分支。
Toggle: 什么是「渲染管线」？
渲染管线就是把 3D 模型变成 2D 屏幕图像的一整套流水工序。
就像做一道菜：备菜 → 下锅 → 调味 → 装盘。
渲染管线也是：顶点处理 → 光栅化 → 片段着色 → 后期处理。
NPR 还有一个特别的优势：越老越耐看。2017 年的《塞尔达》今天看依然惊艳，而 2017 年的写实游戏可能已经过时了——因为风格本身就是艺术，不受硬件代际限制。

从零开始：NPR 到底在做什么？

先看一个直观对比：
notion image
维度
真实感渲染
NPR 非真实感渲染
最终目标
像照片
像画/动画/漫画
漫反射
连续平滑过渡
阶梯式色块
边缘
自然过渡
刻意描边
高光
物理精确
风格化裁切
阴影
软阴影模拟
硬边色块
代表应用
3A 写实游戏、影视 VFX
二次元游戏、独立游戏、插画
NPR 的核心理念其实就一句话：
💡
真实感渲染忠实模拟物理世界；NPR 忠实模拟艺术家的视觉表达。
下面我们逐道工序拆解 NPR 管线。

第一道工序：漫反射量化（Diffuse Quantization）

这是 NPR 最标志性的效果——把连续的漫反射亮度「砍」成几个固定色阶。
notion image
Toggle: 什么是「漫反射量化」？
还记得兰伯特光照模型吗？$I = k_d times I_{light} times max(0, mathbf{N} cdot mathbf{L})$
正常渲染中，$mathbf{N} cdot mathbf{L}$ 是 0 到 1 之间的连续值，产生平滑渐变。
漫反射量化就是用阶梯函数把连续值映射到几个离散值上——结果就是卡通感十足的硬边色块。

核心数学

标准兰伯特漫反射：
卡通着色漫反射：
其中 是一个阶梯函数，把连续值 映射到几个固定区间：

三种主流量化方式

方式
实现方法
优点
缺点
硬阶梯（Step）
性能最好，1 行代码
色阶过渡不均匀
软阶梯（Smooth Step）
色阶边缘柔和一点
需要查表
纹理采样
用 1D 纹理存储色阶映射
最灵活，可调
多一次纹理采样
如果 LEVELS = 3，亮度被切成 3 档：
ndotl 范围
toonLight
亮度
0.00 ~ 0.33
0.0
暗部（纯环境光）
0.33 ~ 0.66
0.33
中间调
0.66 ~ 1.00
0.66
亮部
💡
一句话总结：色阶数量越少，卡通感越强。LEVELS = 2 是极简平面风，LEVELS = 4~5 是原神风，LEVELS > 8 就接近真实渲染了。

第二道工序：边缘检测与描边（Edge Detection & Outline）

Toggle: 什么是「边缘检测」？
边缘检测就是找到 3D 物体轮廓在屏幕上对应的像素位置，然后把它们涂成黑色（或其他颜色）。
类似漫画里的墨线——把角色的轮廓勾出来，增强画面的手绘感。

三种主流描边方法

方法
原理
性能
效果
法线外扩描边
背面剔除后沿法线向外偏移顶点，渲染纯色
⭐⭐⭐ 单次 Pass
轮廓线均匀，最常用
深度/法线边缘检测
后处理中用 Sobel 算子检测深度/法线跳跃
⭐⭐⭐⭐ 单 Pass
检测所有内边缘，但依赖参数调优
图像边缘检测
对最终画面用 Canny/Sobel
⭐⭐⭐⭐⭐ 快
只能检测颜色剧烈变化处

法线外扩描边（最常用方案）

notion image
这是绝大多数卡通游戏使用的方案。它分两步走：
📝
第一步：渲染背面，沿法线方向外扩顶点 → 比原模型大一圈
第一步：渲染背面，沿法线方向外扩顶点 → 比原模型大一圈
第二步：把外扩后的背面涂成黑色 → 看起来就像描了一圈边
第三步：正常渲染正面 → 描边效果完成！
⚠️
常见陷阱：硬边缘（如立方体棱角）外扩后会产生断裂。解决方案是：用顶点法线平均值代替面法线，或者对法线做平滑预处理。

第三道工序：高光风格化（Specular Stylization）

真实感渲染的高光追求物理精确（Blinn-Phong、GGX），NPR 的高光追求看起来像画上去的。
notion image
Toggle: 什么是「镜面高光」？
镜面高光是光线在光滑表面反射形成的亮斑——比如苹果上的那个小白点。
在 NPR 中，高光经常被故意「修」成特定的形状：圆形、星形、或者干脆只保留最亮的那个点。

高光量化

和漫反射一样，NPR 的高光也做量化处理：
关键区别：
特性
真实感高光
NPR 高光
形状
物理精确（GGX 尾部拖长）
硬边圆斑或自定义形状
颜色
白色，随入射角变化
纯白、或与角色配色一致
位置
视线方向影响
可以选择固定
💡
小窍门：原神风格的角色头发高光经常做「双眼皮」效果——用阶梯函数把高光切成两段，中间留一条暗缝。

第四道工序：后期合成（Post-Processing）

前三道工序产出的是渲染帧，第四道工序做最后的风格化包装：

常用后期效果

效果
实现
目的
色调映射调整
降低对比度、调低饱和度
模仿动画的柔和调色
颜色量化
减少颜色数量（Posterization）
强化卡通色块感
边缘线后期
Sobel 检测颜色/深度跳变
补充几何描边遗漏的细节
抖动（Dithering）
添加噪点纹理
模拟纸张/胶片质感
Bloom
泛光效果
增强高光部分的发光感

完整管线组合示例

notion image
把四道工序串起来，就是一个可用的 NPR 着色器：
⚠️
注意：这个着色器故意省略了第二道工序（描边）。描边需要单独一个 Pass 在顶点着色器中做法线外扩，无法和正常渲染 Pass 合并。

常见坑点

⚠️
  1. 法线归一化不能省：插值后的法线长度不是 1，不归一化会导致色阶边界歪斜
  1. 描边宽度与视口相关：屏幕分辨率变化时，固定的顶点偏移量会导致描边变粗或变细，需要用投影矩阵调整
  1. 高光阈值要适配场景：亮色调场景用 step(0.5) 可能高光太多，深色场景可能太少
  1. 多光源问题：多个光源需要分别量化再叠加，否则卡通感会被「冲淡」

进阶：NPR 风格的更多可能性

风格
核心技术
代表作品
卡通着色（Cel Shading）
漫反射量化 + 法线外扩描边
原神、塞尔达
美式漫画
粗黑描边 + 纯色填充 + 网点抖动
无主之地
三渲二
面部特调光照 + 手绘修正法线
罪恶装备：斗争、ARC 系统
水彩风
颜色扩散模拟 + 纸张纹理 + 边缘湿边
Okami（大神）
铅笔画
Hatching（排线）+ 弯曲描边
插画风格游戏
Toggle: 延伸阅读
  • 《Real-Time Rendering》第 14 章：Non-Photorealistic Rendering
  • LearnOpenGL - Advanced Lighting / Toon Shading 教程
  • Three.js 示例：webgl_materials_toon
  • 《罪恶装备 Xrd》GDC 分享：如何用 3D 技术做出 2D 手绘感觉

最后总结

工序
技术
一句话
① 漫反射量化
把连续亮度切成阶梯
② 边缘描边
法线外扩背面渲染
给模型勾黑边
③ 高光风格化
step(threshold, spec)
只保留最亮的高光
④ 后期合成
色调映射 + 颜色量化
做最后的风格化包装

读完你应该能做到

理解 NPR 和真实感渲染的本质区别
能用 GLSL 实现基础的卡通着色（漫反射量化）
理解法线外扩描边的原理和局限性
知道如何用后期处理强化卡通风格
能说出至少三种 NPR 风格及其代表性游戏
📝
参考：Wikipedia - Non-photorealistic rendering | LearnOpenGL - Advanced Lighting | Three.js Toon Shading Example
 
]]> <![CDATA[在阿里云上部署ai绘画]]> 玻璃小屋.cn/article/example-4 玻璃小屋.cn/article/example-4 Fri, 02 Jul 2021 00:00:00 GMT
😀
前言： - 你是否还在为使用ai绘画找不到方法，是否还在使用市面上的付费服务，可调参数少得可怜。 - 如果你有上面的问题那么下面的教程将十分适合你，能够白嫖阿里云的机器学习平台的API来完成自己的AI绘画应用的部署。
  • Github项目地址
GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI
Stable Diffusion web UI. Contribute to AUTOMATIC1111/stable-diffusion-webui development by creating an account on GitHub.
GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI
https://github.com/AUTOMATIC1111/stable-diffusion-webui
GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI

前期准备：

注册并完成实名认证
  1. 打开阿里云官网
  1. 注册并根据提示完成实名认证。
领取免费的机器学习平台的API
  1. 在完成注册和实名认证后根据下图在阿里云官网点击“免费试用”———>“机器学习平台API”
      2. notion image
    1. 根据下图操作即可
      2. notion image
      💡
      将地区更改为上海，自我感觉上海的服务器要多一点。 -根据下面图片顺序完成授权和开通即可。
      • 在角色授权时不会自动返回开通界面要自己手动返回。
      notion image
    2. 开通成功后是这个界面，进入工作空间即可。
      3. notion image
    3. 在进入工作空间后我们要选择交互式建模。
      4. notion image
[可选]开通nas存储（3个月免费/50G储存）[不使用后将文件进行删除]
  1. 还是点击直接进行跳转nas储存
  1. 按照图片进行开通即可。
notion image
3.我们要先进入vps专用网络来创建自己的专用网络，点这里进行跳转vps专用网络控制台
notion image
  1. 按照上面图片操作后会进入这个界面，按照图片的提示操作即可。
notion image
 
5.在开通后会进入自己阿里云的控制台，点击这个进入文件存储的控制台
notion image
6.在下面会有同意协议和确认购买的按钮
notion image
💡
如果你在这一步出现了不能购买的话，就要去检查自己的地区是否改为了上海； 地区没有问题那么可能是在设置专用网络时地区没有改为上海。

SD的部署

  • 下载这个文件。
https://www.123pan.com/s/5VLUVv-rRknA.html
  1. 打开这个网页进入到机器学习平台api界面。
notion image
2.进入服务器购买页面。
notion image
  1. 这一步是可以选择创建的，没有创建得话在删除服务器后将全部丢失服务器中的文件。
notion image
  1. 下一步一定要看清楚系统环境
notion image
  1. 下一步同意协定创建实例即可
notion image
  1. 打开服务器管理界面
notion image
  1. 将上面下载好了的文件拖入服务器中。
notion image
  1. 将服务安装到服务器中。
notion image
9.启动web ui界面
启动web ui后直接点击连接就可以进入ui了
启动web ui后直接点击连接就可以进入ui了

web ui界面基本操作

ui界面调整为中文
notion image
ui界面的基本操作和作用
notion image

报错处理

1.在安装时出现了下面报错那么就多刷新几次，这个是网络连接时出现了错误。
如果刷新还是无效那么就是链接地址无效，或者被墙了。
notion image
 

总结

在部署云端绘画时可能有着其他奇奇怪怪的bug和问题，就需要自己去网络上寻找解决的办法。

📎 参考文章

  • 本文的启动参数引用借鉴了b站秋葉aaaki的启动代码。
 
💡
有关sd安装或者使用上的问题，欢迎您在底部评论区留言，一起交流~
 
]]>