第七章：高级文本生成技术与工具

在上一章中已经从 AutoModelForCausalLM, AutoTokenizer, pipeline 过渡到了稍微高那么一层的 llama-cpp-python 的使用， 这一章将继续学习 LLM 的使用, 到真正能训练，微调模型还远着呢。 其中大部分的内容都在学习 LangChain 的过程中有所掌握，包括记忆机制， 智能体工具调用等，所以这方面的内容没有具体展开。

本章所覆盖的在不对模型作微调的情况下提升文本生成质量的方法论与技术:

1. 模型输入/输出：模型加载与调用, 用 llama-cpp-python 演示
2. 记忆机制：增强模型的上下文记忆能力，查看 LangChain 短期记忆相关日志 LangChain 核心组件之短期记忆
3. 智能体系统：整合外部工具实现复杂行为，用 LangChain 1.0 后的 create_agent() 将会非常简单
4. 链式架构：模块化方法与组件的衔接组合, 这是 LangChain 0.x 的架构，1.0 后不再使用链式架构

本章进到 LangChain 的学习当中，本人对 LangChain 已经有了一定程度的了解，由于 LangChain 1.0 于 2025 年 10 月份才正式发布， 显然写作本书的时候用的还是 LangChain 0.x 的版本，而 LangChain 1.0 带来了巨大的变化，所以学习当中会把书中的例子改写为 LangChain 1.x 的版本。

下载 llama-cpp 的 GGUF 单文件模型: Phi-3-mini-4k-instruct-q4.gguf