彻底解决大模型 JSON 报错：提示词 + 硬约束 + 兜底的全链路修复方案
<blockquote><p>众所周知，大模型的核心原理是『文字接龙』，通过概率计算输出下一个 Token，这种机制天然存在幻觉问题，导致模型会一本正经的胡说八道。</p>
</blockquote>
<p>当要求大模型输出 JSON 格式时，也常因为幻觉问题遇到各种格式灾难：</p>
<ul>
<li><strong>附带冗余话术</strong>：比如前后夹带“好的，这是你要的结果”、“以下是符合要求的JSON”。</li>
<li><strong>Markdown 标签包裹</strong>：带有 <code> ```json</code> 标签，导致无法直接解析。</li>
<li><strong>非法格式</strong>：用单引号替代双引号、转义字符使用错误等。</li>
<li><strong>语法漏洞</strong>：尾部缺失反括号、字段后多添逗号等。</li>
</ul>
<p><img alt="image" loading="lazy" src="https://img2024.cnblogs.com/blog/2525618/202604/2525618-20260429185114040-564037355.png" class="lazyload"></p>
<p>显然，这种不合规的 JSON 输出无法正常被 <code>json.load()</code>正确解析，直接导致业务代码报错。</p>
<p>为了解决这个问题，我们需要在调用大模型的前、中、后三个阶段，分别采取一些处理措施（事前引导、事中约束、事后补救），全方位确保大模型能够输出稳定、纯净的 JSON。</p>
<p>下面我们以『<em>判断用户输入的内容，是否违规？违规类型是什么？违规词是什么？</em>』这个需求为例，详细介绍下具体处理手段。</p>
<h1 id="一事前引导提示词优化">一、事前引导：提示词优化</h1>
<p>提示词优化是最基础、最通用的解决方案，核心是通过明确严谨的指令，引导大模型输出符合要求的 JSON。</p>
<p>这种方式属于『软约束』，<u>依赖模型对指令的理解和执行能力，无法从源头强制合规，但胜在简单易用、适配所有大模型。</u></p>
<p><img alt="image" loading="lazy" src="https://img2024.cnblogs.com/blog/2525618/202604/2525618-20260429185157634-190681819.png" class="lazyload"></p>
<p>常见的优化方式为：</p>
<ol>
<li><strong>明确字段要求</strong>：详细说明每个字段的输出类型、取值范围，而非简单要求输出 JSON；</li>
<li><strong>提供 Few-Shot 示例</strong>：借助大模型的上下文学习能力，给出输入输出配对示例，让模型直观掌握格式；</li>
<li><strong>添加校验指令</strong>：要求大模型输出前自动校验 JSON 语法及内容合规性，确保无冗余、无错误。</li>
</ol>
<p>💡 提示词模板示例如下：</p>
<pre><code class="language-python"># 角色
你是一个严格的用户输入违规判断助手，负责对用户输入内容进行违规判定，并严格按预设规则输出合规JSON结果。
# 技能
- **核心违规类型**：用户输入含「色情」「暴力」「辱骂」类词汇，或违法、广告推广等其他明确违规内容 → 违规；否则不违规。
- **违规词提取**：仅提取用户输入中明确出现的核心违规词汇，不新增、不推断。
# 输出格式
**严格按以下格式生成JSON**：
{
"is_illegal": <boolean>,
"illegal_type": <string>,
"illegal_words": <list>
}
# 限制
- **输出唯一**：仅输出符合规则的JSON，禁止任何非JSON内容，并且 JSON 中的 key 名不可修改，禁止新增/遗漏key。
- **输出内容**：
- `is_illegal`：小写`true`/`false`。
- `illegal_type`：仅允许`"色情"/"暴力"/"辱骂"/"其他"/""`。
- `illegal_words`：无违规词则为`[]`，否则为原始输入词汇列表。
- **边界规则**：仅提取用户明确输入的核心违规词，不拆分/扩展/推断词汇。
# 核心要求
- 严格遵循上述规则，输出前自动校验JSON语法及内容合规性，确保无冗余、无错误。
# 示例
## 示例1输入：今天天气不错，适合去公园散步。
## 示例1输出：
{
"is_illegal": false,
"illegal_type": "",
"illegal_words": []
}
## 示例2输入：你这个蠢货，滚远点！”
## 示例2输出：
{
"is_illegal": true,
"illegal_type": "辱骂",
"illegal_words": ["蠢货", "滚远点"]
}
## 示例3输入：本产品能治百病，点击链接购买享8折！
## 示例3输出：
{
"is_illegal": true,
"illegal_type": "其他",
"illegal_words":["本产品能治百病", "点击链接购买"]
}
</code></pre>
<h1 id="二事中约束编码管控">二、事中约束：编码管控</h1>
<p>提示词优化是一种『软约束』手段，存在局限性，即使指令再明确，大模型仍然可能因为幻觉、随机性出现格式偏差。为此，主流大模型厂商推出了原生『硬约束』能力，可在模型生成结果过程中强制输出合规 JSON。</p>
<p>其核心原理简单来说：<strong>系统会将 JSON 规则转换为状态机，在模型生成每个 Token 前过滤非法内容，仅允许合法Token 参与概率计算，从底层确保输出完全符合 JSON 规范和字段要求</strong>（例如：生成冒号后，下一个 Token 绝不可能是逗号）。</p>
<p><strong>⚠️ 注意</strong>：并非所有大模型都支持这类硬约束功能，多数轻量模型、小众模型暂不支持，仅适配OpenAI系列、Anthropic Claude 等主流模型。</p>
<p><img alt="image" loading="lazy" src="https://img2024.cnblogs.com/blog/2525618/202604/2525618-20260429185421337-1322083193.png" class="lazyload"></p>
<h2 id="1-json-mode基础格式硬约束">1. JSON Mode：基础格式硬约束</h2>
<p><em><u>JSON Mode</u></em> 是基础硬约束功能，通过 API 参数约束模型输出编码逻辑，强制生成符合 JSON 语法规范的文本，从源头杜绝冗余话术、代码块包裹等问题。</p>
<p><strong>核心操作</strong>：调用接口时新增<code>response_format={"type": "json_object"}</code>参数，且提示词中需明确提及“JSON”（否则模型报错）。</p>
<p><strong>⚠️ 注意</strong>：JSON Mode 仅保证输出格式为合规 JSON，不支持在 response_format 中输入具体 schema，无法锁定字段规则，仍可能出现字段遗漏，key 名写错问题；</p>
<p><strong>📝 代码示例如下（以 OpenAI SDK 为例）：</strong></p>
<pre><code class="language-python">import json
from openai import OpenAI
client = OpenAI(
api_key="your_api_key",
base_url="https://api.openai.com/v1"
)
MODEL ="gpt-4o-mini"
if __name__ == "__main__":
system_prompt = """
# 角色
你是一个...
"""
user_prompt = "真是一头猪"
messages = [{"role": "system", "content": system_prompt}, {"role": "user", "content": user_prompt}]
response = client.chat.completions.create(model=MODEL, messages= messages,response_format={"type": "json_object"})
result = json.loads(response.choices.message.content)
print(result)
</code></pre>
<h2 id="2-structured-outputs格式字段双维度强制">2. Structured Outputs：格式+字段双维度强制</h2>
<p>JSON Mode 仅能保证输出的格式为 JSON，但并不能保证字段是否准确、是否完整等。</p>
<p>为了解决这个问题，诞生了 <em><u>Structured Outputs（结构化输出）</u></em>功能，可<strong>通过定义完整的 JSON Schema，强制模型输出指定字段及类型，彻底杜绝 key 名错误和字段遗漏问题。</strong></p>
<p><strong>核心操作</strong>：调用接口时在 response_format 中传入具体 JSON Schema，实现格式与字段的双重硬约束，确保模型输出完全匹配预设的字段规则，合规率 100%，这也是官方主推的结构化输出方案。</p>
<p><strong>📝 代码示例如下（以 OpenAI SDK 为例）：</strong></p>
<pre><code class="language-python">import json
from openai import OpenAI
client = OpenAI(
api_key="your_api_key",
base_url="https://api.openai.com/v1"
)
MODEL ="gpt-4o-mini"
if __name__ == "__main__":
system_prompt = """
# 角色
你是一个...
"""
user_prompt = "真是一头猪"
messages = [{"role": "system", "content": system_prompt}, {"role": "user", "content": user_prompt}]
response = client.chat.completions.create(model=MODEL, messages= messages, response_format = {
"type": "json_schema",
"json_schema": {
"name": "illegal_judge_result",
"strict": True,# 严格遵循schema，杜绝字段遗漏、类型错误
"schema": {
"type": "object",
"properties": {
"is_illegal": {
"type": "boolean",
"description": "是否违规，仅true/false（小写）"
},
"illegal_type": {
"type": "string",
"description": "违规类型，仅允许'色情'/'暴力'/'辱骂'/'其他'/''"
},
"illegal_words": {
"type": "array",
"description": "违规词列表，无违规则为[]，仅含用户输入的核心词汇"
}
},
"required": ["is_illegal", "illegal_type", "illegal_words"],
"additionalProperties": False# 禁止新增额外字段
}
}
})
result = json.loads(response.choices.message.content)
print(result)
</code></pre>
<h2 id="3-function-calling-工具调用">3. Function Calling 工具调用</h2>
<p><em><u>Function Calling（工具调用）</u></em>同样能间接实现稳定 JSON 输出，并且支持格式与字段的双约束。</p>
<p>我们在调用大模型接口时，通过<code>tools</code>参数定义完整的工具 JSON Schema（明确字段名、类型、必填项等规则），并要求模型调用该工具。模型为确保工具正常调用，会严格按照预设 Schema 输出合规的函数参数，而这些参数本身就是一段合规 JSON。</p>
<p><strong>核心操作</strong>：调用接口时，用<code>tools</code>定义 Schema 规则，通过<code>tool_choice</code>强制模型调用函数，直接提取参数即可获得合规 JSON，无需额外处理。</p>
<p><strong>📝 代码示例如下（以 OpenAI SDK 为例）：</strong></p>
<pre><code class="language-python">import json
from openai import OpenAI
client = OpenAI(
api_key="your_api_key",
base_url="https://api.openai.com/v1"
)
MODEL ="gpt-4o-mini"
if __name__ == "__main__":
system_prompt = """
# 角色
你是一个...
"""
user_prompt = "真是一头猪"
tools = [{
"type": "function",
"function": {
"name": "process_illegal_judge",
"strict": True, # 开启严格模式，必须返回JSON格式
"description": "对用户输入进行违规判定，返回结构化JSON结果",
"parameters": {
"type": "object",
"properties": {
"is_illegal": {
"type": "boolean",
"description": "是否违规，仅true/false（小写）"
},
"illegal_type": {
"type": "string",
"description": "违规类型，仅允许'色情'/'暴力'/'辱骂'/'其他'/''"
},
"illegal_words": {
"type": "array",
"description": "违规词列表，无违规则为[]，仅含用户输入的核心词汇"
}
},
"required": ["is_illegal", "illegal_type", "illegal_words"],
"additionalProperties": False# 禁止新增任何额外字段
}
}
}]
messages = [{"role": "system", "content": system_prompt}, {"role": "user", "content": f"判定用户输入是否违规：{user_prompt}"}]
response = client.chat.completions.create(
model=MODEL,
messages= messages,
tools = tools,
tool_choice={# 强制调用，锁死输出格式
"type": "function",
"function": {"name": "process_illegal_judge"}
}
)
if response.choices.message.tool_calls:
result = json.loads(response.choices.message.tool_calls.function.arguments)
print(result)
else:
raise ValueError("模型未调用工具")
</code></pre>
<h1 id="三事后补救json-修复">三、事后补救：JSON 修复</h1>
<p>当软约束偶尔失效，且模型不支持硬约束时，<strong>事后补救就是保障业务不挂的最后一道防线</strong>。</p>
<p>核心是通过轻量技术修复 JSON 异常、应对 API 问题，适配所有大模型，弥补软约束偏差和硬约束适配局限，即便 JSON 格式有误，也能尽力修复、重试，保障服务可用。</p>
<p><img alt="image" loading="lazy" src="https://img2024.cnblogs.com/blog/2525618/202604/2525618-20260429185803832-112235906.png" class="lazyload"></p>
<h2 id="1-正则提取清除冗余内容">1. 正则提取：清除冗余内容</h2>
<p><strong>核心功能</strong>：剔除 <code> ```json</code>包裹、前后冗余话术，提取纯 JSON 文本。</p>
<p><strong>优势</strong>：成本极低、速度极快，实现简单，是后处理的基础步骤。</p>
<p><strong>局限性</strong>：仅提取文本，无法修复 JSON 本身的语法错误（如括号缺失、逗号多余）。</p>
<pre><code class="language-python">import re
def extract_json_from_text(text: str):
"""从大模型输出文本中提取纯JSON内容"""
# 优先匹配markdown json代码块
json_pattern1 = r'```json\s*(\{[\s\S]*?\})\s*```'
match1 = re.search(json_pattern1, text, re.DOTALL)
if match1:
return match1.group(1).strip()
# 兜底匹配最外层的{}，应对所有前后带废话的场景
json_pattern2 = r'(\{[\s\S]*\})'
match2 = re.search(json_pattern2, text, re.DOTALL)
return match2.group(1).strip() if match2 else text
</code></pre>
<h2 id="2-json_repair修复语法错误">2. json_repair：修复语法错误</h2>
<p><strong>核心功能</strong>：自动修复 JSON 轻微语法错误，如末尾多逗号、引号未闭合、缺少括号等。</p>
<p><strong>优势</strong>：本地修复，无需重新调用模型，速度快，有效弥补正则提取的不足。</p>
<p><strong>局限性</strong>：仅修复语法错误，无法解决字段缺失、key 名错误等字段相关问题。</p>
<pre><code class="language-python">import json_repair
import json
def repair_invalid_json(invalid_json_str: str):
"""修复JSON语法错误，如括号缺失、逗号多余等"""
try:
json_str = json_repair.repair_json(invalid_json_str)
return json.loads(json_str)
except Exception as e:
print(f"JSON修复失败：{e}，大模型原始输出：{invalid_json_str}")
return None
</code></pre>
<h2 id="3-pydantic字段规则校验">3. pydantic：字段规则校验</h2>
<p><strong>核心功能</strong>：通过 Python 类定义 JSON 字段规则（格式、类型、取值范围等），全量校验 JSON 合规性。</p>
<p><strong>优势</strong>：可发现所有合规问题（语法、字段、类型），避免因数据不合规导致的线上崩溃。</p>
<p><strong>局限性</strong>：需编写校验模型，增加少量代码复杂度。</p>
<pre><code class="language-python">from pydantic import BaseModel, Field, ValidationError
from typing import Literal
class IllegalJudgeResult(BaseModel, extra="forbid"):
is_illegal: bool = Field(description="是否违规，仅true/false（小写）")
illegal_type: Literal["色情", "暴力", "辱骂", "其他", ""] = Field(description="违规类型，仅允许'色情'/'暴力'/'辱骂'/'其他'/''")
illegal_words: list = Field(description="违规词列表，无违规则为[]")
def validate_json(raw_json: str):
"""全量校验JSON，贴合违规判断需求"""
try:
data = json.loads(raw_json)
return IllegalJudgeResult(**data).model_dump()
except (json.JSONDecodeError, ValidationError) as e:
print(f"JSON校验失败：{e}")
return None
</code></pre>
<h2 id="4-重试机制保障服务可用性">4. 重试机制：保障服务可用性</h2>
<p><strong>核心功能</strong>：API 调用失败后按 1s/2s/4s 指数退避重试。</p>
<p><strong>优势</strong>：对超时、限流、格式错误等异常，大幅提升服务可用性。</p>
<p><strong>局限性</strong>：增加代码复杂度，重试会延长接口调用耗时；</p>
<h1 id="四总结">四、总结</h1>
<p>大模型 JSON 输出异常，本质是模型幻觉与业务确定性需求的矛盾。通过「事前引导→事中约束→事后补救」的全链路解决方案，可实现 JSON 输出稳定合规，适配不同场景、不同类型大模型。</p>
<ul>
<li><strong>事前引导</strong>：通过明确字段规则、提供 Few-Shot 示例、添加校验指令，低成本引导模型输出合规 JSON；</li>
<li><strong>事中约束</strong>：借助 <code>JSON Mode</code>、<code>Structured Outputs</code>、<code>Function Calling</code>，实现硬约束，从源头杜绝异常；</li>
<li><strong>事后补救</strong>：通过正则提取、json_repair 修复、pydantic 校验、指数重试，兜底解决各类异常，保障服务可用。</li>
</ul>
<p><strong>如果这篇文章对你有帮助，不要忘了一键三连哦！</strong></p><br><br>
来源：https://www.cnblogs.com/yifeng-coding/p/19954292
頁:
[1]