多变量视觉输入
使用 12 类气象变量，包含温度、风、气压与云量等，将城市周边的大气状态呈现为热力图。
STEM / EARTH SCIENCE
WeatherSyn
ICML 2026
An Instruction Tuning MLLM For Weather Forecasting Report Generation
让多模态模型读取气象变量图，并按指定日期与气象要素生成天气预报报告。WeatherSyn 将领域数据构建、可控指令与多阶段后训练结合起来。
31美国城市
8气象要素类别
1,2922022 年测试报告
01 / TASK & DATA
把多源气象信息，组织成可学习的任务。
论文提出 Weather Forecasting Report（WFR）任务：给定城市、时间、气象变量热力图与指令，生成对应的多日天气报告。WSInstruct 将 ERA5 气象数据的可视化与专家撰写的报告配对，并将文本整理为按日期和要素组织的监督数据。
日期与要素控制
报告按 Day 1–Day 4 组织，覆盖温度、风、湿度、锋面、气压系统、波动形态、风流系统与天气事件。
结构化指令数据
时间分段、气象事实提取与一致性检查相结合，并对测试集抽取结果进行人工校正；基础数据为 6,344 组图像—报告配对。
02 / POST-TRAINING
三阶段训练，连接图像、事实与表达。
SFT · 学习领域任务
在 Qwen3-VL-8B 上进行监督微调，学习从多变量气象图与控制指令生成对应报告。
RFT · 拒绝采样微调
对候选报告提取气象事实并评分，筛选事实一致且表达多样的样本，构建增强语料，再微调基础模型。
DPO · 偏好优化
利用 1,241 组偏好样本，偏好事实评分较高的报告，对 RFT 模型进行进一步对齐。
这里的 RFT 指 Rejection Sampling Fine-Tuning（拒绝采样微调）。数据规模与训练阶段据论文 Table 1 和 §3。
03 / EVALUATION
同时看事实匹配与报告质量。
| 模型 / 设置 | 自动事实 F1 | 人工校正事实 F1 | LLM 事实一致性 Top-1 |
|---|---|---|---|
| WeatherSyn · SFT | 0.55 | 0.54 | 0.11 |
| WeatherSyn-RFT | 0.59 | 0.59 | 0.16 |
| WeatherSyn-DPO | 0.59 | 0.59 | 0.33 |
| Gemini-3 Pro Preview · 2-shot | 0.60 | 0.60 | 0.24 |
F1 为气象事实类别的加权 F1；Top-1 是在 144 份抽样报告中、经多个 LLM 评审汇总的排名第一比例，不是预报正确率。完整测试集为 1,292 份报告。不同指标不直接等同。
结果如何理解
RFT 将自动事实 F1 从 0.55 提升至 0.59；DPO 的 F1 保持 0.59，同时提高了 LLM 评审中的事实一致性 Top-1 比例。Gemini-3 Pro Preview 在总体事实 F1 上仍略高；WeatherSyn-DPO 在气压系统和波动形态上分别达到 0.72、0.65（Table 3）。
04 / GENERALIZATION
观察跨城市与跨区域的迁移。
论文设计了同区域未见城市、美国北部到南部、东部到西部三类实验。报告显示，RFT 模型在这些设置下的零样本结果超过所比较的 Claude-3.7-Sonnet 与 GPT-5-Nano 两样本结果（Figure 5）。
研究范围
实验基于美国城市和历史气象数据，主要衡量生成报告与专家参考报告的一致性。结果体现领域报告生成能力；全球地区、实时业务与独立气象预报准确性的验证仍需相应评估。