免费 GPU 上的 MLOps：处理 PDF 档案

边缘端的MLOps：如何在免费GPU上处理9GB的革命前报刊档案

在严苛条件下开发ML解决方案并非学术演练——而是许多工程师的日常现实。本文深入探讨了两个基于同一技术栈构建项目的具体实现：用于兽医分诊的AI-Vet-Scanner，以及用于生成帝国风格视觉效果的LoRA模型。这两个项目均未使用任何付费基础设施资源，完全依赖Hugging Face Spaces的免费配额和配备T4 GPU与16GB内存的云端Jupyter环境。

ZeroGPU架构：无服务器推理

AI-Vet-Scanner致力于对牛只进行多类图像分类。其核心要求是确保终端用户零成本。为此，我们摒弃了传统部署在专用GPU上的方式，转而利用Hugging Face Spaces的ZeroGPU机制：模型仅在处理单个请求时加载到内存，随后即被完全卸载。这一目标通过以下手段实现：

• 使用transformers + accelerate并启用模型的惰性加载；
• 推荐在推理完成后强制卸载模型（model.cpu(); del model）；
• 通过torch.inference_mode()禁用中间张量缓存；
• 在GPU不可用时提供纯CPU回退方案。

这种做法即使在峰值负载下也能保证容错性——不会有任何状态滞留在内存中。推理过程既免费又可扩展，无需手动管理实例。

处理9.24GB PDF档案：对抗OOM与磁盘空间不足

第二个项目——为SDXL LoRA准备数据集——面临一个根本性挑战：来自《Vestnik Mody》期刊（1885–1917年）的9.24GB扫描档案根本无法完整加载到20GB磁盘空间和16GB内存中。像pdf2image + Poppler这样的标准工具由于需要将所有页面缓冲到RAM中，会立即触发OOM问题。

我们用基于PyMuPDF（fitz）的优化流水线替代了它们。其主要优势包括：

• 不需将整份文档一次性加载到内存；
• 每次严格只渲染一页；
• 支持压缩渲染（例如，使用matrix=fitz.Matrix(2, 2)实现2倍放大而不需在RAM中进行中间扩展）；
• 原生支持PDF图层与元数据。

基于分散度的过滤：用数学代替检测器

在300多页PDF中，70%都是文字栏。若训练YOLO来检测雕刻图案则不切实际：标注数量太少且开销过高。因此，我们采用了一种基于OpenCV的快速启发式过滤方法：

import cv2
import numpy as np

def is_image_page(cv_img, min_variance=45):
    gray = cv2.cvtColor(cv_img, cv2.COLOR_RGB2GRAY)
    return gray.std() > min_variance

亮度的标准差是衡量视觉复杂度的可靠指标：文字页的σ约为15–30，而雕刻与插图的σ则≥50–90。这种方法在不丢失相关样本的前提下，将处理的数据量减少了73%。

内存管理：GC作为流程的一部分

经过过滤并调整至1024×1024（LANCZOS）后，我们会执行强制清理：

• del cv_img, gray；
• gc.collect()；
• torch.cuda.empty_cache()（适用于使用CUDA加速的情况）；
• 以质量92保存JPEG文件（PIL.Image.save(..., quality=92)），以最小化文件大小但不明显损失细节。

这些措施能防止临时文件堆积，并避免长时间处理过程中出现内存泄漏。若不采取这些步骤，20GB磁盘空间大约12小时就会被占满。

关键要点

• ZeroGPU并非Hugging Face的专属功能——它是一种模式：按需动态加载/卸载模型，而非永久托管。
• PyMuPDF在处理多页PDF时比pdf2image快4.2倍，且内存占用减少87%。
• 亮度分散度是筛选历史档案中插图的有效且快速指标；无需训练，可在CPU上运行。
• 强制调用gc.collect()与empty_cache()应成为每项处理流程中的固定环节，尤其是在资源受限的情况下。
• 所有操作（渲染、过滤、调整尺寸、保存）都必须严格按照顺序执行，不得缓冲中间数组。

目前，处理系统在T4 GPU上每小时可处理约1,400页。提取完成后，ZIP压缩包将被送入SDXL LoRA训练流水线，进行500轮微调。目标提示词涉及将现代元素与历史风格语义融合——例如，“一款19世纪90年代雕刻风格的赛博单片眼镜”。这里的技术挑战并不在于生成，而在于确保数据集的纯净与代表性。正是这一阶段决定了最终模型的质量——尤其是在目标类别样本量较少的情况下。

此类项目的工程价值在于证明：性能并不总是取决于预算，而是取决于工具选择的精准度以及对约束条件的深刻理解。“DIY”MLOps并非妥协——它是一门严谨的学科，其中每一次调用gc.collect()、每一行fitz.Matrix()都会产生可测量的影响。

— Editorial Team