Python 中的合成数据：工具和示例

# 使用 Python 生成合成数据：开发者的工具与实践

合成数据正成为开发、机器学习和测试中至关重要的资源。它能绕过法律限制、模拟罕见场景，并加速开发周期，而无需真实数据。本文深入探讨关键 Python 库——从 Faker 到 GAN——并提供代码示例和选择合适方法的提示。

Faker：生成逼真假数据的首选工具

Faker 库能生成虚构但外观逼真的数据：姓名、地址、电子邮件、卡号等等。它不注重统计精确性——目标是模仿真实记录的结构和格式。这让 Faker 非常适合填充演示环境、模拟 API，以及匿名化开发/测试环境。

以下是生成在线商店用户资料的示例：

import pandas as pd
from faker import Faker
import json

fake = Faker('ru_RU')

def generate_user_profile():
    profile = {
        "name": fake.name(),
        "email": fake.email(),
        "phone": fake.phone_number(),
        "address": fake.address(),
        "payment_method": fake.credit_card_provider(),
        "order_history": [
            {
                "order_id": fake.uuid4(), 
                "date": fake.date_between(start_date='-1y').strftime('%Y-%m-%d'), 
                "total": fake.random_int(min=1000, max=10000)
            }
            for _ in range(fake.random_int(min=0, max=10))
        ]
    }
    return profile

user_profiles = [generate_user_profile() for _ in range(100)]
df = pd.json_normalize(user_profiles, sep='_')

这些数据非常适合用户界面测试、负载测试和演示，但不适合训练机器学习模型——因为缺少相关性和真实分布。

Scikit-learn：用于机器学习的合成数据

对于机器学习任务，你需要具有可控统计属性的数据。Scikit-learn 提供了 make_classification、make_regression 和 make_blobs 等函数，用于生成指定类别数、噪声水平、相关性和平衡的数据集。

示例：创建带有罕见类别的平衡数据集：

from sklearn.datasets import make_classification

X, y = make_classification(
    n_samples=10000,
    n_features=20,
    n_informative=10,
    n_redundant=5,
    n_clusters_per_class=1,
    weights=[0.95, 0.05],  # 5% rare class (e.g., fraud)
    flip_y=0.01,
    random_state=42
)

这种方法让你即使没有真实罕见事件数据，也能原型化模型。不过，这些数据集是线性的或仅轻微非线性，无法捕捉真实业务流程的复杂性。

高级工具：SDV 和 Gretel Synthetics

当你需要保留特征间复杂依赖关系时（例如，年龄 → 收入 → 购买类型），请转向更强大的解决方案：

• Synthetic Data Vault (SDV) 使用概率模型（如高斯 Copula）来捕捉多维分布和条件依赖。
• Gretel Synthetics 基于 Transformer 构建，通过差分隐私提供高隐私性。

这两个工具都需要初始数据集来训练生成器，但输出在保持与原始数据统计等价性的同时，不会泄露个人信息。

生成对抗网络 (GAN)

在层次结构顶端是 GAN。它们由两个神经网络组成：生成器和判别器。生成器创建合成样本，而判别器试图将它们与真实样本区分开来。通过训练，两个网络不断改进，直到合成数据与原始数据无法区分。

使用 PyTorch 生成表格数据的示例：

import torch
import torch.nn as nn

class Generator(nn.Module):
    def __init__(self, input_dim, output_dim):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(input_dim, 128),
            nn.ReLU(),
            nn.Linear(128, 256),
            nn.ReLU(),
            nn.Linear(256, output_dim),
            nn.Tanh()
        )
    
    def forward(self, x):
        return self.net(x)

class Discriminator(nn.Module):
    def __init__(self, input_dim):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(input_dim, 256),
            nn.LeakyReLU(0.2),
            nn.Linear(256, 128),
            nn.LeakyReLU(0.2),
            nn.Linear(128, 1),
            nn.Sigmoid()
        )
    
    def forward(self, x):
        return self.net(x)

GAN 能提供最大真实度，但需要大量计算资源和深度学习专业知识。

比较各种方法与推荐

工具选择取决于目标：

• 用户界面测试 / 演示环境 → Faker（快速、简单、外观逼真）。
• 机器学习模型原型化 → Scikit-learn（可控参数，无缝集成生态）。
• 替换敏感数据同时保留统计特性 → SDV 或 Gretel Synthetics。
• 生产模型的最大真实度 → GAN（如果你有数据和资源）。

关键要点

• 合成数据无法取代真实数据，但能加速开发并降低风险。
• Faker 适合结构模仿，但不适合机器学习。
• 对于机器学习，保留分布和相关性至关重要——使用 Scikit-learn、SDV 或 GAN。
• 始终评估合成数据质量：比较统计数据、可视化分布，并训练测试模型。
• 即使是“干净”的合成数据，也需注意伦理风险和继承偏差。

— Editorial Team