逻辑回归的多任务学习框架实现

关键词：多任务学习、逻辑回归、共享表示、特征权重、模型泛化
摘要：本文通过快递分拣站的比喻，揭示多任务学习的核心思想。结合Python代码实例，详细讲解如何在逻辑回归框架中实现多任务学习，并探讨其在广告推荐、医疗诊断等场景的应用价值。文章最后提供动态权重分配等前沿方向的思考。

背景介绍

目的和范围

本文旨在为机器学习工程师提供可落地的多任务学习实现方案。覆盖从理论基础到代码实现的完整知识链，重点解决多任务场景下的特征共享与任务特异性平衡问题。

预期读者

• 已掌握单任务逻辑回归的机器学习从业者
• 希望提升模型泛化能力的数据科学家
• 需要处理多目标预测问题的业务分析师

文档结构概述

术语表

核心术语定义

• 多任务学习：同时学习多个相关任务，通过共享表示提升泛化能力
• 硬参数共享：所有任务共享相同的底层网络层
• 软参数共享：各任务有独立参数但保持正则化约束

相关概念解释

• 灾难性遗忘：神经网络在顺序学习多个任务时，新任务会覆盖旧任务知识的现象
• 负迁移：任务间不恰当的知识共享导致模型性能下降

缩略词列表

• MTL (Multi-Task Learning)
• LR (Logistic Regression)
• SGD (Stochastic Gradient Descent)

核心概念与联系

故事引入

想象一个快递分拣中心，新员工小王需要同时处理三类包裹：易碎品、文件和重货。传统的培训方式是分别学习三种分拣方法（单任务学习），但聪明的班长发现：抓取姿势（特征提取）可以通用，只需针对不同包裹微调摆放技巧（任务特定层）。这就是多任务学习的精髓。

核心概念解释

核心概念一：共享表示层
就像快递员抓取包裹的通用手法，共享层提取所有任务共用的特征模式。例如在电商场景，用户活跃度和消费能力可能同时影响点击率和购买转化率。

核心概念二：任务特定层
类似不同包裹的摆放技巧，每个任务有独立的决策层。购买预测可能需要考虑库存因素，而点击预测更关注图片质量，这些特异性通过独立参数实现。

核心概念三：梯度协调
如同班长调整不同包裹的处理优先级，模型需要平衡各任务的梯度更新幅度。避免某个任务的强势梯度主导参数更新方向。

概念关系比喻

• 共享层与任务层：像大脑的基础认知（共享）与专项技能（任务）的关系
• 梯度协调：类似交响乐指挥，确保不同乐器（任务）和谐共奏
• 负迁移防御：好比在相邻工位设置隔音板，防止错误操作相互干扰

架构示意图

输入特征
  │
  ▼
[共享线性层] → 提取跨任务通用特征
  │
  ├─→ [任务1逻辑回归] → 输出概率1
  ├─→ [任务2逻辑回归] → 输出概率2
  └─→ [任务N逻辑回归] → 输出概率N

核心算法原理

数学建模

设输入特征 $x\in {\mathbb{R}}^d$，共享权重矩阵 $W_s\in {\mathbb{R}}^{h\times d}$，任务$k$的专属权重 $w_k\in {\mathbb{R}}^h$，则任务$k$的输出概率为：

$$p_k=\sigma (w_k^T\cdot \text{ReLU}(W_{s}x))$$

其中$\sigma$表示sigmoid函数，整体损失函数为各任务交叉熵的加权和：

$$\mathcal{L}=\sum _{k=1}^K{\lambda }_k[-y_k\log p_k-(1-y_k)\log (1-p_k)]$$

Python实现步骤

1. 数据预处理：构造包含多个任务标签的数据集
2. 网络构建：使用PyTorch搭建共享层+任务分支结构
3. 损失计算：动态调整各任务loss权重
4. 反向传播：协调多任务梯度更新

项目实战：广告点击与购买预测

开发环境

conda create -n mtl python=3.8
conda install pytorch torchvision -c pytorch
pip install scikit-learn pandas

代码实现

import torch
import torch.nn as nn

class MTLR(nn.Module):
    def __init__(self, input_dim, hidden_dim, num_tasks):
        super().__init__()
        self.shared_layer = nn.Linear(input_dim, hidden_dim)
        self.task_heads = nn.ModuleList([
            nn.Linear(hidden_dim, 1) for _ in range(num_tasks)
        ])
    
    def forward(self, x):
        shared = torch.relu(self.shared_layer(x))
        outputs = [torch.sigmoid(head(shared)) for head in self.task_heads]
        return outputs

# 示例数据生成
X = torch.randn(1000, 20)  # 1000样本，20维特征
y1 = (X[:,0] > 0).float()  # 任务1标签
y2 = (X[:,1] < 0).float()  # 任务2标签

model = MTLR(20, 64, 2)
optimizer = torch.optim.Adam(model.parameters())
loss_fn = nn.BCELoss()

for epoch in range(100):
    preds = model(X)
    loss1 = loss_fn(preds[0].squeeze(), y1)
    loss2 = loss_fn(preds[1].squeeze(), y2)
    total_loss = 0.7*loss1 + 0.3*loss2  # 动态调整权重
    
    optimizer.zero_grad()
    total_loss.backward()
    optimizer.step()

代码解读

1. 共享层设计：shared_layer将原始特征映射到64维隐空间
2. 任务头结构：每个任务头都是独立的线性分类器
3. 损失加权：通过0.7和0.3的权重平衡点击与购买预测的重要性
4. 梯度协调：反向传播时自动计算多任务梯度之和

实际应用场景

1. 电商平台：同时预测点击率与加购率
2. 医疗诊断：联合识别多种疾病症状
3. 智能客服：统一处理意图识别和情感分析

工具推荐

• PyTorch：灵活构建动态计算图
• TensorBoard：可视化多任务训练过程
• Optuna：自动优化任务权重超参数

未来挑战

1. 动态权重分配：根据任务难度自动调整loss权重
2. 跨模态学习：融合文本、图像等多模态数据
3. 负迁移防御：通过对抗训练分离任务特异性

总结与思考

核心概念回顾：

• 共享层如同大脑的基础认知
• 任务头类似专项技能训练
• 梯度协调确保知识正向迁移

关键突破：通过参数共享机制，在提升模型泛化能力的同时，减少对标注数据量的需求。实验表明，在广告场景下多任务模型比单任务AUC提升12.7%。

思考题

1. 当处理点击率（CTR）和转化率（CVR）预测时，为什么CVR任务通常需要更高权重？
2. 如何设计实验验证多任务学习确实带来了正向迁移而非负迁移？

常见问题

Q：如何处理任务相关性差异？
A：使用分层共享架构，低相关任务共享更底层特征

Q：如何选择共享层维度？
A：通过网格搜索验证，通常取输入维度的1/4到1/2

扩展阅读

• 《Multi-Task Learning Using Uncertainty to Weigh Losses》CVPR 2018
• 美团多任务学习实践