一、简介

在工业控制、车载自动驾驶、航天嵌入式、工业网关实时数据采集等关键场景中，硬实时、强确定性是操作系统运行的核心底线。标准 Linux 内核采用 CFS 完全公平调度器，侧重普通进程时间片公平分配、系统整体吞吐优化，无法满足微秒级延迟、任务抢占无抖动的实时诉求。为此 Linux 内核原生集成RT 实时调度子系统，提供 SCHED_FIFO、SCHED_RR 两类实时调度策略，专门承载高优先级实时业务进程。

在多核 SMP 架构普及的当下，单 CPU 核心绑定过多高优先级 RT 任务时，会出现单核 CPU 满载、其余核心资源闲置的极端负载失衡问题。RT 任务具备不可抢占、长期独占 CPU 运行的特性，一旦负载分配不均，会直接引发实时任务调度延迟、关键业务响应超时、硬件控制指令丢包等致命故障。

balance作为 RT 调度子系统中跨核负载均衡的核心入口函数，是 SMP 架构下实时内核的关键底层机制。该函数依托内核调度域、调度组架构，遍历 CPU 调度队列、统计 RT 任务负载、筛选空闲 / 低负载核心，完成过载 CPU 上 RT 任务的迁移调度，从内核底层保障多核环境下 RT 任务负载均匀分布。

本文基于原生 Linux 5.15 长期支持内核（工业实时场景主流版本），从源码层拆解 RT balance 完整执行链路、核心数据结构、关键分支逻辑，结合内核调试命令、模块测试代码、现场排障案例，落地实战级解析。无论对于嵌入式 Linux 驱动开发、实时操作系统裁剪优化、工业控制内核调优，还是内核底层源码研究、操作系统相关论文调研，掌握 RT 负载均衡 balance 机制，都是理解 Linux 实时调度架构、解决多核实时业务抖动问题的核心必备能力。

二、核心概念

2.1 实时调度基础策略

1. SCHED_FIFO：先来先服务实时调度策略，同优先级任务按入队顺序执行，高优先级任务可直接抢占低优先级任务，无时间片轮转，是硬实时场景最常用策略。
2. SCHED_RR：时间片轮转实时策略，同优先级 RT 任务分配固定时间片，时间片耗尽后主动让出 CPU，兼顾实时性与多任务并发。
3. RT 任务优先级：Linux RT 任务优先级范围为 0~99，数值越大优先级越高，完全独立于普通 CFS 进程静态优先级，优先级一旦设定，高优先级任务优先占用 CPU 资源。

2.2 SMP 调度域与负载基础

1. 调度域（sched_domain）：内核将物理 CPU 按拓扑结构划分层级调度域，包含物理核、CPU 簇、整机多级结构，负载均衡仅在同调度域内执行，减少跨 NUMA 节点调度开销。
2. 调度组（sched_group）：调度域下的最小负载统计单元，用于统计组内 CPU 的 RT 任务数量、运行耗时、负载权重，是 balance 负载计算的基础单元。
3. RT 过载判定：内核通过rt_nr_running统计单 CPU 就绪队列中 RT 任务数量，当单核心 RT 任务数超出阈值、或 CPU 持续满负载运行时，判定当前 CPU 为过载状态，触发 balance 均衡流程。

2.3 RT balance 核心术语

1. rt_balance：RT 专属负载均衡入口逻辑，区别于 CFS 进程的普通负载均衡，仅针对 SCHED_FIFO/SCHED_RR 任务生效。
2. 任务迁移（migration）：balance 核心动作，将过载 CPU 运行队列中的低优先级 RT 任务，迁移至空闲或轻负载 CPU 核心。
3. pull/push 机制：RT 均衡分为 pull（空闲核心主动拉取远端 RT 任务）、push（过载核心主动推送本地任务）两种执行模式，适配不同 CPU 负载场景。
4. rt_nr_migratory：可迁移 RT 任务计数标记，限制高优先级核心独占任务迁移，避免频繁任务切换引发调度抖动。

三、环境准备

3.1 软硬件环境

• 操作系统：Ubuntu 20.04 Server / CentOS Stream 9，内核版本 Linux 5.15.100 LTS（工业实时通用稳定版）
• 硬件架构：x86_64 多核 CPU（4 核 8 线程及以上，满足 SMP 多核调试需求）
• 编译依赖：gcc 9.4.0、make、libncurses-dev、bison、flex、libelf-dev
• 调试工具：gdb、crash、perf、trace-cmd、ftrace、sysstat 工具集

3.2 内核源码与编译配置

1. 下载指定版本内核源码

# 安装基础依赖
apt update && apt install -y gcc make bison flex libelf-dev libncurses-dev

# 下载Linux 5.15内核源码
wget https://cdn.kernel.org/pub/linux/kernel/v5.x/linux-5.15.100.tar.xz
tar -xf linux-5.15.100.tar.xz
cd linux-5.15.100

1. 开启 RT 调度与负载均衡调试配置执行内核配置编译，开启实时调度、调试追踪、SMP 负载均衡相关选项：

# 拷贝系统默认内核配置
cp /boot/config-$(uname -r) .config

# 打开图形化配置界面
make menuconfig

需要手动开启的核心配置项：

CONFIG_SMP=y                # 开启多核SMP架构
CONFIG_PREEMPT_RT=y         # 开启实时抢占补丁（原生RT内核核心）
CONFIG_SCHED_FIFO=y         # 启用FIFO实时调度
CONFIG_SCHED_RR=y           # 启用RR实时调度
CONFIG_SCHED_DEBUG=y        # 调度器调试开关
CONFIG_FTRACE=y             # 内核函数追踪，用于抓取balance执行流程
CONFIG_DEBUG_SCHED=y        # 调度器详细日志输出

1. 内核编译与安装

# 多核编译，加速编译过程 -j后为CPU核心数
make -j4
make modules_install
make install

# 更新系统引导
update-grub
reboot

1. 验证环境配置重启后执行以下命令，确认 RT 调度与 SMP 环境生效：

# 查看内核版本与RT抢占模式
uname -r
cat /proc/config.gz | grep PREEMPT_RT

# 查看CPU核心数，确认SMP架构
nproc
lscpu

3.3 调试工具安装

# 安装性能分析与调度追踪工具
apt install -y perf trace-cmd ftrace-tools crash

四、应用场景

RT 调度器 balance 负载均衡机制广泛落地于多核实时业务场景。工业 PLC 运动控制设备中，多轴电机控制、传感器数据采集、设备告警检测均以高优先级 RT 任务运行，多核环境下依靠 balance 机制分散任务负载，防止单核心过载导致运动控制指令卡顿。车载域控制器多核架构中，自动驾驶感知、底盘控制、车身安全等实时任务依赖跨核负载均衡，保障不同核心负载均衡，规避局部核心负载过高引发的延迟抖动。同时在航天嵌入式实时处理、电力系统继电保护、高频数据采集网关等场景，多核 RT 任务并发运行时，balance 函数通过动态任务迁移，平衡各 CPU 负载，在不破坏实时抢占规则的前提下，最大化多核硬件资源利用率，是实时系统稳定性的底层保障。

五、实际案例与步骤

5.1 RT balance 核心源码溯源

Linux 5.15 内核中，RT 负载均衡核心逻辑全部收敛在 kernel/sched/rt.c 文件，所有 balance 相关函数、负载统计、任务迁移逻辑均在此实现。

5.1.1 核心函数调用链路

// 调度周期触发入口
static void sched_rt_period_timer(struct rt_rq *rt_rq)
{
    // 定时触发RT负载均衡检测
    if (sched_rt_can_balance(rt_rq)) {
        rt_balance(rt_rq);
    }
}

// RT负载均衡主入口函数
void rt_balance(struct rt_rq *rt_rq)
{
    struct rq *rq = rq_of_rt_rq(rt_rq);
    struct sched_domain *sd;

    // 遍历当前CPU所属所有调度域
    for_each_domain(rq->cpu, sd) {
        // 优先执行pull拉取均衡
        if (rt_pull_task(sd, rq->cpu))
            return;
    }

    // pull失败后，执行push推送过载任务
    rt_push_tasks(rq->cpu);
}

代码说明：sched_rt_period_timer 为定时节拍回调函数，周期性检测当前 CPU 的 RT 运行队列状态；rt_balance 是 RT 均衡总入口，采用先 pull 后 push的双重均衡策略，空闲核心主动拉取任务优先，减少主动推送带来的性能开销。

5.1.2 过载判定核心逻辑

// 判断当前CPU RT队列是否过载
static inline bool rt_rq_overloaded(struct rt_rq *rt_rq)
{
    // rt_nr_running：当前CPU就绪RT任务总数
    // 阈值默认：单核心RT任务大于1即判定过载（可内核参数调整）
    return rt_rq->rt_nr_running > 1;
}

// 判定是否允许执行RT负载均衡
bool sched_rt_can_balance(struct rt_rq *rt_rq)
{
    // 禁止场景：内核抢占关闭、中断上下文、禁止任务迁移
    if (preempt_disabled() || in_interrupt() || rt_rq->rt_no_balance)
        return false;

    return rt_rq_overloaded(rt_rq);
}

代码说明：内核默认以rt_nr_running数量作为过载判定标准，同时增加上下文校验，禁止在中断、关抢占等临界场景执行负载均衡，避免内核死锁、任务异常迁移。

5.2 pull 模式：空闲核心主动拉取 RT 任务

pull 是 RT balance 的核心优选逻辑，空闲 CPU 主动遍历同调度域内其他核心的过载 RT 队列，筛选可迁移任务并拉取。

static bool rt_pull_task(struct sched_domain *sd, int this_cpu)
{
    struct sched_group *sg;
    int cpu;

    // 遍历调度域下所有调度组
    for_each_sched_group(sd, sg) {
        // 遍历组内所有CPU核心
        for_each_cpu(cpu, sg->span) {
            if (cpu == this_cpu)
                continue;

            // 筛选远端过载CPU
            if (!rt_rq_overloaded(&cpu_rq(cpu)->rt))
                continue;

            // 从远端CPU拉取可迁移RT任务
            if (rt_try_pull_one_task(this_cpu, cpu)) {
                return true;
            }
        }
    }
    return false;
}

代码说明：

1. 基于调度域、调度组层级遍历，严格遵循 CPU 拓扑架构，限制跨 NUMA 节点调度；
2. 跳过当前 CPU，仅处理远端过载核心；
3. 调用rt_try_pull_one_task执行单次任务拉取，拉取成功后直接返回，避免单次均衡迁移过多任务。

5.3 push 模式：过载核心主动推送任务

当调度域内无空闲 CPU、pull 逻辑无法生效时，balance 切换为 push 模式，过载核心主动向外推送低优先级 RT 任务。

static void rt_push_tasks(int this_cpu)
{
    struct rq *this_rq = cpu_rq(this_cpu);
    struct rt_rq *this_rt = &this_rq->rt;
    struct task_struct *task;

    // 遍历本地RT就绪队列
    list_for_each_entry(task, &this_rt->rt_queue, se.entry) {
        // 过滤：高优先级任务禁止迁移，保障核心实时业务
        if (task->prio < RT_MIGRATE_PRIO_LIMIT)
            continue;

        // 查找最优目标迁移CPU
        int target_cpu = rt_find_light_load_cpu(this_cpu);
        if (target_cpu >= 0) {
            // 执行任务跨核迁移
            rt_migrate_task(task, this_cpu, target_cpu);
            break;
        }
    }
}

代码说明：

1. 遍历本地 CPU 的 RT 任务就绪队列，按优先级筛选可迁移任务；
2. 高优先级核心任务禁止迁移，避免关键实时业务被调度切换；
3. 通过rt_find_light_load_cpu计算全网负载最低的 CPU，作为迁移目标。

5.4 关键数据结构：rt_rq 运行队列

// 内核源码：kernel/sched/rt.c 实时任务运行队列结构体
struct rt_rq {
    // RT任务就绪队列链表
    struct list_head rt_queue;
    // 当前CPU就绪RT任务总数
    unsigned int rt_nr_running;
    // 可迁移RT任务计数
    unsigned int rt_nr_migratory;
    // 均衡锁，防止并发均衡冲突
    raw_spinlock_t rt_lock;
    // 禁止均衡标记
    bool rt_no_balance;
};

字段实战解读：

• rt_nr_running：全局负载统计核心字段，top、perf等工具读取该数值展示实时任务负载；
• rt_nr_migratory：限制高频迁移，只有该计数大于 0 时，才允许任务跨核调度；
• rt_no_balance：临时关闭均衡开关，驱动层可手动设置，规避特殊业务场景调度干扰。

5.5 实战代码：自定义 RT 任务压测，复现负载失衡与均衡

编写 C 语言测试程序，创建多线程 SCHED_FIFO 实时任务，绑定单核 CPU，模拟过载场景，观测 balance 均衡效果。

// rt_load_test.c 多核RT负载压测程序
#define _GNU_SOURCE
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <pthread.h>
#include <sched.h>
#include <signal.h>

// 实时任务优先级
#define RT_TASK_PRIO 50
// 测试线程数量
#define RT_THREAD_NUM 4

// 线程循环死循环，占用CPU
void *rt_task_func(void *arg)
{
    // 设置线程为SCHED_FIFO实时调度策略
    struct sched_param param;
    param.sched_priority = RT_TASK_PRIO;
    pthread_setschedparam(pthread_self(), SCHED_FIFO, &param);

    // 死循环占用CPU，模拟实时业务持续运行
    while(1) {
        ;
    }
    return NULL;
}

int main(int argc, char *argv[])
{
    pthread_t tid[RT_THREAD_NUM];
    cpu_set_t cpuset;

    // 清空CPU掩码，绑定所有任务到CPU0，制造单核过载
    CPU_ZERO(&cpuset);
    CPU_SET(0, &cpuset);

    for(int i = 0; i < RT_THREAD_NUM; i++) {
        pthread_create(&tid[i], NULL, rt_task_func, NULL);
        // 绑定线程至CPU0
        pthread_setaffinity_np(tid[i], sizeof(cpu_set_t), &cpuset);
        printf("创建RT实时线程 %d，绑定CPU0\n", i);
    }

    // 阻塞等待线程运行
    pause();
    return 0;
}

编译与运行命令：

# 编译实时测试程序
gcc rt_load_test.c -o rt_load_test -lpthread

# 实时任务需要root权限运行
sudo ./rt_load_test

5.6 内核态调试：追踪 rt_balance 执行流程

通过 ftrace 抓取rt_balance、rt_pull_task、rt_push_tasks函数调用栈，直观查看负载均衡执行过程。

# 1. 开启ftrace函数追踪
echo nop > /sys/kernel/debug/tracing/current_tracer
echo 1 > /sys/kernel/debug/tracing/options/function_graph

# 2. 追踪RT均衡核心函数
echo rt_balance >> /sys/kernel/debug/tracing/set_ftrace_filter
echo rt_pull_task >> /sys/kernel/debug/tracing/set_ftrace_filter
echo rt_push_tasks >> /sys/kernel/debug/tracing/set_ftrace_filter

# 3. 开启追踪
echo 1 > /sys/kernel/debug/tracing/tracing_on

# 4. 运行压测程序，复现负载均衡
sudo ./rt_load_test

# 5. 查看追踪日志，分析balance执行链路
cat /sys/kernel/debug/tracing/trace

# 6. 关闭追踪
echo 0 > /sys/kernel/debug/tracing/tracing_on

5.7 负载状态查看命令

# 查看全局CPU负载，观察单核过载、多核空闲状态
mpstat -P ALL 1

# 查看进程调度策略与优先级
ps -eo pid,pcpu,pri,psr,cmd | grep rt_load_test

# 查看内核RT运行队列统计信息
cat /proc/sched_debug | grep -E "rt_nr_running|cpu"

六、常见问题与解答

Q1：RT 任务绑定 CPU 后，balance 负载均衡不生效？

原因：通过cpu_setaffinity_np手动绑定 CPU 硬亲和性，内核任务迁移逻辑会跳过绑定任务，禁止跨核调度。解决方案：开发阶段非必要不设置实时任务 CPU 硬绑定；如需固定核心业务，可通过调度域隔离配置，而非线程层亲和性绑定。

Q2：开启 PREEMPT_RT 后，rt_balance 频繁触发，导致系统 CPU 占用过高？

原因：RT 均衡定时器周期过短、可迁移任务阈值过低，频繁 pull/push 任务引发调度开销。解决方案：修改内核参数sysctl kernel.sched_rt_balance_period，延长均衡检测周期；调高rt_nr_running过载判定阈值，减少无效均衡检测。

Q3：高优先级 RT 任务始终无法被迁移，负载均衡只迁移低优先级任务？

原因：内核原生保护机制，高优先级实时任务为核心业务，默认禁止 push 迁移，防止关键业务调度抖动。解决方案：修改rt_push_tasks中优先级过滤阈值，仅在业务允许的场景下放开高优先级任务迁移，生产环境不建议修改。

Q4：SMP 多核环境下，仅单个 CPU 触发 rt_balance，其他核心无均衡动作？

原因：调度域划分异常、CPU 拓扑识别错误，导致负载均衡仅在局部调度组执行。解决方案：检查内核 SMP、CPU 拓扑配置，关闭 NUMA 自动隔离；通过echo 1 > /proc/sys/kernel/sched_domain_debug打印调度域日志，修复拓扑识别异常。

Q5：ftrace 无法抓取到 rt_balance 函数调用日志？

原因：内核未开启CONFIG_DEBUG_SCHED、CONFIG_FTRACE调度调试配置，函数被内联优化。解决方案：重新编译内核，完整开启调度调试与追踪配置；关闭内核 O2 以上高级优化，避免核心函数内联。

七、实践建议与最佳实践

7.1 RT 负载均衡调优技巧

1. 分级调度域隔离工业多核设备建议按业务类型划分调度域，控制、采集类高实时业务独立调度域，普通后台业务隔离部署，避免相互抢占与无效负载迁移。

2. 合理配置 RT 任务优先级严格划分 RT 任务优先级层级，核心控制任务设置 70~99 高优先级，非关键辅助实时任务设置 30~50 中低优先级，为 balance 任务迁移预留筛选空间。

3. 动态调整均衡周期通过内核参数动态适配业务场景：低延迟高频业务缩短均衡周期，大算力实时业务延长均衡周期，平衡负载均匀性与调度性能开销。

7.2 调试与排障最佳实践

1. 优先使用 ftrace 追踪调度链路相比于 gdb 动态调试，ftrace 轻量化、无侵入，可在线上生产环境抓取rt_balance调用时机、执行耗时，快速定位均衡失效、频繁迁移等问题。

2. 结合 perf 分析调度延迟

# 统计RT调度相关函数CPU占用
perf top -g --sort cpu | grep rt_

# 录制实时任务调度延迟日志
perf record -g ./rt_load_test

1. 禁止中断上下文执行负载均衡驱动开发中，中断、下半部临界代码段需保持简短，禁止在中断上下文阻塞或延时操作，防止占用 RT 队列锁，阻塞 balance 均衡流程。

7.3 生产环境内核配置规范

1. 线上实时产品固定 LTS 长期内核版本（5.15/6.1），避免主线内核迭代带来的调度逻辑变更；
2. 关闭 RT 调度冗余调试日志，降低内核打印开销；
3. 禁用自动 NUMA 均衡，NUMA 架构设备手动绑定调度组，保障 RT 负载均衡稳定性；
4. 保留sched_debug调试开关，便于后期现场问题排查。

7.4 代码开发规范

二次开发修改 RT 调度逻辑时，必须加自旋锁保护，rt_rq->rt_lock是 RT 队列操作唯一锁，多并发场景下遗漏锁保护会引发链表崩溃、内核 Oops。

// 标准RT队列操作锁使用规范
raw_spin_lock(&this_rt->rt_lock);
// 操作rt_queue、rt_nr_running等核心字段
raw_spin_unlock(&this_rt->rt_lock);

八、总结与应用延伸

本文基于 Linux 5.15 RT 内核，从理论概念、环境搭建、源码解析、代码实战、调试排障全流程，深度拆解了rt_balance函数为核心的 RT 实时负载均衡执行机制。重点梳理了 SMP 架构下 pull 拉取、push 推送双模式均衡逻辑，解析了rt_rq、rt_nr_running、rt_nr_migratory等核心数据结构与字段作用，结合可直接复现的压测代码、内核调试命令、常见故障案例，完整落地实战级技术内容。

RT balance 负载均衡机制是多核 Linux 实时系统的核心基石，解决了传统单核心 RT 任务部署的资源浪费、单核过载问题，在工业自动化、航天实时处理、车载控制、电力安防等强实时场景中不可或缺。不同于 CFS 普通进程的公平负载均衡，RT 均衡以实时性优先、负载均衡为辅为设计原则，通过优先级过滤、调度域限制、临界场景保护，在不破坏实时抢占确定性的前提下，实现多核资源合理利用。

对于开发者而言，深入理解 RT balance 执行流程，不仅可以解决项目中多核实时任务卡顿、CPU 负载不均、调度抖动等实际问题，也能为内核裁剪、实时系统定制、调度算法优化提供底层理论支撑。后续可基于本文源码逻辑，进一步拓展自研负载均衡策略、定制化 RT 任务迁移规则、结合 cgroup 实现实时任务分组负载管控，将底层调度知识真正落地到工业嵌入式、实时控制等工程项目中。