大模型微调简单实战

qq_37221867

319人浏览 · 2025-03-18 17:41:39

qq_37221867 · 2025-03-18 17:41:39 发布

1. 全参数微调（Full Fine-Tuning）

技术原理：对整个预训练模型的所有参数进行更新
典型场景：领域知识深度对齐（如医疗病历分析、法律文书生成）

2. 参数高效微调（PEFT）

方法	参数量占比	显存消耗	训练速度	适用场景
LoRA	0.1%-1%	降低40%	快2-3倍	通用指令跟随
Adapter	1%-3%	降低35%	快1.5倍	多任务持续学习
Prefix	0.5%-2%	降低50%	快5倍	少样本快速适配

LoRA配置示例：

数据集

在这里插入图片描述

计算资源

在这里插入图片描述

步骤

1，先进行pretrain_hq.jsonl 数据集

训练时长

总计花费1天时间，包含gpu训练时长和踩坑

最后成果

我是谁测试结果

参考项目：https://www.modelscope.cn/datasets/gongjy/minimind_dataset

天工造物局

北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台

更多推荐

Handy 离线语音转写教程：免费开源，本地跑不连网

你肯定遇到过：语音输入 5 分钟，云转写服务要登录、要付费；或者出差没网，想口述一段会议纪要，发现全都没法用。Handy 离线语音转写工具就是为解决这个问题做的，声音全程不出你的电脑。## 🎯 这个工具是什么Handy 是一款免费、开源、跨平台（Windows / macOS / Linux）的离线语音转写应用。按住快捷键说话，松手后文字直接粘贴进任意输入框，全程不联网。核心能力就三条：

天工造物局

Supabase Edge Functions 编写与部署完整指南：Deno 运行时上的无服务器利器

Supabase Edge Functions 是基于 Deno 运行时编写、面向 Web 的无服务器函数服务，帮你把后端逻辑部署到全球边缘节点。作为 Postgres 开发平台的核心能力之一，它让你用 TypeScript 就能快速搭建低延迟的 API 端点、Webhook 接收器和 AI 集成服务，无需管理任何服务器。本文将从零带你完成一个 Edge Function 的创建、本地调试与全球部

天工造物局

celld从v0.1.0到v0.2.0为何不能滚动升级：两个破坏性变更详解

celld 是一个自托管、分布式的 Durable Objects 开源守护进程，它在你自己的机器上运行 Cloudflare Workers，每个对象对应一个独立的 SQLite 数据库，并持续复制到你自己拥有的 S3 兼容存储桶中。如果你正准备把 v0.1.0 的集群（fleet）升级到 v0.2.0，这篇文章必须先读：这次升级**不能滚动升级**，必须采用"先停光、再启动"的一次性发布方式。