1. 创建数据集

百度智能云千帆大模型平台



1)创建数据集并拆取所需内容

使用大模型生成SFT精调格式数据

请基于我提供的研报内容生成100个QA对,格式要求:
[问题]: 问题文本
[答案]: 答案文本
研报内容:{{file_content}}

创建数据集 

  • 大模型拆解功能:通过大模型自动解析文档(PDF/Word),生成问答对格式的数据集
  • 数据格式要求:采用SFT精调模式,需保持"问题-答案"的配对结构
  • 操作示例:上传研报后自动生成100个问答对,如"2023年营业收入是多少?答案:57.61亿元"
2)创建数据集并上传文档

  • 命名规范:中英文数字组合,不超过60字符
  • 模式选择:需明确选择有监督微调(SFT)模式
  • 付费服务:数据自动挖掘功能需开通付费服务,支持从上传文件中自动提取问答对
3)创建数据集并上传Word文件
  • 文件格式:支持单个或多个文件批量上传
  • 处理进度:导入过程显示百分比进度(如1%开始)
  • 结果验证:完成后可查看详情确认问答对格式是否正确
4)选择数据集并洞察



  • 洞察过程
    
    • 耗时:约1-3分钟完成全量数据分析
    • 功能支持:
      • 字段调整编辑
      • 多条件组合筛选(支持10+计算服务)
      • 字符数范围筛选(如限制500字以内)
      • 多轮对话可视化
  • 增强清洗阶段

    
    • 数据增强:通过扩充样本提升模型训练效果
    • 清洗内容:
      • 异常数据清洗
      • 文本去重
      • 隐私信息过滤
      • 问题-答案配对校验
  • 数据清洗

     
    • 任务创建:需指定处理前后数据集版本
    • 处理选项:
      • 新建处理版本
      • 异常清洗(如只有问题无答案的记录)
      • 文本标准化处理
    • 逻辑顺序:训练前必须完成数据洞察→清洗→增强的全流程
Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐