报错信息:ImportError: cannot import name 'PfeifferConfig' from 'transformers' (/data/Matrix/common/miniconda3/envs/feddat/lib/python3.8/site-packages/transformers/__init__.py)

问题分析:

   PfeifferConfig, HoulsbyConfig, CompacterConfig 等属于 AdapterHub (adapter-transformers) 项目,而不是原始的 Hugging Face transformers 包。

你可能需要安装的是:adapter-transformers

adapter-transformers:这是 Hugging Face transformers 的一个分支,支持 Adapter 模型。

解决方案:

1,卸载原始的 transformers

pip uninstall transformers

2,安装 adapter-transformers(支持 Pfeiffer 等配置)

pip install adapter-transformers

        或者,如果你需要特定版本(比如兼容你已有代码的版本):

pip install adapter-transformers==3.1.0

解决!

扩展:

        这里提到的 Adapter 模型(Adapter Modules),正是指在 大模型(如 BERT、GPT、T5)微调过程中引入的“适配器”模块(Adapter),它是一种参数高效的微调方法,最初由 Google Research 提出,用于在 不改变原始模型大部分参数 的前提下,适应不同下游任务。 

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐