Gensim加载预训练词向量模型bz2文件

  • gensim是一个用于主题建模、文档索引和相似性检索的 Python 库。它提供了实现各种自然语言处理算法的工具，支持包括TF-IDF，LSA，LDA，和word2vec在内的多种主题模型算法。

加载

import gensim,os
model = gensim.models.KeyedVectors.load_word2vec_format(os.path.join(data_path, 'util', 'sgns.sogou.bigram.bz2'), encoding = "utf-8")

获取词汇表

  • 获取词汇表
    vocab = model.index_to_key
print(vocab[:5]) # ['，', '的', '。', '\ue40c', '、']
  • 获取词汇表及索引
    vocab_dict = model.key_to_index
print(list(vocab_dict.items())[:5]) # [('，', 0), ('的', 1), ('。', 2), ('\ue40c', 3), ('、', 4)]

获取词向量

  • 获取单个词的向量：

     vector = model['word'] # word是想要获取向量的词

  • 获取多个词的向量：

    words = ['word1', 'word2', 'word3']
vectors = [model[word] for word in words if word in model.vocab]

  • 获取词汇表中的所有词和向量：

    for word in model.vocab:
    vector = model[word]
    # 可以对每个词和向量进行处理
# 自然语言处理 # word2vec # python
Logo
天工造物局

北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台

更多推荐

deck.gl TripsLayer 出租车轨迹动画示例实战：从示例运行到着色器原理

TripsLayer 是 deck.gl 中用于渲染**随时间流动的轨迹动画**（如出租车行程、物流路径、迁徙路线）的核心图层。本文以仓库中的最小独立示例 [examples/website/trips](https://link.gitcode.com/i/1442af8f442f4cff39ff546e050fceb5) 为骨架，带你完成从安装依赖、启动应用、理解曼哈顿出租车数据格式，到深入

avatar 天工造物局

Foundry Anvil 中 eth_simulateV1 的 Blob 交易与 Blob Gas 字段规范化：原理、实现与测试验证

本篇技术指南以 [anvil-simulate-blob-transactions.md](https://link.gitcode.com/i/3d2ebe227262de169335eb290af80da8) 这条 changelog 条目为起点，深入剖析 Foundry Anvil 对 `eth_simulateV1` RPC 返回结果中 blob（EIP-4844）交易与 blob gas

avatar 天工造物局

LMCache CLI 实战：用 `lmcache kvcache clear` 管理运行中服务的 KV Cache 状态

本文是一份针对 LMCache 官方 CLI 命令 `lmcache kvcache` 的完整技术指南。该命令用于在**运行中的 LMCache 服务（MP HTTP server）**上管理 KV cache 状态，当前提供 `clear` 子命令，用于清空 L1（CPU 内存）层中缓存的全部 KV 数据。读完本文，你将掌握该命令的完整参数体系、退出码语义、终端/JSON/静默三种输出模式，并能

avatar 天工造物局