Self attention(自注意力机制)

sociiit

6981人浏览 · 2021-12-20 15:13:19

sociiit · 2021-12-20 15:13:19 发布

论文《Attention is all you need》

一

输入：N维向量

输出：N个lable：class/sclar (词性判断)

一个label: class/sclar（一个句子判断褒贬，听声识人）

未定数量的lable,数量由机器学习（seq2seq,翻译，语音辨识）

二输出为N个label

N 是个不确定的值，具体例子为输入一句话，每句话的长短不一样。

要考虑整个句子间的联系，window就要尽可能大，过大参数会过多，并且要统计训练样本最长的句子取window,引用自注意力机制

三.self attention

输入独立的向量，输出有联系的向量，再丢进fully connect 训练

self attention 与 fully connect交替使用，self attention专注于处理整个seq信息，fully connect处理单个向量。

计算每一个向量之间的联系，相关性用 $\alpha$ （attention score）表示

$\alpha$ 的计算方法：

softmax或relu

由a得到b的过程，b1.b2...同时得到。

矩阵理论解释self attention

多头自注意力机制

添加位置信息（positional encoding）

四.应用

image

CNN是简单化的self attention

《on the relationship between sele_attention and convolutional layers》

天工造物局

北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台

更多推荐

Handy 离线语音转写教程：免费开源，本地跑不连网

你肯定遇到过：语音输入 5 分钟，云转写服务要登录、要付费；或者出差没网，想口述一段会议纪要，发现全都没法用。Handy 离线语音转写工具就是为解决这个问题做的，声音全程不出你的电脑。## 🎯 这个工具是什么Handy 是一款免费、开源、跨平台（Windows / macOS / Linux）的离线语音转写应用。按住快捷键说话，松手后文字直接粘贴进任意输入框，全程不联网。核心能力就三条：

天工造物局

Supabase Edge Functions 编写与部署完整指南：Deno 运行时上的无服务器利器

Supabase Edge Functions 是基于 Deno 运行时编写、面向 Web 的无服务器函数服务，帮你把后端逻辑部署到全球边缘节点。作为 Postgres 开发平台的核心能力之一，它让你用 TypeScript 就能快速搭建低延迟的 API 端点、Webhook 接收器和 AI 集成服务，无需管理任何服务器。本文将从零带你完成一个 Edge Function 的创建、本地调试与全球部

天工造物局

celld从v0.1.0到v0.2.0为何不能滚动升级：两个破坏性变更详解

celld 是一个自托管、分布式的 Durable Objects 开源守护进程，它在你自己的机器上运行 Cloudflare Workers，每个对象对应一个独立的 SQLite 数据库，并持续复制到你自己拥有的 S3 兼容存储桶中。如果你正准备把 v0.1.0 的集群（fleet）升级到 v0.2.0，这篇文章必须先读：这次升级**不能滚动升级**，必须采用"先停光、再启动"的一次性发布方式。