文章目录

写在前面

[视频学习-bilibili] | [课程主页——sample code & slide] | [ML2021学习笔记] | [homework_code]

Transform是什么

在这里插入图片描述

硬train一发（语音识别）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

语音合成

在这里插入图片描述

Seq2seq其它应用（文字->文字）

在这里插入图片描述

其他应用QA

在这里插入图片描述

特制化模型有更好的效果，参考往年教程

在这里插入图片描述

其它应用（文法解析）

在这里插入图片描述
在这里插入图片描述

其它应用（Multi-label Classification，硬做）

在这里插入图片描述

Object Detection（硬做）

在这里插入图片描述

Seq2seq

在这里插入图片描述
在这里插入图片描述

Encoder

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

其它Transform架构（更多）

在这里插入图片描述

Decoder

在这里插入图片描述

Autoregressive

在这里插入图片描述

在这里插入图片描述

Masker（不能看后面的资讯）

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

输出是多少个呢？（Adding Stop Token）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Non-autoregressive（NAT）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Encoder - Decoder

在这里插入图片描述
在这里插入图片描述

Cross attention（运作过程）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

各式各样的连接方式

在这里插入图片描述

文章目录

Training

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Tips

Copy mechanism

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

Guided Attention

训练的时候也会出现奇奇怪怪的问题（比如短的发财，发没发音，只有财，漏字了）

在这里插入图片描述

解决方法：从左往右限制（也是大坑，留个资料）

在这里插入图片描述

文章目录

Beam Search(有时有用（确定性答案，语音合成），有时无用（随机性，创造性的任务不行）)

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

评估指标（BLEU score）

在这里插入图片描述
在这里插入图片描述

exposure bias（训练的时候都是正确的，但是预测的时候不知道，可能一步错步步错。一个可能的办法：给训练的时候加点错误的资料…这一招叫做：Schedule Sampling）

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

讲完了（Encoder-Decoder-它们中间的关系-怎么训练-Tips）

在这里插入图片描述

# 机器学习 # 深度学习 # 语音识别
Logo
天工造物局

北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台

更多推荐

deck.gl TripsLayer 出租车轨迹动画示例实战：从示例运行到着色器原理

TripsLayer 是 deck.gl 中用于渲染**随时间流动的轨迹动画**（如出租车行程、物流路径、迁徙路线）的核心图层。本文以仓库中的最小独立示例 [examples/website/trips](https://link.gitcode.com/i/1442af8f442f4cff39ff546e050fceb5) 为骨架，带你完成从安装依赖、启动应用、理解曼哈顿出租车数据格式，到深入

avatar 天工造物局

Foundry Anvil 中 eth_simulateV1 的 Blob 交易与 Blob Gas 字段规范化：原理、实现与测试验证

本篇技术指南以 [anvil-simulate-blob-transactions.md](https://link.gitcode.com/i/3d2ebe227262de169335eb290af80da8) 这条 changelog 条目为起点，深入剖析 Foundry Anvil 对 `eth_simulateV1` RPC 返回结果中 blob（EIP-4844）交易与 blob gas

avatar 天工造物局

LMCache CLI 实战：用 `lmcache kvcache clear` 管理运行中服务的 KV Cache 状态

本文是一份针对 LMCache 官方 CLI 命令 `lmcache kvcache` 的完整技术指南。该命令用于在**运行中的 LMCache 服务（MP HTTP server）**上管理 KV cache 状态，当前提供 `clear` 子命令，用于清空 L1（CPU 内存）层中缓存的全部 KV 数据。读完本文，你将掌握该命令的完整参数体系、退出码语义、终端/JSON/静默三种输出模式，并能

avatar 天工造物局