Transformer

文章：130个浏览：5914次帖子：3个

transformer技术

• 
  深度解析Transformer技术原理
  张量是一个多维数组，可以看作是向量和矩阵的更底层的表示，向量和矩阵是张量的特例。例如向量是一维的张量，矩阵是二维的张量。张量可以有任意数量的维度，而不仅...
  2024-04-19
  标签：
  ASCII
  数组
  深度学习
  311
  0
• 
  大模型训练如何应对GPU万卡互联难题
  为了增强对训练稳定性和性能的监控，开发了一个精度达到毫秒级的监控系统。采用不同级别的监控来跟踪各种指标。
  2024-04-07
  标签：
  gpu
  数据中心
  人工智能
  296
  0
• 
  视觉Transformer基本原理及目标检测应用
  视觉Transformer的一般结构如图2所示，包括编码器和解码器两部分，其中编码器每一层包括一个多头自注意力模块（self-attention）和一个...
  2024-04-03
  标签：
  解码器
  神经网络
  Transformer
  1172
  0
• 
  深入理解 Sora 的技术原理
  将去除噪音后的结果数据，利用视频解码器进行解码，将低维潜在空间数据还原成原始视频数据，这里可以实现不同分辨率的视频解码。
  2024-04-05
  标签：
  解码器
  放大器
  GPT
  1560
  0
• 
  聊一聊Transformer中的FFN
  NLP上估计会帮助reduce overfitting, improve generalization，但是与其花时间改这个地方不如好好clean da...
  2024-03-13
  标签：
  gpu
  Transformer
  nlp
  500
  0
• 
  什么是混合专家模型？混合专家模型 (MoEs)优劣势分析
  门控网络或路由: 这个部分用于决定哪些令牌 (token) 被发送到哪个专家。例如，在下图中，“More”这个令牌可能被发送到第二个专家，而“Param...
  2024-02-22
  标签：
  神经网络
  AI
  Transformer
  1861
  0
• 
  一文详解Transformer神经网络模型
  Transformer模型在强化学习领域的应用主要是应用于策略学习和值函数近似。强化学习是指让机器在与环境互动的过程中，通过试错来学习最优的行为策略。
  2024-02-20
  标签：
  神经网络
  AI
  Transformer
  6028
  0
• 
  Vision Mamba：速度与内存的双重突破
  为了进一步评估研究方法在下游任务上（即分割、检测和实例分割）的效率，本文将骨干网与常用的特征金字塔网络（FPN）模块结合起来，并对其 FPS 和 GPU...
  2024-01-31
  标签：
  gpu
  感知算法
  Transformer
  1645
  0
• 
  Transformers内部运作原理研究
  为了理解每个组件的作用，让我们通过训练Transformer解决翻译问题的过程，逐步了解Transformer的工作原理。我们将使用训练数据的一个样本，...
  2024-01-30
  标签：
  解码器
  Transformer
  自然语言处理
  1139
  0
• 
  如何利用位置编码实现长度外推？
  无论是缩放位置索引还是修改基地，所有token都变得彼此更接近，这将损害LLM区分相近token的位置顺序的能力。结合他们对RoPE的波长的观察，存在一...
  2024-01-08
  标签：
  语言模型
  Transformer
  位置编码器
  264
  0

查看更多>>

transformer资讯

Adobe提出DMV3D：3D生成只需30秒！让文本、图像都动起来的新方法！

因此，本文研究者的目标是实现快速、逼真和通用的 3D 生成。为此，他们提出了 DMV3D。DMV3D 是一种全新的单阶段的全类别扩散模型，能直接根据模型...

2024-01-30标签：编码器3DTransformer4670

大语言模型背后的Transformer，与CNN和RNN有何不同

  电子发烧友网报道（文/李弯弯）近年来，随着大语言模型的不断出圈，Transformer这一概念也走进了大众视野。Transformer是一种非常流行...

2023-12-25标签：cnnTransformerrnn19900

• 
  如何在手持设备上安装庞大的transformer网络
  Siri和OK Google是最早实现语音控制的应用程序，这着实为我们带来了很多乐趣；但很快我们便意识到，必须仔细说出请求才能获得实用回答。 就现在所见...
  2023-10-11
  标签：
  网络
  手持设备
  应用程序
  515
  0
• 
  Transformer流行的背后
  Quadric是一家机器学习推理IP公司，Untether AI则将其硬件宣传为是“通用推理加速器”，这两家公司都在兜售可处理transformer的技...
  2023-08-30
  标签：
  机器学习
  深度学习
  Transformer
  709
  0
• 
  英伟达h800和h100的区别
  英伟达h800和h100的区别 其实大白话就是，A100、H100是原版，特供中国市场的减配版是A800、H800。A100、H100是价格更便宜，性能...
  2023-08-08
  标签：
  英伟达
  Transformer
  AI芯片
  4.1万
  0
• 
  首个线性注意力Transformer大模型！1750亿参数，速度和精度更优
  即便如此，传统的 Transformer 依然存在局限。首要的一点，它们有着对于序列长度的二次时间复杂度，这会限制它们的可扩展性并拖累训练和推理阶段的计...
  2023-07-31
  标签：
  线性
  语言模型
  Transformer
  826
  0
• 
  在X3派上玩转一亿参数量超大Transformer，DIY专属你的离线语音识别
  Transformer模型在自然语言领域被提出后，目前已经扩展到了计算机视觉、语音等诸多领域。然而，虽然Transformer模型在语音识别领域有着更好...
  2023-02-21
  标签：
  嵌入式
  语音识别
  人工智能
  578
  0
• 
  视海芯图Transformer加速SoC助力AR/VR设备性能升级
  5月12日，第十三届松山湖中国IC创新高峰论坛在广东东莞松山湖凯酒店举行，本届活动继续由中国半导体行业协会IC设计分会（ICCAD）、芯原微电子、松山湖...
  2023-05-12
  标签：
  Ar
  Transformer
  视海芯图
  2879
  0

查看更多>>