一文读懂自注意力机制：8大步骤图解+代码 BERT, RoBERTa, ALBERT, SpanBERT, DistilBERT, SesameBERT, SemBERT, MobileBERT, TinyBERT, CamemBERT……它们有什么共同之处呢？答案不是“它们都是BERT”🤭。
Vincent
发布于 2024-10-02
Awesome Privacy Computing 1 Secure Multiparty Computation (SMPC) 1.1 Primitive 1.1.1 Oblivious Transfer (OT) Precomputing Oblivious Transfer
Vincent
发布于 2024-08-04
VFLAIR：面向科研的纵向联邦学习开源新框架 文章来源：ICLR2024 VFLAIR GitHub链接：
Vincent
发布于 2024-08-04
联邦学习(Federated Learning) I. 联邦学习简介 联邦学习（Federated Learning）是近年来兴起的一种加密的分布式机器学习新范式，可以让各参与方在数据不出本地的情况下进行AI协作，实现“知识共享而数据不共享”，提升各自的AI模型效果，是破解现阶段AI行业落地中的“数
Vincent
发布于 2024-08-04
Huggingface|Accelerate分布式训练加速 PyTorch 很灵活。 它允许您根据需要自定义它。 这意味着您还必须处理所有低级硬件自定义，而在 95% 的项目中您实际上并不关心这些。 PyTorch 的主要痛点之一是使代码适应各种硬件配置（CPU/GPU/TPU）。 您必须维护大量用
Vincent
发布于 2024-08-03
业界| 详解Horovod：Uber开源的TensorFlow分布式深度学习框架 选自Uber Github地址：https://github.com/horovod/horovod
Vincent
发布于 2024-08-03
NCCL、OpenMPI、Gloo对比 Open MPI 的Allreduce 算法实现比较丰富，并且与 MPI 接口完全一致，比较适合做 MPI 研究的同学 NCCL 可以轻松与 MPI结合使用。将MPI用于CPU到CPU的通信，将NCCL用于GPU到GPU的通信 NCCL 因为是硬件厂商英伟达针
Vincent
发布于 2024-08-03
Windows安装CUDA、Pytorch、TensorFlow 1、查询当前显卡算力是否支持CUDA https://developer.nvidia.cn/cuda-gpus
Vincent
发布于 2024-08-02
Agent设计模式综述 引言 尽管当前研究者在AI Agent领域投入了巨大努力，但从业者在构建和实施基于基础模型（Foundational Model，FM）的Agent方面面临着陡峭的学习曲线。文章注意到存在一系列可重用的解决方案，这些解决方案可以归纳为模式，以解决设计基于FM的Agent的多样
Vincent
发布于 2024-07-28
从AI Agent到Agentic Workflow，25篇论文全面了解智能体工作流 著名AI学者、斯坦福大学教授吴恩达提出了AI Agent的四种设计方式后，Agentic Workflow（智能体工作流）立即火爆全球，多个行业都在实践智能体工作流的应用，并推动了新的Agentic AI探索热潮。
Vincent
发布于 2024-07-28
虚拟化教程 (6) : 安装部署篇丨NVIDIA vGPU 驱动下载与安装 众所周知，GPU 驱动至关重要，直接关系着是否能正常使用 NVIDIA GPU 显示或者是加速运算等工作，在带来更高稳定性和性能的同时，还能够优化其他应用程序的表现。在第一章节中 NVIDIA vGPU 方案架构中有提到，v
Vincent
发布于 2024-07-28
虚拟化教程 (5) : NVIDIA vGPU 许可申请、账号注册绑定及购买 无论企业员工在家里、办公室内、路上或其他地点，都可以通过远程访问虚拟机来使用专为虚拟桌面打造的 NVIDIA vGPU，轻松管理复杂的图形和可视化工作流。 如果想要体验 NVIDIA vGPU 赋能虚拟桌面带来的强大功能，
Vincent
发布于 2024-07-28
虚拟化教程 (4) : NVIDIA vGPU 软硬件选型指南 NVIDIA vGPU 解决方案能够将 NVIDIA GPU 的强大功能带入虚拟桌面、应用程序和工作站，加速图形和计算，使在家办公或在任何地方工作的创意和技术专业人员能够访问虚拟化工作空间。 完整的 NVIDIA vGPU 方案包含 G
Vincent
发布于 2024-07-28
虚拟化教程（3）：NVIDIA vGPU 软件之 vPC、vApps 各行各业的企业都在探索数字化转型，寻求最佳的线上线下协作方式。IT 管理者需要建立一个面向未来的数字工作空间，使员工无论身在何处都能保持最高的工作效率。 未来的数字工作空间需要灵活的工作方式，使员工能够随时随地无缝地展开协作。远程
Vincent
发布于 2024-07-28
虚拟化教程（2）：NVIDIA vGPU 软件之 vWS 对于创作者而言，沉浸式可视化工具可助力实现交互式设计流程，渲染逼真图像，实现数字艺术创作。传统上，这些先进的工作流程往往仅限于高性能工作站，然而，在当今数字化的浪潮下，远程办公、实时协作的需求越来越多，同时还要满足不同工作负载的不同要求，借助
Vincent
发布于 2024-07-28
虚拟化教程（1）：NVIDIA vGPU 概述 什么是虚拟 GPU？ 虚拟 GPU，也称为 vGPU，是通过将数据中心 GPU 进行虚拟化，用户可在多个虚拟机中共享该 GPU。 NVIDIA vGPU 技术利用 NVIDIA GPU 和虚拟 GPU 软件产品的强大功能，使每个虚拟机（VM）都能像物理
Vincent
发布于 2024-07-28
详解Transformer Transformers 亮相以来彻底改变了深度学习模型。 今天，我们将揭示 Transformers 背后的核心概念：注意力机制、编码器-解码器架构、多头注意力等等。 通过 Python 代码片段，让你深入了解其原理。 一、理解注意力机制<
Vincent
发布于 2024-07-27
GLUE基准数据集介绍及下载 一、简介 自然语言处理（NLP）主要自然语言理解（NLU）和自然语言生成（NLG）。为了让NLU任务发挥最大的作用，来自纽约大学、华盛顿大学等机构创建了一个多任务的自然语言理解基准和分析平台，也就是GLUE（General Language Understanding
Vincent
发布于 2024-07-27
【BERT】详解BERT 一、为什么要提出BERT？ 传统的RNN类模型，包括LSTM，GRU以及其他各种变体，最大的问题在于提取能力不足。在《Why Self-Attention? A Targeted Evaluation of Neural Machine Translation Archit
Vincent
发布于 2024-07-27
文本 Embedding 基本概念和应用实现原理 大语言模型之上的应用层面有三项技术需要理解：提示词工程（Prompt Engineering）；嵌入（Embedding）；微调（Fine-tuning）。其中 Embedding 作为大语言模型理解文本语义的重要技术，在搜索引擎、构建私有知识问答系
Vincent
发布于 2024-07-26
Self-Attention与谷歌的Transformer架构 本文翻译自一篇非常赞的解释Transformer的文章，
Vincent
发布于 2024-07-26
The Illustrated Transformer @JayAlammar Reprinted from
Vincent
发布于 2024-07-26
