-
【人工智能】一文看懂 LLaMA 2：原理、模型与训练
LLaMA 2（Large Language Model for AI Modeling and Assistance）是近年来广受关注的大规模语言模型之一。它被广泛应用于自然语言处理（NLP）任务，如文本生成、机器翻译和问答系统。本文将深入介绍LLaMA...
-
6700万参数比肩万亿巨兽GPT-4！微软MIT等联手破解Transformer推理密码
「因果推理」绝对是当前GenAI热潮下的小众领域，但是它有一个大佬级的坚定支持者——Yann LeCun。 他在推特上的日常操作之一，就是炮轰Sora等生成模型，并为自己坚信的因果推理领域摇旗呐喊。 甚至，早在2019年VentureBeat的采访中，他...
-
Llama 3 基于知识库应用实践（一）
一、概述 Llama 3 是Meta最新推出的开源大语言模型，其8B和13B参数的模型的性能与之前的Llama 2相比实现了质的飞跃。以下是官方给出的模型性能评测对比结果（引自：https://ai.meta.com/blog/meta-llama-3/...
-
Stable Diffusion 3架构解析
在台湾举办的台北国际电脑展上，Stability AI CTO 兼联合 CEO Christian Laforte 与 AMD CEO 苏姿丰一起宣布文本到图像生成模型 Stable Diffusion 3 将于 6 月 12 日开源。 一、扩散模型的...
-
AIGC从入门到实战：ChatGPT 说自己能做什么？
背景介绍 随着人工智能技术的不断发展，自然语言处理（NLP）技术也取得了显著的进展。近年来，生成对抗网络（GAN）和序列模型（Seq2Seq）等技术的发展，使得机器学习和深度学习在语言模型方面取得了突破性进展。其中，OpenAI的ChatGPT模型是目前...
-
调研分析：LLama大模型
1. 引言 在当前的自然语言处理（NLP）研究中，大规模预训练模型如BERT、GPT-3和RoBERTa已经展示了其卓越的性能和广泛的应用。随着技术的发展，新的模型不断涌现，推动了NLP领域的持续进步。本文将聚焦于LLama模型，分析其结构、预训练策略、优...
-
使用LlamaFactory进行模型微调：参数详解
在深度学习和自然语言处理领域，模型微调是提升预训练模型性能的重要手段。本文将介绍如何使用LlamaFactory进行模型微调，并详细解析一些关键参数，包括 --cutoff_len 1024、--flash_attn auto、--lora_rank 8、...
-
一文看懂LLaMA 2：原理、模型与训练
引言 人工智能领域的快速发展，带来了许多强大的语言模型。LLaMA 2 是其中之一，以其出色的性能和灵活的应用能力，吸引了广泛关注。这篇文章将带你深入了解 LLaMA 2 的原理、模型架构和训练过程，帮助你全面掌握这一前沿技术。 什么是LLaMA...
-
AIGC专栏12——EasyAnimateV3发布详解 支持图&文生视频 最大支持960x960x144帧视频生成
AIGC专栏12——EasyAnimateV3发布详解 支持图&文生视频 最大支持960x960x144帧视频生成 学习前言 项目特点 生成效果 相关地址汇总 项目主页 Huggingface体验地址 Modelscope体验地址 源...
-
【大语言模型LLM】- Meta开源推出的新一代大语言模型 Llama 3
?博客主页：西瓜WiFi ?系列专栏：《大语言模型》 很多非常有趣的模型，值得收藏，满足大家的收集癖！ 如果觉得有用，请三连?⭐❤️，谢谢！ 长期不定时更新，欢迎watch和fork！❤️❤️❤️ ❤️感谢大家点赞? 收藏⭐ 评论⭐ ?大语言模...
-
【Python】科研代码学习：十六 Model架构的代码细节，附架构图：Llama 为例 （v4.28.0）
【Python】科研代码学习：十六 Model与网络架构 的代码细节：Llama 为例（v4.28.0） 前言 导入依赖 `LlamaRMSNorm`：改进的 层正则化 `LlamaRotaryEmbedding`：旋转式位置编码 `Llama...
-
LLaMA-Cult-and-More：深度学习的新里程碑
LLaMA-Cult-and-More：深度学习的新里程碑 在人工智能领域，尤其是自然语言处理（NLP）中，模型的规模和能力不断提升，推动了行业的飞速进步。今天我们要介绍的是一个名为LLaMA的开源项目，它由shm007g开发并维护，旨在提供高效的、大规...
-
Meta Llama 3 残差结构
Meta Llama 3 残差结构 flyfish 在Transformer架构中，残差结构（Residual Connections）是一个关键组件，它在模型的性能和训练稳定性上起到了重要作用。残差结构最早由He et al.在ResNet中提出，并...
-
LLaMA 2-原理&模型&训练-你懂了吗?
LLaMA 2的原理 LLaMA 2是Meta AI开发的大型语言模型，它基于Transformer架构，采用了自注意力机制来处理输入序列中的长期依赖关系。LLaMA 2的核心原理包括自注意力机制、多头注意力、层归一化和残差连接等，这些技术共同使得模型...
-
结合RNN与Transformer双重优点，深度解析大语言模型RWKV
本文分享自华为云社区《【云驻共创】昇思MindSpore技术公开课 RWKV 模型架构深度解析》，作者：Freedom123。 一、前言 Transformer模型作为一种革命性的神经网络架构，于2017年由Vaswani等人 提出，并在诸多任务中...
-
全网最全讲解Stable Diffusion原理，小白也能看懂！速来！！！
手把手教你入门绘图超强的AI绘画程序Stable Diffusion，用户只需要输入一段图片的文字描述，即可生成精美的绘画。下面是Stable Diffusion注册和使用的方法。给大家带来了全新Stable Diffusion保姆级教程资料包（文末可获取...
-
一文为你深度解析LLaMA2模型架构
本文分享自华为云社区《【云驻共创】昇思MindSpore技术公开课 大咖深度解析LLaMA2 模型架构》，作者： Freedom123。 一、前言 随着人工智能技术的不断发展，自然语言处理（NLP）领域也取得了巨大的进步。在这个领域中，LLaMA展...
-
【AI原理解析】— 文心一言模型
目录 模型架构 Transformer模型 编码器-解码器结构 训练过程 预训练 微调 关键技术 知识增强 上下文感知 个性化生成 推理与生成 应用场景 问答系统 文本生成 对话系统 模型架构 Trans...
-
开源之光 Stable Diffusion 3 技术论文全解：公式占一半，实验很充分！
文章链接：https://arxiv.org/pdf/2403.03206 扩散模型通过反转数据到噪声的正向路径来从噪声中创建数据，并已成为处理高维感知数据（如图像和视频）的强大生成建模技术。Rectified flow是一种最近提出的生成模型形式，它将...
-
Stable Diffusion 3 文本生成图像 在线体验 原理分析
前言 本文分享使用Stable Diffusion 3实现文本生成图像，可以通过在线网页中免费使用的，也有API等方式访问。 同时结合论文和开源代码进行分析，理解其原理。 Stable Diffusion 3是Stability AI开发的最新、最先...
-
AIGC-CVPR2024best paper-Rich Human Feedback for Text-to-Image Generation-论文精读
Rich Human Feedback for Text-to-Image Generation斩获CVPR2024最佳论文！受大模型中的RLHF技术启发，团队用人类反馈来改进Stable Diffusion等文生图模型。这项研究来自UCSD、谷歌等。 在...
-
【小沐学AI】Python实现语音识别（faster-whisper）
文章目录 1、简介 1.1 CTranslate2 1.2 Intel MKL 1.3 cuDNN 1.4 Transformer 2、下载和安装 2.1 命令行 2.2 代码 3、模型下载 3.1 在线测试 3.1.1 tiny...
-
AIGC入门（一） 从零开始搭建Transformer！（上）
前言 我记得曾经看过一篇综述，综述里曾这样讲过： 多模态使用Transformer作为基石模型的一个原因之一，就是因为它能够很好地统一视觉（ViT、DiT）和文本，并且无限制地扩大其参数。这是一个在工程上很有作用也很有实际意义的事情。 笔者...
-
基于Python和TensorFlow实现BERT模型应用
本文分享自华为云社区《使用Python实现深度学习模型：BERT模型教程》，作者： Echo_Wish。 BERT（Bidirectional Encoder Representations from Transformers）是Google提出的一种用...
-
LLM2Vec介绍和将Llama 3转换为嵌入模型代码示例
嵌入模型是大型语言模型检索增强生成(RAG 的关键组成部分。它们对知识库和用户编写的查询进行编码。 使用与LLM相同领域的训练或微调的嵌入模型可以显著改进RAG系统。然而，寻找或训练这样的嵌入模型往往是一项困难的任务，因为领域内的数据通常是稀缺的。 但...
-
Stable Diffusion——四种模型 LoRA（包括LyCORIS）、Embeddings、Dreambooth、Hypernetwork
目前 Stable diffusion 中用到主要有四种模型，分别是 Textual Inversion （TI）以 Embeddings 为训练结果的模型、Hypernetwork 超网络模型、LoRA（包括 LoRA 的变体 LyCORIS）模型、Dr...
-
AIGC从入门到实战：远近高低各不同：Transformer 和预训练模型是什么？
1. 背景介绍 近年来，随着人工智能技术的快速发展，AIGC（人工智能生成内容）已经成为了一个热门的话题。Transformer 和预训练模型是 AIGC 中的两个重要概念，它们对于理解和应用 AIGC 技术具有重要意义。本文将介绍 Transforme...
-
AIGC技术深度剖析：底层原理及其应用
AIGC技术深度剖析：底层原理及其应用 引言 人工智能生成对话技术（AIGC）是一种能够模拟人类语言表达和生成自然语言响应的技术。它是由AI对话大师调用的聊天生成语言大模型所提供的。本文将深入剖析AIGC技术的底层原理，并探讨它在各个领域的应用。...
-
天才程序员周弈帆 | Stable Diffusion 解读（二）：论文精读
本文来源公众号“天才程序员周弈帆”，仅用于学术分享，侵权删，干货满满。 原文链接：Stable Diffusion 解读（二）：论文精读 【小小题外话】端午安康！ 在上一篇文章天才程序员周弈帆 | Stable Diffusion 解读（一）：回顾早...
-
人工智能前沿讲座——AIGC
目录 前情提要 一、什么是AIGC AIGC与传统的AI有何区别？ 二、发展历程 GAN 生成对抗网络 大模型与Transformer Transformer\BERT\GPT 扩散模型和稳定扩散模型 三、AIGC的发展应用 新质生产力...
-
每日AIGC最新进展(34)：特拉维夫大学提出多主题扩散模型Be Yourself、阿里巴巴提出个性化人脸生成方法FlashFace、清华大学提出快速评估扩散模型方法FlashEval
Diffusion Models专栏文章汇总：入门与实战 Be Yourself: Bounded Attention for Multi-Subject Text-to-Image Generation 本文探讨了文本到图像生成领域中的一个关...
-
探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（一）
探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（一） Meta 通过推出新的开源 AI 模型 Llama 3 以及新版本的 Meta AI，正在加强其在人工智能 (AI 竞赛中的竞争力。该虚拟助手由 Llama 3 提供支持，现已可在所...
-
一文看懂Llama 2：原理、模型与训练
一文看懂Llama 2：原理、模型与训练 Llama 2是一种大规模语言模型（LLM），由Meta（原Facebook）研发，旨在推动自然语言处理（NLP）领域的发展。本文将详细介绍Llama 2的原理、模型架构及其训练方法，以帮助读者深入理解这一技术...
-
Llama 3-V：以100倍小的模型和500美元匹敌GPT4-V视觉模型
概述 Llama3 的横空出世震惊了世界，它在几乎所有基准测试中都超越了 GPT-3.5，并在一些方面超越了 GPT-4。随后，GPT-4o 的出现凭借其多模态能力再次夺回了王座。今天，我们发布了一个改变现状的产品：Llama3-V，这是首个基于 Ll...
-
【AI学习】LLaMA 系列模型的进化（一）
一直对LLaMA 名下的各个模型关系搞不清楚，什么羊驼、考拉的，不知所以。幸好看到两篇综述，有个大致了解，以及SEBASTIAN RASCHKA对LLaMa 3的介绍。做一个记录。 一、文章《Large Language Models: A Surve...
-
每日AIGC最新进展(28)：鹏城实验室提出连贯的故事生成框架StoryImager、浙大强化学习提升扩散模型生成质量算法PXPO、谷歌提出生成中文/日文/韩文字符的扩散模型
Diffusion Models专栏文章汇总：入门与实战 StoryImager: A Unified and Efficient Framework for Coherent Story Visualization and Completion...
-
Llama 3-V: 比GPT4-V小100倍的SOTA
大模型技术论文不断，每个月总会新增上千篇。本专栏精选论文重点解读，主题还是围绕着行业实践和工程量产。若在某个环节出现卡点，可以回到大模型必备腔调重新阅读。而最新科技（Mamba，xLSTM,KAN）则提供了大模型领域最新技术跟踪。若对于如果构建生成级别的A...
-
llama系列模型学习
一、目录 llama1 模型与transformer decoder的区别 llama2 模型架构 llama2 相比llama1 不同之处 llama3 相比llama2 不同之处 llama、llama2、llama3 分词器词表大小以及优缺点...
-
Stable Diffusion 3 如何下载安装使用及性能优化
Stable Diffusion 3 Stable Diffusion 3（SD3），Stability AI最新推出的Stable Diffusion模型系列，现在可以在Hugging Face Hub上使用，并且可以与Diffusers一起使用。...
-
原来Stable Diffusion是这样工作的
stable diffusion是一种潜在扩散模型，可以从文本生成人工智能图像。为什么叫做潜在扩散模型呢？这是因为与在高维图像空间中操作不同，它首先将图像压缩到潜在空间中，然后再进行操作。 在这篇文章中，我们将深入了解它到底是如何工作的,还能够知道文生图...
-
用AI写作微头条撸收益,一篇收入1100!掌握2个小技巧你也能
大家好，今天我来分享一下如何用AI写作微头条撸收益。其实掌握两个小技巧就可以，一篇收入1100元，你也可以做到！ 首先，我们需要了解微头条的受众群体。微头条是微博上的一个内容形式，主要面向年轻人和社交媒体用户。因此，我们需要用轻松幽默的语言来吸引他们...
-
LLaMa系列模型详解（原理介绍、代码解读）：LLaMA 2
LLaMA 2 大型语言模型（LLMs）作为高度能力的人工智能助手，在需要跨多个领域专家知识的复杂推理任务中表现出巨大潜力，包括编程和创意写作等专业领域。它们通过直观的聊天界面与人类互动，这导致了快速和广泛的公众采用。考虑到训练方法的看似简单性，LLM...
-
重磅！Llama-3，最强开源大模型正式发布！
4月19日，全球科技、社交巨头Meta在官网，正式发布了开源大模型——Llama-3。 据悉，Llama-3共有80亿、700亿两种参数，分为基础预训练和指令微调两种模型（还有一个超4000亿参数正在训练中）。 与Llama-2相比，Llama-3使用...
-
LLaMA 羊驼系大语言模型的前世今生
关于 LLaMA LLaMA是由Meta AI发布的大语言系列模型，完整的名字是Large Language Model Meta AI，直译：大语言模型元AI。Llama这个单词本身是指美洲大羊驼，所以社区也将这个系列的模型昵称为羊驼系模型。 Ll...
-
最火AI角色扮演流量已达谷歌搜索20%！每秒处理2万推理请求，Transformer作者公开优化秘诀
什么AI应用每秒处理20000个AI推理请求，达到2024年谷歌搜索流量的1/5? 答案是独角兽Character.ai，由Transformer作者Noam Shazeer（后面简称沙哥）创办。 刚刚，沙哥公布了推理优化独门秘诀，迅速引起业界热议。 具...
-
每日AIGC最新进展(16)：华为诺亚实验室提出通过混合mask信息融合增强文本到图像编辑、腾讯优图实验室提出风格化图像生成算法、清华大学提出扩散模型中的概念域校正和概念保留
Diffusion Models专栏文章汇总：入门与实战 Enhancing Text-to-Image Editing via Hybrid Mask-Informed Fusion 本文提出了一种名为MaSaFusion的文本到图像编辑方法...
-
【推理优化】超详细！AIGC面试系列 大模型推理系列(2)
本期问题聚焦于大模型的推理优化技术 本期问题快览 有哪些常见的大模型推理优化技术 介绍下通过流水线处理技术来加速大模型推理方案 介绍下并行计算技术来加速大模型推理的方案 有哪些通过硬件来加速大模型推理的方式？ 模型量化是如何加速大模型推理的？...
-
LLaMA 3 源码解读-大语言模型5
本来不是很想写这一篇，因为网上的文章真的烂大街了，我写的真的很有可能没别人写得好。但是想了想，创建这个博客就是想通过对外输出知识的方式来提高自身水平，而不是说我每篇都能写得有多好多好然后吸引别人来看。那作为对整个合集内容的完善，这篇博客会解析现在最火的LL...
-
【学习笔记】文生图模型——Stable diffusion3.0
2.0原理才看到VAE，sd3.0就发布了，虽然还没看到源码和详解，但原来的那个小方向估计得弃。人已经麻了。 1.LDMs模型（stable diffusion≈LDMs+CLIP） 2.stable diffusion3.0模型架构图...
-
Omost - 一句话即可AI绘画，自动生成关键词，本地一键整合包
近日，ControlNet的作者推出了一个全新的项目——Omost。这个项目对现有图像模型的提示词理解有着巨大的帮助。通过很短的提示词，就可以生成非常详细并且空间表现很准确的图片。划重点，这个项目需要8G显存显卡运行，据说老显卡，比如10系可能用不了，具体...