-
Pixel-Aware Stable Diffusion for Realistic Image Super-Resolution and Personalized Stylization
香港理工大学&bytedance&alibaba https://github.com/yangxy/PASD/ https://arxiv.org/pdf/2308.14469 问题引入 当前的基于SD的方法缺乏对图片结构的保持,所以本...
-
一文者懂LLaMA 2(原理、模型、训练)
引言 LLaMA(Large Language Model Meta AI)是Meta(前身为Facebook)开发的自然语言处理模型家族之一,LLaMA 2作为其最新版本,展示了在语言理解和生成方面的显著进步。本文将详细解读LLaMA 2的基本原理、...
-
提升AI绘画生成质量:探索与突破
本文由 ChatMoney团队出品 随着人工智能技术的蓬勃发展,AI绘画生成技术已成为艺术领域的一颗璀璨新星。然而,尽管AI绘画技术在模仿人类绘画风格、创作独特艺术作品等方面取得了显著进展,但其生成的图像质量仍有待提升。本文旨在深入探讨如何提升AI绘...
-
大模型集体失智!9.11和9.9哪个大,几乎全翻车了
没眼看……“9.11和9.9哪个大”这样简单的问题,居然把主流大模型都难倒了?? 强如GPT-4o,都坚定地认为9.11更大。 谷歌Gemini Advanced付费版,同样的口径。 新王Claude3.5Sonnet,还一本正经的给出离谱的计算方法。...
-
【人工智能】一文看懂 LLaMA 2:原理、模型与训练
LLaMA 2(Large Language Model for AI Modeling and Assistance)是近年来广受关注的大规模语言模型之一。它被广泛应用于自然语言处理(NLP)任务,如文本生成、机器翻译和问答系统。本文将深入介绍LLaMA...
-
AIGC从入门到实战:ChatGPT 说自己能做什么?
背景介绍 随着人工智能技术的不断发展,自然语言处理(NLP)技术也取得了显著的进展。近年来,生成对抗网络(GAN)和序列模型(Seq2Seq)等技术的发展,使得机器学习和深度学习在语言模型方面取得了突破性进展。其中,OpenAI的ChatGPT模型是目前...
-
调研分析:LLama大模型
1. 引言 在当前的自然语言处理(NLP)研究中,大规模预训练模型如BERT、GPT-3和RoBERTa已经展示了其卓越的性能和广泛的应用。随着技术的发展,新的模型不断涌现,推动了NLP领域的持续进步。本文将聚焦于LLama模型,分析其结构、预训练策略、优...
-
使用LlamaFactory进行模型微调:参数详解
在深度学习和自然语言处理领域,模型微调是提升预训练模型性能的重要手段。本文将介绍如何使用LlamaFactory进行模型微调,并详细解析一些关键参数,包括 --cutoff_len 1024、--flash_attn auto、--lora_rank 8、...
-
一文看懂LLaMA 2:原理、模型与训练
引言 人工智能领域的快速发展,带来了许多强大的语言模型。LLaMA 2 是其中之一,以其出色的性能和灵活的应用能力,吸引了广泛关注。这篇文章将带你深入了解 LLaMA 2 的原理、模型架构和训练过程,帮助你全面掌握这一前沿技术。 什么是LLaMA...
-
文心一言对GPT-4o的评价与分析
在人工智能的浪潮中,大型语言模型(LLM)的发展日新月异,为自然语言处理(NLP)领域带来了诸多突破。GPT系列模型作为其中的佼佼者,其每一次更新都牵动着业界的目光。近日,GPT-4o的发布更是引发了广泛的讨论。本文将从文心一言的视角出发,对GPT-4o进...
-
LLaMA-Cult-and-More:深度学习的新里程碑
LLaMA-Cult-and-More:深度学习的新里程碑 在人工智能领域,尤其是自然语言处理(NLP)中,模型的规模和能力不断提升,推动了行业的飞速进步。今天我们要介绍的是一个名为LLaMA的开源项目,它由shm007g开发并维护,旨在提供高效的、大规...
-
Meta Llama 3 残差结构
Meta Llama 3 残差结构 flyfish 在Transformer架构中,残差结构(Residual Connections)是一个关键组件,它在模型的性能和训练稳定性上起到了重要作用。残差结构最早由He et al.在ResNet中提出,并...
-
LLaMA 2-原理&模型&训练-你懂了吗?
LLaMA 2的原理 LLaMA 2是Meta AI开发的大型语言模型,它基于Transformer架构,采用了自注意力机制来处理输入序列中的长期依赖关系。LLaMA 2的核心原理包括自注意力机制、多头注意力、层归一化和残差连接等,这些技术共同使得模型...
-
结合RNN与Transformer双重优点,深度解析大语言模型RWKV
本文分享自华为云社区《【云驻共创】昇思MindSpore技术公开课 RWKV 模型架构深度解析》,作者:Freedom123。 一、前言 Transformer模型作为一种革命性的神经网络架构,于2017年由Vaswani等人 提出,并在诸多任务中...
-
全网最全讲解Stable Diffusion原理,小白也能看懂!速来!!!
手把手教你入门绘图超强的AI绘画程序Stable Diffusion,用户只需要输入一段图片的文字描述,即可生成精美的绘画。下面是Stable Diffusion注册和使用的方法。给大家带来了全新Stable Diffusion保姆级教程资料包(文末可获取...
-
一文为你深度解析LLaMA2模型架构
本文分享自华为云社区《【云驻共创】昇思MindSpore技术公开课 大咖深度解析LLaMA2 模型架构》,作者: Freedom123。 一、前言 随着人工智能技术的不断发展,自然语言处理(NLP)领域也取得了巨大的进步。在这个领域中,LLaMA展...
-
【AI原理解析】— 文心一言模型
目录 模型架构 Transformer模型 编码器-解码器结构 训练过程 预训练 微调 关键技术 知识增强 上下文感知 个性化生成 推理与生成 应用场景 问答系统 文本生成 对话系统 模型架构 Trans...
-
AIGC入门(一) 从零开始搭建Transformer!(上)
前言 我记得曾经看过一篇综述,综述里曾这样讲过: 多模态使用Transformer作为基石模型的一个原因之一,就是因为它能够很好地统一视觉(ViT、DiT)和文本,并且无限制地扩大其参数。这是一个在工程上很有作用也很有实际意义的事情。 笔者...
-
Stable Diffusion——四种模型 LoRA(包括LyCORIS)、Embeddings、Dreambooth、Hypernetwork
目前 Stable diffusion 中用到主要有四种模型,分别是 Textual Inversion (TI)以 Embeddings 为训练结果的模型、Hypernetwork 超网络模型、LoRA(包括 LoRA 的变体 LyCORIS)模型、Dr...
-
AIGC从入门到实战:远近高低各不同:Transformer 和预训练模型是什么?
1. 背景介绍 近年来,随着人工智能技术的快速发展,AIGC(人工智能生成内容)已经成为了一个热门的话题。Transformer 和预训练模型是 AIGC 中的两个重要概念,它们对于理解和应用 AIGC 技术具有重要意义。本文将介绍 Transforme...
-
人工智能前沿讲座——AIGC
目录 前情提要 一、什么是AIGC AIGC与传统的AI有何区别? 二、发展历程 GAN 生成对抗网络 大模型与Transformer Transformer\BERT\GPT 扩散模型和稳定扩散模型 三、AIGC的发展应用 新质生产力...
-
一文看懂Llama 2:原理、模型与训练
一文看懂Llama 2:原理、模型与训练 Llama 2是一种大规模语言模型(LLM),由Meta(原Facebook)研发,旨在推动自然语言处理(NLP)领域的发展。本文将详细介绍Llama 2的原理、模型架构及其训练方法,以帮助读者深入理解这一技术...
-
llama系列模型学习
一、目录 llama1 模型与transformer decoder的区别 llama2 模型架构 llama2 相比llama1 不同之处 llama3 相比llama2 不同之处 llama、llama2、llama3 分词器词表大小以及优缺点...
-
何恺明新作再战AI生成:入职MIT后首次带队,奥赛双料金牌得主邓明扬参与
何恺明入职MIT副教授后,首次带队的新作来了! 让自回归模型抛弃矢量量化,使用连续值生成图像。并借鉴扩散模型的思想,提出Diffusion Loss。 他加入MIT后,此前也参与过另外几篇CV方向的论文,不过都是和MIT教授Wojciech Matusi...
-
LLaMa系列模型详解(原理介绍、代码解读):LLaMA 2
LLaMA 2 大型语言模型(LLMs)作为高度能力的人工智能助手,在需要跨多个领域专家知识的复杂推理任务中表现出巨大潜力,包括编程和创意写作等专业领域。它们通过直观的聊天界面与人类互动,这导致了快速和广泛的公众采用。考虑到训练方法的看似简单性,LLM...
-
AI根据文本语义实现AI绘画出图
引言 当谈到人工智能(AI)和艺术的结合时,我们经常会想到生成对抗网络(GANs)和图像生成。然而,很少有人了解到AI也可以通过文本语义生成绘画作品。在本文中,我将详细介绍如何使用深度学习和自然语言处理技术,使AI能够根据给定的文本语义生成绘画作品。...
-
重磅!Llama-3,最强开源大模型正式发布!
4月19日,全球科技、社交巨头Meta在官网,正式发布了开源大模型——Llama-3。 据悉,Llama-3共有80亿、700亿两种参数,分为基础预训练和指令微调两种模型(还有一个超4000亿参数正在训练中)。 与Llama-2相比,Llama-3使用...
-
LLaMA 3 源码解读-大语言模型5
本来不是很想写这一篇,因为网上的文章真的烂大街了,我写的真的很有可能没别人写得好。但是想了想,创建这个博客就是想通过对外输出知识的方式来提高自身水平,而不是说我每篇都能写得有多好多好然后吸引别人来看。那作为对整个合集内容的完善,这篇博客会解析现在最火的LL...
-
【学习笔记】文生图模型——Stable diffusion3.0
2.0原理才看到VAE,sd3.0就发布了,虽然还没看到源码和详解,但原来的那个小方向估计得弃。人已经麻了。 1.LDMs模型(stable diffusion≈LDMs+CLIP) 2.stable diffusion3.0模型架构图...
-
【AI原理解析】— Meta Llama-3模型
目录 一、模型架构 Transformer架构 解码器(Decoder-only)设计 Group Query Attention (GQA 技术 二、参数与训练 参数规模 训练数据集 训练过程 三、技术特点 四、性能提升 推理能力...
-
Whisper-AT:抗噪语音识别模型(Whisper)实现通用音频事件标记(Audio Tagger)
本文介绍一个统一音频标记(Audio Tagger)和语音识别(ASR)的模型:Whisper-AT,通过冻结Whisper的主干,并在其之上训练一个轻量级的音频标记模型。Whisper-AT在额外计算成本不到1%的情况下,可以在单次前向传递...
-
大规模语言模型从理论到实践 LLaMA的模型结构
1.背景介绍 随着人工智能技术的不断发展,大规模语言模型(Large Language Models, LLMs)已经成为自然语言处理领域的热点。这些模型通过在大规模数据集上进行训练,能够生成连贯、相关且有趣的文本输出。LLaMA 是 Meta AI 开...
-
Llama网络结构介绍
LLaMA现在已经是开源社区里炙手可热的模型了,但是原文中仅仅介绍了其和标准Transformer的差别,并没有一个全局的模型介绍。因此打算写篇文章,争取让读者不参考任何其他资料把LLaMA的模型搞懂。 结构 如图所示为LLaMA的示意图,由Atte...
-
每日AIGC最新进展(23):魁北克人工智能研究所提出扩展注意力机制视频编辑、浙江大学提出video-to-Audio生成算法Frieren、清华大学提出扩散模型参数高效迁移学习Diff-Tuning
Diffusion Models专栏文章汇总:入门与实战 Temporally Consistent Object Editing in Videos using Extended Attention 本文提出了一种用于视频编辑的新方法,旨在通过...
-
阅读笔记——生成式人工智能AIGC的逻辑与应用读后感
阅读笔记——生成式人工智能AIGC的逻辑与应用读后感 我们不会被人工智能所取代,但极大可能会被善于使用人工智能的人所取代 时至今日,我都忘了我是怎么与这本书结缘的了。 是见猎心喜吧,当时看出版日期挺新的 大约是23年12月的时候,我...
-
Llama 3 模型上下文长度扩展至1048K
AI苏妲己: Gradient AI 近日宣布,通过其创新的渐进式训练方法,成功将 Llama 3 系列模型的上下文长度扩展至超过100万令牌。 Llama 3 模型最初设计用于处理8000个令牌的上下文长度,这大约相当于6000字或10页文档。为了适...
-
大模型算法(一):从Transformer到ViT再到LLaMA
单任务/单领域模型 深度学习最早的研究集中在针对单个领域或者单个任务设计相应的模型。 对于CV计算机视觉领域,最常用的模型是CNN卷积模型。其中针对计算机视觉中的不同具体任务例如分类任务,目标检测任务,图像分割任务,以CNN作为骨干backbone,加...
-
Stable diffusion文生图大模型——隐扩散模型原理解析
1、前言 本篇文章,我们将讲这些年非常流行的文生图大模型——Stable Diffusion。该模型也不难,甚至说很简单。创新点也相对较少,如果你学会了我以前的文章讲过的模型,学习这个也自然水到渠成! 参考论文:High-Resolution Ima...
-
文心一言 vs GPT-4 -- 全面横向比较
文心一言和GPT-4都是当前非常先进的自然语言处理模型,它们在语言理解、生成和翻译等方面都展现出了出色的能力。以下是对这两个模型的全面横向比较: 核心技术基础: 文心一言:是基于BERT(Bidirectional Encoder Represen...
-
stable diffusion比 transformer 作了哪些改进
Stable Diffusion 是一个基于自注意力机制的生成模型,它的设计受到了 Transformer 模型的启发,但也在很多方面进行了改进。以下是 Stable Diffusion 相较于 Transformer 的一些改进之处: 稳定性提升:...
-
LLaMa系列模型详解(原理介绍、代码解读):LLaMa
LLaMA详解 LLaMA(Large Language Model Meta AI)是由Meta(前身为Facebook)开发的一种大规模语言模型,旨在提高自然语言处理(NLP)任务的性能。LLaMA基于变换器(Transformer)架构,并经过大...
-
开源超闭源!通义千问Qwen2发布即爆火,网友:GPT-4o危
开源大模型全球格局,一夜再变。 这不,全新开源大模型亮相,性能全面超越开源标杆Llama3。王座易主了。不是“媲美”、不是“追上”,是全面超越。发布两小时,直接冲上HggingFace开源大模型榜单第一。 这就是最新一代开源大模型Qwen2,来自通义千问,...
-
使用Python实现深度学习模型:序列到序列模型(Seq2Seq)
本文分享自华为云社区《使用Python实现深度学习模型:序列到序列模型(Seq2Seq)》,作者: Echo_Wish。 序列到序列(Seq2Seq)模型是一种深度学习模型,广泛应用于机器翻译、文本生成和对话系统等自然语言处理任务。它的核心思想是将一个序...
-
斯坦福让“GPU高速运转”的新工具火了,比FlashAttention2更快
AI算力资源越发紧张的当下,斯坦福新研究将GPU运行效率再提升一波—— 内核只有100行代码,让H100比使用FlashAttention-2,性能还要提升30%。 怎么做到的? 研究人员从“硬件实际需要什么?如何满足这些需求?”这两个问题出发,设计了...
-
可灵大模型有哪些功能免费吗?快手视频生成模型怎么使用方法详细教程指南
可灵大模型 是什么? 可灵大模型(Kling)是快手大模型团队自研打造的先进视频生成模型,具备3D时空联合注意力机制,能够生成符合运动规律的视频内容,支持长达 2 分钟的视频生成,帧率达到30fps。它基于自研模型架构和强大的Diffusion Tran...
-
快手发布视频生成大模型「可灵」:已开放邀测 效果对标Sora
近日,快手发布了一款名为「可灵」的视频生成大模型,该模型效果对标了之前发布的 Sora,同时已在快手旗下的快影 App 开放邀测体验。 可灵大模型具有多项优势,包括能够生成大幅度的合理运动、模拟物理世界特性、具备强大的概念组合能力和想象力,以及支持高分辨率...
-
[从0开始AIGC][Transformer相关]:算法的时间和空间复杂度
一、算法的时间和空间复杂度 文章目录 一、算法的时间和空间复杂度 1、时间复杂度 2、空间复杂度 二、Transformer的时间复杂度分析 1、 self-attention 的时间复杂度 2、 多头注意力机制的时间复杂度 三...
-
重磅 Llama-3最强开源大模型惊艳亮相
重磅!Llama-3,最强开源大模型正式发布! 202年4 月 19 日,Meta 发布开源大模型 Llama-3,助力研究人员和开发者推进语言 AI 的界限。 强大的语言模型Llama-3推出,拥有80亿...
-
LLMs之llama3-from-scratch:llama3-from-scratch(从头开始利用pytorch来实现并解读LLaMA-3模型的每层代码)的简介、核心思路梳理
LLMs之llama3-from-scratch:llama3-from-scratch(从头开始利用pytorch来实现并解读LLaMA-3模型的每层代码 的简介、核心思路梳理 导读:这篇论文实现了transformer网络的llama3模型...
-
改进的检测算法:用于高分辨率光学遥感图像目标检测
本文经计算机视觉研究院公众号授权转载,转载请联系出处。 01 前景概要 目前,难以在检测效率和检测效果之间获得适当的平衡。我们就研究出了一种用于高分辨率光学遥感图像中目标检测的增强YOLOv5算法,利用多层特征金字塔、多检测头策略和混合注意力模块来提高...