-
Pixel-Aware Stable Diffusion for Realistic Image Super-Resolution and Personalized Stylization
香港理工大学&bytedance&alibaba https://github.com/yangxy/PASD/ https://arxiv.org/pdf/2308.14469 问题引入 当前的基于SD的方法缺乏对图片结构的保持,所以本...
-
【大语言模型LLMs】Llama系列简介
【大语言模型LLMs】Llama系列简介 文章目录 【大语言模型LLMs】Llama系列简介 1. LLaMa 1.1 引言 1.2 方法 1.2.1 预训练数据 1.2.2 架构 1.2.3 优化器 1.2.4 效率 2....
-
AI应用的流量“炼金术”
“五个离职同事里,至少有三个人在搞应用”,一位刚从大厂离职的员工告诉光子星球。 大厂高管出走、组团找融资,大热项目组成员离职看应用,是目前AI赛道最真实的写照。 进入2024年,模型层大局已定,鲜少有新玩家能够进入。而卷生卷死的AI应用,门槛不高,投入成本...
-
一文看懂 LLaMA 2:原理与模型训练介绍
近年来,人工智能领域的进展使得自然语言处理(NLP)技术得到了显著提升。LLaMA 2 是一种先进的语言模型,它在处理语言生成和理解任务上表现出色。本文将介绍 LLaMA 2 的基本原理、模型结构以及训练方法,帮助你全面了解这一技术。 1. LLaMA...
-
一文者懂LLaMA 2(原理、模型、训练)
引言 LLaMA(Large Language Model Meta AI)是Meta(前身为Facebook)开发的自然语言处理模型家族之一,LLaMA 2作为其最新版本,展示了在语言理解和生成方面的显著进步。本文将详细解读LLaMA 2的基本原理、...
-
Stable Diffusion 3 论文及源码概览
天才程序员周弈帆 2024年07月13日 23:30 近期,最受开源社区欢迎的文生图模型 Stable Diffusion 的最新版本 Stable Diffusion 3 开放了源码和模型参数。开发者宣称,Stable Diffusion 3 使用了...
-
半年过去,AI视频卷到哪儿了?
自从今年年初Sora露面后,国内国外都想用AI颠覆好莱坞,近期的AI视频圈更是十分热闹,产品一个接一个发布,都喊着要赶超Sora。 国外两家AI视频初创公司率先开打,旧金山人工智能科技公司Luma推出Dream Machine视频生成模型,并扔出堪称电影级...
-
【05】LLaMA-Factory微调大模型——初尝微调模型
上文【04】LLaMA-Factory微调大模型——数据准备介绍了如何准备指令监督微调数据,为后续的微调模型提供高质量、格式规范的数据支撑。本文将正式进入模型微调阶段,构建法律垂直应用大模型。 一、硬件依赖 LLaMA-Factory框架对硬件和软件的...
-
给 「大模型初学者」 的 LLaMA 3 核心技术剖析
编者按: 本文旨在带领读者深入了解 LLaMA 3 的核心技术 —— 使用 RMSNorm 进行预归一化、SwiGLU 激活函数、旋转编码(RoPE)和字节对编码(BPE)算法。RMSNorm 技术让模型能够识别文本中的重点,SwiGLU 激活函数则如同“...
-
AIGC最大价值不是降本,而是利用内容杠杆增效
在这个信息爆炸的时代,人工智能生成内容(AIGC 技术的崛起引发了广泛讨论。表面上,许多人将AIGC视为一种降低成本的工具。然而,如果我们以纳瓦尔·拉维坎特的视角来审视,就会发现AIGC的真正价值在于它作为一种强大的知识杠杆,能够exponentially...
-
用AIGC技术打造多样的室内装修风格
随着人工智能不断进步的创造能力,AI生成内容(AIGC)技术已经成为设计行业的一大助力。本文将详细介绍相关的技术原理和细节以及它们在室内装修设计中的应用案例,为读者揭示如何利用AIGC技术打造多样且个性化的室内装修风格。...
-
提升AI绘画生成质量:探索与突破
本文由 ChatMoney团队出品 随着人工智能技术的蓬勃发展,AI绘画生成技术已成为艺术领域的一颗璀璨新星。然而,尽管AI绘画技术在模仿人类绘画风格、创作独特艺术作品等方面取得了显著进展,但其生成的图像质量仍有待提升。本文旨在深入探讨如何提升AI绘...
-
每日AIGC最新进展(35):字节跳动提出人物肖像动画X-Portrait、字节跳动提出组合式视频编辑Edit3K、东华大学提出基于GCN的草图建模方法DC-gra2seq
Diffusion Models专栏文章汇总:入门与实战 X-Portrait: Expressive Portrait Animation with Hierarchical Motion Attention X-Portrait是由字节跳动...
-
大模型集体失智!9.11和9.9哪个大,几乎全翻车了
没眼看……“9.11和9.9哪个大”这样简单的问题,居然把主流大模型都难倒了?? 强如GPT-4o,都坚定地认为9.11更大。 谷歌Gemini Advanced付费版,同样的口径。 新王Claude3.5Sonnet,还一本正经的给出离谱的计算方法。...
-
Llama模型家族之使用 Supervised Fine-Tuning(SFT)微调预训练Llama 3 语言模型(七) 使用 LoRA 微调 LLM 的实用技巧
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 (一) 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 (二) 基于 LlaMA 3 + LangGraph 在w...
-
Diffusion【1】:SDSeg——基于Stable Diffusion的单步扩散分割!
文章目录 前言 Abstract Introduction Methods Latent Estimation Concatenate Latent Fusion Trainable Vision Encoder Experiment D...
-
Qwen2——阿里巴巴最新的多语言模型挑战 Llama 3 等 SOTA
引言 经过几个月的期待, 阿里巴巴 Qwen 团队终于发布了 Qwen2 – 他们强大的语言模型系列的下一代发展。 Qwen2 代表了一次重大飞跃,拥有尖端的进步,有可能将其定位为 Meta 著名的最佳替代品 骆驼3 模型。在本次技术深入探讨中,我...
-
京东广告研发——AIGC在京东广告创意的技术应用
一、前言 电商广告图片不仅能够抓住消费者的眼球,还可以传递品牌核心价值和故事,建立起与消费者之间的情感联系。然而现有的广告图片大多依赖人工制作,存在效率和成本的限制。尽管最近AIGC技术取得了卓越的进展,但其在广告图片的应用还存在缺乏卖点信息、难以规模...
-
【人工智能】一文看懂 LLaMA 2:原理、模型与训练
LLaMA 2(Large Language Model for AI Modeling and Assistance)是近年来广受关注的大规模语言模型之一。它被广泛应用于自然语言处理(NLP)任务,如文本生成、机器翻译和问答系统。本文将深入介绍LLaMA...
-
6700万参数比肩万亿巨兽GPT-4!微软MIT等联手破解Transformer推理密码
「因果推理」绝对是当前GenAI热潮下的小众领域,但是它有一个大佬级的坚定支持者——Yann LeCun。 他在推特上的日常操作之一,就是炮轰Sora等生成模型,并为自己坚信的因果推理领域摇旗呐喊。 甚至,早在2019年VentureBeat的采访中,他...
-
Llama 3 基于知识库应用实践(一)
一、概述 Llama 3 是Meta最新推出的开源大语言模型,其8B和13B参数的模型的性能与之前的Llama 2相比实现了质的飞跃。以下是官方给出的模型性能评测对比结果(引自:https://ai.meta.com/blog/meta-llama-3/...
-
Stable Diffusion 3架构解析
在台湾举办的台北国际电脑展上,Stability AI CTO 兼联合 CEO Christian Laforte 与 AMD CEO 苏姿丰一起宣布文本到图像生成模型 Stable Diffusion 3 将于 6 月 12 日开源。 一、扩散模型的...
-
AIGC从入门到实战:ChatGPT 说自己能做什么?
背景介绍 随着人工智能技术的不断发展,自然语言处理(NLP)技术也取得了显著的进展。近年来,生成对抗网络(GAN)和序列模型(Seq2Seq)等技术的发展,使得机器学习和深度学习在语言模型方面取得了突破性进展。其中,OpenAI的ChatGPT模型是目前...
-
调研分析:LLama大模型
1. 引言 在当前的自然语言处理(NLP)研究中,大规模预训练模型如BERT、GPT-3和RoBERTa已经展示了其卓越的性能和广泛的应用。随着技术的发展,新的模型不断涌现,推动了NLP领域的持续进步。本文将聚焦于LLama模型,分析其结构、预训练策略、优...
-
使用LlamaFactory进行模型微调:参数详解
在深度学习和自然语言处理领域,模型微调是提升预训练模型性能的重要手段。本文将介绍如何使用LlamaFactory进行模型微调,并详细解析一些关键参数,包括 --cutoff_len 1024、--flash_attn auto、--lora_rank 8、...
-
一文看懂LLaMA 2:原理、模型与训练
引言 人工智能领域的快速发展,带来了许多强大的语言模型。LLaMA 2 是其中之一,以其出色的性能和灵活的应用能力,吸引了广泛关注。这篇文章将带你深入了解 LLaMA 2 的原理、模型架构和训练过程,帮助你全面掌握这一前沿技术。 什么是LLaMA...
-
AIGC专栏12——EasyAnimateV3发布详解 支持图&文生视频 最大支持960x960x144帧视频生成
AIGC专栏12——EasyAnimateV3发布详解 支持图&文生视频 最大支持960x960x144帧视频生成 学习前言 项目特点 生成效果 相关地址汇总 项目主页 Huggingface体验地址 Modelscope体验地址 源...
-
【大语言模型LLM】- Meta开源推出的新一代大语言模型 Llama 3
🔥博客主页:西瓜WiFi 🎥系列专栏:《大语言模型》 很多非常有趣的模型,值得收藏,满足大家的收集癖! 如果觉得有用,请三连👍⭐❤️,谢谢! 长期不定时更新,欢迎watch和fork!❤️❤️❤️ ❤️感谢大家点赞👍 收藏⭐ 评论⭐ 🎥大语言模...
-
【Python】科研代码学习:十六 Model架构的代码细节,附架构图:Llama 为例 (v4.28.0)
【Python】科研代码学习:十六 Model与网络架构 的代码细节:Llama 为例(v4.28.0) 前言 导入依赖 `LlamaRMSNorm`:改进的 层正则化 `LlamaRotaryEmbedding`:旋转式位置编码 `Llama...
-
LLaMA-Cult-and-More:深度学习的新里程碑
LLaMA-Cult-and-More:深度学习的新里程碑 在人工智能领域,尤其是自然语言处理(NLP)中,模型的规模和能力不断提升,推动了行业的飞速进步。今天我们要介绍的是一个名为LLaMA的开源项目,它由shm007g开发并维护,旨在提供高效的、大规...
-
Meta Llama 3 残差结构
Meta Llama 3 残差结构 flyfish 在Transformer架构中,残差结构(Residual Connections)是一个关键组件,它在模型的性能和训练稳定性上起到了重要作用。残差结构最早由He et al.在ResNet中提出,并...
-
LLaMA 2-原理&模型&训练-你懂了吗?
LLaMA 2的原理 LLaMA 2是Meta AI开发的大型语言模型,它基于Transformer架构,采用了自注意力机制来处理输入序列中的长期依赖关系。LLaMA 2的核心原理包括自注意力机制、多头注意力、层归一化和残差连接等,这些技术共同使得模型...
-
结合RNN与Transformer双重优点,深度解析大语言模型RWKV
本文分享自华为云社区《【云驻共创】昇思MindSpore技术公开课 RWKV 模型架构深度解析》,作者:Freedom123。 一、前言 Transformer模型作为一种革命性的神经网络架构,于2017年由Vaswani等人 提出,并在诸多任务中...
-
全网最全讲解Stable Diffusion原理,小白也能看懂!速来!!!
手把手教你入门绘图超强的AI绘画程序Stable Diffusion,用户只需要输入一段图片的文字描述,即可生成精美的绘画。下面是Stable Diffusion注册和使用的方法。给大家带来了全新Stable Diffusion保姆级教程资料包(文末可获取...
-
一文为你深度解析LLaMA2模型架构
本文分享自华为云社区《【云驻共创】昇思MindSpore技术公开课 大咖深度解析LLaMA2 模型架构》,作者: Freedom123。 一、前言 随着人工智能技术的不断发展,自然语言处理(NLP)领域也取得了巨大的进步。在这个领域中,LLaMA展...
-
【AI原理解析】— 文心一言模型
目录 模型架构 Transformer模型 编码器-解码器结构 训练过程 预训练 微调 关键技术 知识增强 上下文感知 个性化生成 推理与生成 应用场景 问答系统 文本生成 对话系统 模型架构 Trans...
-
开源之光 Stable Diffusion 3 技术论文全解:公式占一半,实验很充分!
文章链接:https://arxiv.org/pdf/2403.03206 扩散模型通过反转数据到噪声的正向路径来从噪声中创建数据,并已成为处理高维感知数据(如图像和视频)的强大生成建模技术。Rectified flow是一种最近提出的生成模型形式,它将...
-
Stable Diffusion 3 文本生成图像 在线体验 原理分析
前言 本文分享使用Stable Diffusion 3实现文本生成图像,可以通过在线网页中免费使用的,也有API等方式访问。 同时结合论文和开源代码进行分析,理解其原理。 Stable Diffusion 3是Stability AI开发的最新、最先...
-
AIGC-CVPR2024best paper-Rich Human Feedback for Text-to-Image Generation-论文精读
Rich Human Feedback for Text-to-Image Generation斩获CVPR2024最佳论文!受大模型中的RLHF技术启发,团队用人类反馈来改进Stable Diffusion等文生图模型。这项研究来自UCSD、谷歌等。 在...
-
【小沐学AI】Python实现语音识别(faster-whisper)
文章目录 1、简介 1.1 CTranslate2 1.2 Intel MKL 1.3 cuDNN 1.4 Transformer 2、下载和安装 2.1 命令行 2.2 代码 3、模型下载 3.1 在线测试 3.1.1 tiny...
-
AIGC入门(一) 从零开始搭建Transformer!(上)
前言 我记得曾经看过一篇综述,综述里曾这样讲过: 多模态使用Transformer作为基石模型的一个原因之一,就是因为它能够很好地统一视觉(ViT、DiT)和文本,并且无限制地扩大其参数。这是一个在工程上很有作用也很有实际意义的事情。 笔者...
-
基于Python和TensorFlow实现BERT模型应用
本文分享自华为云社区《使用Python实现深度学习模型:BERT模型教程》,作者: Echo_Wish。 BERT(Bidirectional Encoder Representations from Transformers)是Google提出的一种用...
-
LLM2Vec介绍和将Llama 3转换为嵌入模型代码示例
嵌入模型是大型语言模型检索增强生成(RAG 的关键组成部分。它们对知识库和用户编写的查询进行编码。 使用与LLM相同领域的训练或微调的嵌入模型可以显著改进RAG系统。然而,寻找或训练这样的嵌入模型往往是一项困难的任务,因为领域内的数据通常是稀缺的。 但...
-
Stable Diffusion——四种模型 LoRA(包括LyCORIS)、Embeddings、Dreambooth、Hypernetwork
目前 Stable diffusion 中用到主要有四种模型,分别是 Textual Inversion (TI)以 Embeddings 为训练结果的模型、Hypernetwork 超网络模型、LoRA(包括 LoRA 的变体 LyCORIS)模型、Dr...
-
AIGC从入门到实战:远近高低各不同:Transformer 和预训练模型是什么?
1. 背景介绍 近年来,随着人工智能技术的快速发展,AIGC(人工智能生成内容)已经成为了一个热门的话题。Transformer 和预训练模型是 AIGC 中的两个重要概念,它们对于理解和应用 AIGC 技术具有重要意义。本文将介绍 Transforme...
-
AIGC技术深度剖析:底层原理及其应用
AIGC技术深度剖析:底层原理及其应用 引言 人工智能生成对话技术(AIGC)是一种能够模拟人类语言表达和生成自然语言响应的技术。它是由AI对话大师调用的聊天生成语言大模型所提供的。本文将深入剖析AIGC技术的底层原理,并探讨它在各个领域的应用。...
-
天才程序员周弈帆 | Stable Diffusion 解读(二):论文精读
本文来源公众号“天才程序员周弈帆”,仅用于学术分享,侵权删,干货满满。 原文链接:Stable Diffusion 解读(二):论文精读 【小小题外话】端午安康! 在上一篇文章天才程序员周弈帆 | Stable Diffusion 解读(一):回顾早...
-
人工智能前沿讲座——AIGC
目录 前情提要 一、什么是AIGC AIGC与传统的AI有何区别? 二、发展历程 GAN 生成对抗网络 大模型与Transformer Transformer\BERT\GPT 扩散模型和稳定扩散模型 三、AIGC的发展应用 新质生产力...
-
每日AIGC最新进展(34):特拉维夫大学提出多主题扩散模型Be Yourself、阿里巴巴提出个性化人脸生成方法FlashFace、清华大学提出快速评估扩散模型方法FlashEval
Diffusion Models专栏文章汇总:入门与实战 Be Yourself: Bounded Attention for Multi-Subject Text-to-Image Generation 本文探讨了文本到图像生成领域中的一个关...
-
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(一)
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(一) Meta 通过推出新的开源 AI 模型 Llama 3 以及新版本的 Meta AI,正在加强其在人工智能 (AI 竞赛中的竞争力。该虚拟助手由 Llama 3 提供支持,现已可在所...