-
Omost - 一句话即可AI绘画，自动生成关键词，本地一键整合包
近日，ControlNet的作者推出了一个全新的项目——Omost。这个项目对现有图像模型的提示词理解有着巨大的帮助。通过很短的提示词，就可以生成非常详细并且空间表现很准确的图片。划重点，这个项目需要8G显存显卡运行，据说老显卡，比如10系可能用不了，具体...
-
【AI原理解析】— Meta Llama-3模型
目录 一、模型架构 Transformer架构 解码器（Decoder-only）设计 Group Query Attention (GQA 技术 二、参数与训练 参数规模 训练数据集 训练过程 三、技术特点 四、性能提升 推理能力...
-
Whisper-AT：抗噪语音识别模型（Whisper）实现通用音频事件标记（Audio Tagger）
本文介绍一个统一音频标记（Audio Tagger）和语音识别（ASR）的模型：Whisper-AT，通过冻结Whisper的主干，并在其之上训练一个轻量级的音频标记模型。Whisper-AT在额外计算成本不到1%的情况下，可以在单次前向传递...
-
Runway正式发布全新Gen3模型，AI视频的王，它回来了。
在AI视频被一众新秀，比如Sora、Luma、可灵等等占据注意力的时候，已经有人忘了AI视频领域统治了N久的王者，他叫Runway。 去年的11月份更新了一次Gen2模型模型，然后宣布他们要开始组团队开始进军世界模型之后。 他们就再无动静了。 一晃眼，将...
-
霉霉开口唱碧昂丝的歌，又是AI！口型不出戏，五官姿态也自然，复旦百度等出品｜GitHub揽星1k+
一张人像、一段音频参考，就能让霉霉在你面前唱碧昂丝的《Halo》。 一种名为Hallo的研究火了，GitHub已揽星1k+。 话不多说，来看更多效果: 不论是说话还是唱歌，都能和各种风格的人像相匹配。从口型到眉毛眼睛动作，各种五官细节都很自然。 单独...
-
从论文中看AI绘画
个人博客:Sekyoro的博客小屋个人网站:Proanimer的个人网站 主要看是看Diffusion Models,CLIP,ControlNet,IP-Adapter这种经典论文,尝试总结论文写作的一些方式以及图像生成模型的一些内在思想. 对于其中的数...
-
大规模语言模型从理论到实践 LLaMA的模型结构
1.背景介绍 随着人工智能技术的不断发展，大规模语言模型（Large Language Models, LLMs）已经成为自然语言处理领域的热点。这些模型通过在大规模数据集上进行训练，能够生成连贯、相关且有趣的文本输出。LLaMA 是 Meta AI 开...
-
论文笔记：Pixel-Aware Stable Diffusion for Realistic Image Super-Resolution and Personalized Stylization
CVPR2024 论文代码：yangxy/PASD (github.com 论文地址：[2308.14469v3] Pixel-Aware Stable Diffusion for Realistic Image Super-resolution a...
-
AI画连环画角色更一致了！人物之间的复杂互动也能处理｜中山大学&联想团队出品
让AI画漫画角色保持一致的新研究来了! 创作的连环画效果belike: 频繁切换主体、人物之间复杂的互动也能保持角色一致性: 上述效果来自AutoStudio，是一个由中山大学和联想团队联合提出的无需训练的多智能体协同框架。 AutoStudio采用基...
-
Meta Llama 3 性能提升与推理服务部署
利用 NVIDIA TensorRT-LLM 和 NVIDIA Triton 推理服务器提升 Meta Llama 3 性能 我们很高兴地宣布 NVIDIA TensorRT-LLM 支持 Meta Llama 3 系列模型，从而加速和优化您的 L...
-
Llama网络结构介绍
LLaMA现在已经是开源社区里炙手可热的模型了，但是原文中仅仅介绍了其和标准Transformer的差别，并没有一个全局的模型介绍。因此打算写篇文章，争取让读者不参考任何其他资料把LLaMA的模型搞懂。 结构 如图所示为LLaMA的示意图，由Atte...
-
大象AI写作 我是如何编写一套属于自己的Prompt提示词的
本文背景 我们在写提示词的时候，AI对COT少量样本的学习能力很重要。 要编写出一套出色的内容创作提示(prompt ，关键在于如何教GPT进行自我创作，这就是一门“know how”的艺术。 比如当你要AI写一个视频标题，初学者只是简单地...
-
AIGC——ComfyUI使用SDXL双模型的工作流（附件SDXL模型下载）
SDXL算法概述 SDXL（Stable Diffusion XL）是Stable Diffusion公司发布的一款图像生成大模型。在以往的模型基础上，SDXL进行了极大的升级，其base模型参数数量达到了35亿，refiner模型参数数量达到了66亿...
-
用ControlNet+Inpaint实现stable diffusion模特换衣
用ControlNet+Inpaint实现stable diffusion模特换衣 ControlNet 训练与架构详解 ControlNet 的架构 用于文本到图像扩散的 ControlNet 训练过程...
-
每日AIGC最新进展(23)：魁北克人工智能研究所提出扩展注意力机制视频编辑、浙江大学提出video-to-Audio生成算法Frieren、清华大学提出扩散模型参数高效迁移学习Diff-Tuning
Diffusion Models专栏文章汇总：入门与实战 Temporally Consistent Object Editing in Videos using Extended Attention 本文提出了一种用于视频编辑的新方法，旨在通过...
-
AIGC-风格迁移-style Injection in Diffusion-CVPR2024HighLight-论文精度
Style Injection in Diffusion: A Training-free Approach for Adapting Large-scale Diffusion Models for Style Transfer-CVPR2024High...
-
基于Ascend C的FlashAttention算子性能优化最佳实践
本文分享自华为云社区《基于Ascend C的FlashAttention算子性能优化最佳实践》，作者：昇腾CANN。 LLM的Attention部分处理给计算系统带来巨大的计算和访存压力。业界先后出现FlashAttention、FlashAttenti...
-
[从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码：绝对位置、相对位置、旋转位置编码
[从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码 文章目录 [从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码 1. 位置编码 1.1 绝对位...
-
RAG 与长文本，此消彼长还是相辅相成？
上周，PingCAP AI Lab 数据科学家孙逸神的文章《当前都在堆长窗口，还需要 RAG 吗？》从用户的角度谈了长窗口&RAG 的看法，引起了众多同行的围观，本周我们采访了张粲宇，看看搞向量数据库的业内人士，是怎么看待这个问题的？...
-
阅读笔记——生成式人工智能AIGC的逻辑与应用读后感
阅读笔记——生成式人工智能AIGC的逻辑与应用读后感 我们不会被人工智能所取代，但极大可能会被善于使用人工智能的人所取代 时至今日，我都忘了我是怎么与这本书结缘的了。 是见猎心喜吧，当时看出版日期挺新的 大约是23年12月的时候，我...
-
transformers 阅读：Llama 模型
正文 学习一下 transformers 库中，Llama 模型的代码，学习过程中写下这篇笔记，一来加深印象，二来可以多次回顾。 笔者小白，里面错误之处请不吝指出。 层归一化 LlamaRMSNorm transformers 中对于 Llam...
-
Llama 3 模型上下文长度扩展至1048K
AI苏妲己： Gradient AI 近日宣布，通过其创新的渐进式训练方法，成功将 Llama 3 系列模型的上下文长度扩展至超过100万令牌。 Llama 3 模型最初设计用于处理8000个令牌的上下文长度，这大约相当于6000字或10页文档。为了适...
-
大模型算法(一)：从Transformer到ViT再到LLaMA
单任务/单领域模型 深度学习最早的研究集中在针对单个领域或者单个任务设计相应的模型。 对于CV计算机视觉领域，最常用的模型是CNN卷积模型。其中针对计算机视觉中的不同具体任务例如分类任务，目标检测任务，图像分割任务，以CNN作为骨干backbone，加...
-
Stable diffusion文生图大模型——隐扩散模型原理解析
1、前言 本篇文章，我们将讲这些年非常流行的文生图大模型——Stable Diffusion。该模型也不难，甚至说很简单。创新点也相对较少，如果你学会了我以前的文章讲过的模型，学习这个也自然水到渠成！ 参考论文：High-Resolution Ima...
-
stable diffusion比 transformer 作了哪些改进
Stable Diffusion 是一个基于自注意力机制的生成模型，它的设计受到了 Transformer 模型的启发，但也在很多方面进行了改进。以下是 Stable Diffusion 相较于 Transformer 的一些改进之处： 稳定性提升：...
-
大模型系列：LLaMA大模型简述和本地部署实践
内容摘要 LLaMA大模型背景介绍 LLaMA网络结构相比Transformer的改进 LLaMA中文化Atom大模型简述 在Python中调用HuggingFace LLaMA模型 基于text-generation-webui部署LLaMA问答平...
-
20K star！搞定 LLM 微调的开源利器LLaMA Factory
20K star！搞定 LLM 微调的开源利器LLaMA Factory 关于LLM 微调 优化型技术 计算型技术 LLaMA Factory 是什么 使用 LLaMA Factory 模型导出 LLaMA-Factory 结构 总结 项目...
-
【AIGC】PULID:对比对齐的ID定制化技术
论文链接：https://arxiv.org/pdf/2404.16022 github：https://github.com/ToTheBeginning/PuLID comfyui节点：GitHub - cubiq/PuLID_ComfyUI: P...
-
使用LLM2Vec将Llama 3转变为一个嵌入模型
文章目录 LLM2Vec：您的LLM也是一个嵌入模型 使用LLM2Vec将Llama 3转变为文本嵌入模型 为 RAG 设置 Llama 3 文本嵌入模型 结论 原文：Benjamin Marie Turn Llama 3 into a...
-
从商品图到海报生成 京东广告AIGC创意技术应用
一、前言 电商广告图片不仅能够抓住消费者的眼球，还可以传递品牌核心价值和故事，建立起与消费者之间的情感联系。然而现有的广告图片大多依赖人工制作，存在效率和成本的限制。尽管最近 AIGC 技术取得了卓越的进展，但其在广告图片的应用还存在缺乏卖点信息、难以规...
-
有趣的大模型之我见 | Llama AI Model
Llama 开源吗？ 我在写《有趣的大模型之我见 | Mistral 7B 和 Mixtral 8x7B》时曾犹豫，在开源这个事儿上，到底哪个大模型算鼻祖？2023 年 7 月 18 日，Meta 推出了最受欢迎的大型语言模型（LLM）的第二个版本-Ll...
-
开源超闭源！通义千问Qwen2发布即爆火，网友：GPT-4o危
开源大模型全球格局，一夜再变。 这不，全新开源大模型亮相，性能全面超越开源标杆Llama3。王座易主了。不是“媲美”、不是“追上”，是全面超越。发布两小时，直接冲上HggingFace开源大模型榜单第一。 这就是最新一代开源大模型Qwen2，来自通义千问，...
-
Diffusion Model, Stable Diffusion, Stable Diffusion XL 详解
文章目录 Diffusion Model 生成模型 DDPM概述 向前扩散过程 前向扩散的逐步过程 前向扩散的整体过程 反向去噪过程 网络结构 训练和推理过程 训练过程 推理过程 优化目标 详细数学推导 数学基础 向前扩散过程 反向...
-
使用Python实现深度学习模型：序列到序列模型（Seq2Seq）
本文分享自华为云社区《使用Python实现深度学习模型：序列到序列模型（Seq2Seq）》，作者： Echo_Wish。 序列到序列（Seq2Seq）模型是一种深度学习模型，广泛应用于机器翻译、文本生成和对话系统等自然语言处理任务。它的核心思想是将一个序...
-
斯坦福让“GPU高速运转”的新工具火了，比FlashAttention2更快
AI算力资源越发紧张的当下，斯坦福新研究将GPU运行效率再提升一波—— 内核只有100行代码，让H100比使用FlashAttention-2，性能还要提升30%。 怎么做到的？ 研究人员从“硬件实际需要什么？如何满足这些需求？”这两个问题出发，设计了...
-
可灵大模型有哪些功能免费吗？快手视频生成模型怎么使用方法详细教程指南
可灵大模型 是什么？ 可灵大模型（Kling）是快手大模型团队自研打造的先进视频生成模型，具备3D时空联合注意力机制，能够生成符合运动规律的视频内容，支持长达 2 分钟的视频生成，帧率达到30fps。它基于自研模型架构和强大的Diffusion Tran...
-
快手发布视频生成大模型「可灵」：已开放邀测 效果对标Sora
近日，快手发布了一款名为「可灵」的视频生成大模型，该模型效果对标了之前发布的 Sora，同时已在快手旗下的快影 App 开放邀测体验。 可灵大模型具有多项优势，包括能够生成大幅度的合理运动、模拟物理世界特性、具备强大的概念组合能力和想象力，以及支持高分辨率...
-
Github万星！北航发布零代码大模型微调平台LlamaFactory
在人工智能领域，大语言模型（LLMs）已成为推动技术进步的关键力量。它们在理解和生成自然语言方面展现出了卓越的能力，从而在问答系统、机器翻译、信息提取等多样化任务中发挥着重要作用。然而，要将这些模型适配到特定的下游任务中，通常需要进行微调（fine-tun...
-
LLM | Yuan 2.0-M32：带注意力路由的专家混合模型
图片 一、结论写在前面 Yuan 2.0-M32，其基础架构与Yuan-2.0 2B相似，采用了一个包含32位专家的专家混合架构，其中2位专家处于活跃状态。提出并采用了一种新的路由网络——注意力路由器，以更高效地选择专家，相比采用经典路由网络的模型，其准...
-
[从0开始AIGC][Transformer相关]：算法的时间和空间复杂度
一、算法的时间和空间复杂度 文章目录 一、算法的时间和空间复杂度 1、时间复杂度 2、空间复杂度 二、Transformer的时间复杂度分析 1、 self-attention 的时间复杂度 2、 多头注意力机制的时间复杂度 三...
-
重磅 Llama-3最强开源大模型惊艳亮相
重磅！Llama-3，最强开源大模型正式发布！ 202年4 月 19 日，Meta 发布开源大模型 Llama-3，助力研究人员和开发者推进语言 AI 的界限。 强大的语言模型Llama-3推出，拥有80亿...
-
LLM并发加速部署方案（llama.cpp、vllm、lightLLM、fastLLM）
大模型并发加速部署 解析当前应用较广的几种并发加速部署方案！ llama.cpp、vllm、lightllm、fastllm四种框架的对比： llama.cpp：基于C++，①请求槽，②动态批处理，③CPU/GPU混合推理 vllm：基于Pyth...
-
LLMs之llama3-from-scratch：llama3-from-scratch(从头开始利用pytorch来实现并解读LLaMA-3模型的每层代码)的简介、核心思路梳理
LLMs之llama3-from-scratch：llama3-from-scratch(从头开始利用pytorch来实现并解读LLaMA-3模型的每层代码 的简介、核心思路梳理 导读：这篇论文实现了transformer网络的llama3模型...
-
前OpenAI员工发公开信吁AI公司允许员工提出风险担忧
近日，一群前OpenAI和Google DeepMind员工在一封公开信中呼吁人工智能公司允许员工提出对AI风险的担忧，而不必担心遭到报复。他们认为AI可能加剧不平等、操纵信息，甚至导致人类灭绝。公开信要求AI公司遵守四项原则，包括不禁止批评、提供匿名渠道...
-
改进的检测算法：用于高分辨率光学遥感图像目标检测
本文经计算机视觉研究院公众号授权转载，转载请联系出处。 01 前景概要 目前，难以在检测效率和检测效果之间获得适当的平衡。我们就研究出了一种用于高分辨率光学遥感图像中目标检测的增强YOLOv5算法，利用多层特征金字塔、多检测头策略和混合注意力模块来提高...
-
多语言模型微调统一框架 LlAMAFACTORY: 统一高效微调100多种语言模型
文章目录 摘要 1 引言 2 高效微调技术 2.1 高效优化 2.2 高效计算 3 LlAMAFACtORY框架 3.1 模型加载器 3.2 数据处理工作者 3.3 训练器 3.4 实用工具 3.5 LLAMABOARD：LLAMAFAC...
-
被作者删库的Llama 3-V原文再现！效果匹敌GPT4-V，训练费用暴降，区区不到500 美元，尺寸小100 倍，如何做到的
编译 | 言征 作者 | Aksh Garg 备注：发稿前作者已经删掉原文 出品 | 51CTO技术栈（微信号：blog51cto） 近日，一款Llama3V最近被“先红后黑”的出了圈。作为全球顶尖研究学府的团队，身陷“抄袭”中国大模型的泥潭后，火速删稿...
-
Mamba-2新架构出世一统江湖！普林斯顿CMU华人再出神作，性能狂飙8倍
年前，Mamba被顶会ICLR拒稿的消息曾引起轩然大波。 甚至有研究人员表示：如果这种工作都被拒了，那我们这些「小丑」要怎么办？ 这次，新一代的Mamba-2卷土重来、再战顶会，顺利拿下了ICML 2024！ 仍是前作的两位大佬（换了个顺序），仍是熟...
-
什么是LLM大模型训练，详解Transformer结构模型
本文分享自华为云社区《LLM 大模型学习必知必会系列(四 ：LLM训练理论篇以及Transformer结构模型详解》，作者：汀丶。 1.模型/训练/推理知识介绍 深度学习领域所谓的“模型”，是一个复杂的数学公式构成的计算步骤。为了便于理解，我们以一...
-
大规模语言模型--LLaMA 家族
LLaMA 模型集合由 Meta AI 于 2023 年 2 月推出， 包括四种尺寸(7B 、13B 、30B 和 65B 。由于 LLaMA 的 开放性和有效性， 自从 LLaMA 一经发布， 就受到了研究界和工业界的广泛关注。LLaMA 模型在开放基准...