-
Stable Diffusion扩散模型 + Consistency一致性模型
1 GAN到Stable Diffusion的改朝换代 2 从DDPM到Stable Diffusion发展史 2.1 DDPM 扩散过程（正向） 去噪过程（反向） 总结 优化目标 理论推导 代码解析 2.2 Stable Diffu...
-
【AIGC】Controlnet:基于扩散模型的文生图的可控性
前言 controlnet可以让stable diffusion的生图变得可控。 文章连接：https://arxiv.org/pdf/2302.05543.pdf 摘要 冻结了stable diffusion的预训练模型并重用它的预训练...
-
Stable Diffusion模型概述
Stable Diffusion 1. Stable Diffusion能做什么？ 2. 扩散模型 2.1 正向扩散 2.2 反向扩散 3. 训练如何进行 3.1 反向扩散 3.2 Stable Diffusion模型 3.3 潜在扩散模...
-
深入浅出解析Stable Diffusion完整核心基础知识 | 【算法兵器谱】
Rocky Ding 公众号：WeThinkIn 最新更新： Rocky也一直在更新Stable Diffusion系列的文章内容，包括最新发布的Stable Diffusion XL。Rocky都进行...
-
Animate Anyone体验入口 AI生成动漫图像视频软件工具免费使用地址
Animate Anyone是一款革命性的AI工具，它利用扩散模型的力量，从静态图像生成角色视频。我们专门为角色动画设计了一个新框架，通过ReferenceNet和空间注意力技术来保持复杂外观特征的一致性。此外，我们还引入了高效的姿势指导器和有效的时间建模...
-
如何利用 MidJourney 进行 AI 艺术创作（详细教程）
文章目录 什么是 MidJourney? MidJourney 入门 第 1 步：设置 Discord 第 2 步：注册订阅 MidJourney 了解 MidJourney 的工具和功能 在 MidJourney 中进行 AI 艺术创作...
-
【AIGC】IP-Adapter：文本兼容图像提示适配器，用于文本到图像扩散模型
前言 IPAdapter能够通过图像给Stable Diffusion模型以内容提示，让其生成参考该图像画风，可以免去Lora的训练，达到参考画风人物的生成效果。 摘要 通过文本提示词生成的图像，往往需要设置复杂的提示...
-
【生成模型】Stable Diffusion原理+代码
文章目录 前言 一、Latent space 二、AutoEncoder 和 VAE 1.AutoEncoder: 2.VAE： 三、Diffusion扩散模型 1.前向过程 2.逆向过程 四、多模态 cross attention 五...
-
互联网新时代要来了（二）什么是AIGC？
什么是AIGC？ 最近，又火了一个词“**AIGC”**2022年被称为是AIGC元年。那么我们敬请期待，AIGC为我们迎接人工智能的下一个时代。 TIPS:内容来自百度百科、知乎、腾讯、《AIGC白皮书》等网页 什么是AIGC？ 1...
-
开源模型新纪录：超越Mixtral 8x7B Instruct的模型来了
从 Llama、Llama 2 到 Mixtral 8x7B，开源模型的性能记录一直在被刷新。由于 Mistral 8x7B 在大多数基准测试中都优于 Llama 2 70B 和 GPT-3.5，因此它也被认为是一种「非常接近 GPT-4」的开源选项。...
-
元象开源大模型XVERSE-Long-256K 支持输入25万汉字
元象发布了全球首个上下文窗口长度为256K 的开源大模型 XVERSE-Long-256K，支持输入25万汉字，无条件免费商用。 该模型填补了开源生态空白，与元象之前的大模型组成了高性能全家桶。XVERSE-Long-256K 在评测中表现出色，超越了其他...
-
人工智能在数据安全中的应用场景
场景一：数据资产梳理 数据资产梳理是数据安全的基础。知道企业究竟有多少数据，这些数据在哪里？有哪些类型的数据？其中哪些是敏感数据？这些数据的敏感等级分别是什么？只有明确了保护的目标，才能有针对性的对安全风险进行防护。 对于大数据来说，首先要做的一项工作就...
-
Animate Anyone体验入口 AI角色视频动画制作软件工具app免费下载地址
Animate Anyone是一个前沿技术工具，专门用于从静态图像生成角色视频。它结合了扩散模型的强大功能，通过专为角色动画定制的新框架，实现了从图像到视频的高质量转换。Animate Anyone通过ReferenceNet合并详细特征，保持了参考图像中...
-
广义人工智能时代：通往通用人工智能（AGI）之路
人工智能(AI 将于2024年进一步改进，大型语言模型有望进一步发展。 2023年对于人工智能和生成式人工智能来说是激动人心的一年，特别是那些采用大型语言模型(LLM 架构的人工智能，比如来自开放人工智能(GPT 4 、Anthropic(Claud...
-
超越BEVFusion！又快又好的极简BEV融合部署方案
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在算法开发中，激光雷达-相机3D目标检测遇到了过度拟合问题，这是由于违反了一些基本规则。在数据集构建的数据标注方面，本文参考了理论补充，并认为回归任务预测不应涉及来自...
-
AIGC｜一文梳理「AI视频生成」技术核心基础知识和模型应用
大家好，我是猫先生，AI技术爱好者与深耕者！！ 2022年是AIGC（生成式AI）元年！从这一年开始，可谓是百家争鸣，各种技术层出不穷，再次迸发出AI的活力。从DALL·E 2、Stable Diffusion、Midjourney等文生图应用点燃了大众...
-
LLaMA的解读与其微调：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙/LLaMA 2
前言 近期，除了研究ChatGPT背后的各种技术细节 不断看论文(至少100篇，100篇目录见此：ChatGPT相关技术必读论文100篇 ，还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节 ...
-
OpenAI Whisper论文笔记
OpenAI Whisper论文笔记 OpenAI 收集了 68 万小时的有标签的语音数据，通过多任务、多语言的方式训练了一个 seq2seq （语音到文本）的 Transformer 模型，自动语音识别（ASR）能力达到商用水准。本文为李沐老师论文精...
-
WAIC2023| AIGC究竟在向善还是向恶而行？
目录 一、常见图像篡改技术 二、传统篡改图像检测方法 2.1、基于光源和噪声的拼接图像篡改检测方法 2.2、基于马尔科夫特征的检测方法 三、基于深度学习的图像篡改检测方法 3.1、基于Fisher编码和SVM模型的方法 3.2、 基于...
-
AI：你总要高清视频，它来了
Magnific 图像超分 & 增强工具还正在火热体验中，它强大的图像升频与再创能力收获一致好评。现在，视频领域也有了自己的 Magnific。 拍摄的街道视频一片模糊，仿佛高度近视没戴眼镜一样： 与之相比，下面的视频清晰度高了很多： 视频画...
-
Transformer的无限之路：位置编码视角下的长度外推综述
在自然语言处理（Natural Language Processing，NLP）领域，Transformer 模型因其在序列建模中的卓越性能而受到广泛关注。然而，Transformer 及在其基础之上的大语言模型（Large Language Model...
-
ddl是第一生产力有了科学解释，网友：给大模型试试
到年底了，大学生碰上期末周、打工人在赶KPI，没有deadline（ddl）的年底不是真年底…… ddl在我们的日常生活中普遍存在，“ddl是第一生产力”更是人们通过亲身实践得出的“至理名言”。 然鹅，关于ddl行为效应的系统证据却很少见。 不过，运...
-
Stable Diffusion XL（SDXL）核心基础知识
文章目录 一、Stable Diffusion XL基本概念 二、SDXL模型架构上的优化 （一）SDXL的整体架构 （二）VAE （三）U-Net （四）text encoder （五）refiner model 三、SDXL在训练上的技...
-
能找神经网络Bug的可视化工具，Nature子刊收录
研究人员发现，在神经网络推理的某些数据图中存在尖峰，这些尖峰往往出现在神经网络判断模糊与产生错误的地方。观察这些尖峰，研究人员可以更容易发现人工智能系统中的故障点。 从分析癌症突变的原因到决定谁应该获得贷款，在解决这些问题的过程中，仿照人脑的神经网络比人...
-
RoboFusion：通过SAM实现稳健的多模态3D检测
本文经自动驾驶之心公众号授权转载，转载请联系出处。 论文链接：https://arxiv.org/pdf/2401.03907.pdf 多模态3D检测器致力于探索安全可靠的自动驾驶感知系统。然而，尽管在干净的基准数据集上实现了最先进的（SOTA）性能，...
-
五种资源类别，如何提高大语言模型的资源效率，超详细综述来了
近年来，大型语言模型（LLM）如 OpenAI 的 GPT-3 在人工智能领域取得了显著进展。这些模型，具有庞大的参数量（例如 1750 亿个参数），在复杂度和能力上实现了飞跃。随着 LLM 的发展趋势朝着不断增大的模型规模前进，这些模型在从智能聊天机器...
-
TimePillars：提升200米以上小目标的检测能力
本文经自动驾驶之心公众号授权转载，转载请联系出处。 基于LiDAR点云点3D Object Detection一直是一个很经典的问题，学术界和工业界都提出了各种各样的模型来提高精度、速度和鲁棒性。但因为室外的复杂环境，所以室外点云的Object Det...
-
如何高效部署大模型？CMU最新万字综述纵览LLM推理MLSys优化技术
在人工智能（AI）的快速发展背景下，大语言模型（LLMs）凭借其在语言相关任务上的杰出表现，已成为 AI 领域的重要推动力。然而，随着这些模型在各种应用中的普及，它们的复杂性和规模也为其部署和服务带来了前所未有的挑战。LLM 部署和服务面临着密集的计算强...
-
AIGC之Image2Video（一）| Animate Anyone：从静态图像生成动态视频，可将任意图像角色动画化
近日，阿里发布了Animate Anyone，只需一张人物照片，结合骨骼动画，就能生成人体动画视频。 项目地址：https://humanaigc.github.io/animate-anyone/ 论文地址：https://ar...
-
拆掉英伟达护城河，细节曝光！世界最快超算用3072块AMD GPU训完超万亿参数LLM
用AMD的软硬件系统也能训练GPT-3.5级别的大模型了。 位于美国橡树岭国家实验室（Oak Ridge National Laboratory）的全世界最大的超算Frontier，集合了37888个MI250X GPU和9472个Epyc 7A53 C...
-
即插即用，完美兼容：SD社区的图生视频插件I2V-Adapter来了
图像到视频生成（I2V）任务旨在将静态图像转化为动态视频，这是计算机视觉领域的一大挑战。其难点在于从单张图像中提取并生成时间维度的动态信息，同时确保图像内容的真实性和视觉上的连贯性。大多数现有的 I2V 方法依赖于复杂的模型架构和大量的训练数据来实现这一...
-
AI绘画权益纠纷：你的创作是否触碰了版权底线？
最近，北京互联网法院就一起人工智能生成图片（AI绘画图片）的著作权侵权案进行了首次审理并做出了判决。这是中国首例牵涉到“AI文生图”著作权的案件，庭审过程在多个平台进行直播，吸引了众多网友，同时引发了对于AI生成内容与著作权之间关系的广泛讨论。 那么近年...
-
AI看图猜位置，准确率超90%！斯坦福最新PIGEON模型：40%预测误差不到25公里
随手在网络上发布的一张照片，能暴露多少信息？ 外国的一位博主@rainbolt就长年接受这种「照片游戏」的挑战，网友提供照片，他来猜测照片的具体拍摄地，有些照片甚至还能猜到具体的航班细节。 是不是细思极恐？ 但「照片挑战」也同样抚慰了很多人心中的遗憾，...
-
LLaMA开源大模型源码分析！
Datawhale干货 作者：宋志学，Datawhale成员 花了一晚上照着transformers仓库的LLaMA源码，把张量并行和梯度保存的代码删掉，只留下模型基础结构，梳理了一遍LLaMA的模型结构。 今年四月份的时候，我第一次...
-
【计算机视觉 | 目标检测】术语理解9：AIGC的理解，对比学习，解码器，Mask解码器，耦合蒸馏，半耦合，图像编码器和组合解码器的耦合优化
文章目录 一、AIGC的理解 二、对比学习 三、解码器 四、Mask解码器 五、耦合蒸馏 六、半耦合 七、图像编码器和组合解码器的耦合优化 一、AIGC的理解 AIGC指的是使用人工智能技术自动生成的各类数字内容,包括文本、图像、...
-
实战AI大模型：AIGC及经典模型
今天，人工智能技术的快速发展和广泛应用已经引起了大众的关注和兴趣，它不仅成为技术发展的核心驱动力，更是推动着社会生活的全方位变革。特别是作为AI重要分支的深度学习，通过不断刷新的表现力已引领并定义了一场科技革命。大型深度学习模型（简称AI大模型）以其强大的...
-
AI聊天机器人，一个就够了：文心一言、讯飞星火、通义千问AI聊天机器人深度对比（一）
一些结论 本次为第一部分的测评，综合结论：讯飞星火 > 文心一言 = 通义千问。 文本生成能力：文心一言 = 讯飞星火 > 通义千问，讯飞星火表现亮眼，文心一言作为国内AI聊天机器人的先发者，在创意写作方面略不尽如人意。 代...
-
大模型相关技术综述
多模态大模型&大模型训练语料持续迭代 已经开始整理多模态-视觉部分： 主要分为一下几块 多模态信息压缩模型（clip、vit、swiT） 生成模型（vae、gan、flow、ddpm、sde... 其它多模态大模型（语音...
-
2024 年 GenAI 投资将如何改变数据中心
我们经常需要一点动力来帮助我们打破常规，以一种迟到的方式改变自己。对许多人来说，这种火花以新的一年的形式出现，以新的决心为重点。但对于IT组织来说，这种动机将以生成人工智能的形式出现，并需要新的基础设施和投资来支持生成人工智能计划。 根据 TechTa...
-
Llama 2- Open Foundation and Fine-Tuned Chat Models＜2＞
3.2 人类反馈强化学习（RLHF） RLHF 是一种模型训练过程，应用于微调的语言模型，以进一步使模型行为与人类偏好和指令遵循保持一致。我们收集代表根据经验采样的人类偏好的数据，人类注释者可以选择他们更喜欢的两个模型输出中的哪一个。这种人类反馈随后用...
-
一部iPhone实时渲染300平房间，精度达厘米级别！谷歌最新研究证明NeRF没死
3D实时渲染大型场景，一台电脑，甚至一部手机就可以完成。 从家里的客厅到主卧，储物间，厨房，卫生间各个死角，都能逼真在电脑中完成渲染，如同拍摄实物视频一般。 而且，你还可以在一台iPhone上完成复杂场景渲染。 来自谷歌、谷歌DeepMind和图宾根...
-
打破信息差！一款让人惊艳的大模型3D可视化工具！
近日，一位来自新西兰的小哥Brendan Bycroft在技术圈掀起了一股热潮。他创作的一项名为大模型3D可视化的项目，不仅登上了Hacker News的榜首，而且其震撼的效果更是让人瞠目结舌。通过这个项目，你将在短短几秒钟内完全理解LLM（Large...
-
视频场景图生成任务新SOTA！中山大学提出全新时空知识嵌入框架，登顶刊TIP'24
视频场景图生成（VidSGG）旨在识别视觉场景中的对象并推断它们之间的视觉关系。 该任务不仅需要全面了解分散在整个场景中的每个对象，还需要深入研究它们在时序上的运动和交互。 最近，来自中山大学的研究人员在人工智能顶级期刊IEEE T-IP上发表了一篇论文...
-
小红书搜索团队提出全新框架：验证负样本对大模型蒸馏的价值
大语言模型（LLMs）在各种推理任务上表现优异，但其黑盒属性和庞大参数量阻碍了它在实践中的广泛应用。特别是在处理复杂的数学问题时，LLMs 有时会产生错误的推理链。传统研究方法仅从正样本中迁移知识，而忽略了那些带有错误答案的合成数据。 在 AAAI 2...
-
LLMs模型速览（GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca）
文章目录 一、 GPT系列 1.1 GPTs（OpenAI，2018——2020） 1.2 InstructGPT（2022-3） 1.2.1 算法 1.2.2 损失函数 1.3 ChatGPT（2022.11.30） 1.4 ChatG...
-
简单易懂Stable Diffusion运行原理 都直接喂到你嘴里了 还不快点接着
**Stable Diffusion无疑是最近最火的AI绘画工具之一，所以本期给大家带来了全新Stable Diffusion 保姆级教程资料包（文末可获取）一 背景介绍 AI 绘画作为 AIGC（人工智能创作内容）的一个应用方向，它绝对是 2022 年以...
-
Colossal-AI团队开源了SwiftInfer 大模型无限流式输入推理飙升46%
近日，国产开源项目SwiftInfer实现了无限流式输入推理，成功提升了大模型推理性能46%。这是一个重大突破，可以为多轮对话场景提供高效可靠的落地方案。 它采用了attention sink注意力机制、窗口注意力优化、KV Cache机制优化等方法，Sw...
-
四行代码让大模型上下文暴增3倍，羊驼Mistral都适用
无需微调，只要四行代码就能让大模型窗口长度暴增，最高可增加3倍! 而且是“即插即用”，理论上可以适配任意大模型，目前已在Mistral和Llama2上试验成功。 有了这项技术，大模型（LargeLM）就能摇身一变，成为LongLM。 近日，来自得克萨斯农...
-
AIGC之文本内容生成概述（下）——Transformer
在上一篇文章中，我们一口气介绍了LSTM、Word2Vec、GloVe、ELMo等四种模型的技术发展，以及每种模型的优缺点与应用场景，全文超过一万字，显得冗长且繁杂，在下文部分我们将分开介绍Transformer、BERT、GPT1/GPT2/GPT3/C...
-
在灾难推文分析场景上比较用 LoRA 微调 Roberta、Llama 2 和 Mistral 的过程及表现
引言 自然语言处理 (NLP 领域的进展日新月异，你方唱罢我登场。因此，在实际场景中，针对特定的任务，我们经常需要对不同的语言模型进行比较，以寻找最适合的模型。本文主要比较 3 个模型: RoBERTa、Mistral-7B 及 Llama-2...