-
如何高效微调多模态Transformers模型：从入门到实践指南
多模态大模型（Multimodal Large Models）是能够处理多种类型数据（如文本、图像、音频等）的机器学习模型。transformers 是当前多模态大模型中的一种重要架构。 目录 Transformers简介 多模态Transforme...
-
Datawhale X 魔塔 AI夏令营 AIGC方向Task1
小白学习笔记，如有错误请各位大佬指正 一、跑通baseline教程 Datawhale 教程链接Datawhale 二、baseline代码分析 1.安装库 !pip install simple-aesthetics-predictor !p...
-
Datawhale X 魔搭 AI夏令营 第四期 魔搭-AIGC方向 Task03笔记
从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“AIGC”方向），基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习。 Datawhale官方的速通教程链接： Task 1...
-
Datawhale X 魔搭 AI夏令营第四期 AIGC方向 task02笔记
AI工具使用 1. baseline 代码 2. 使用通义千问理解代码 2.1 工作流程 2.2 逐行释意 3. 使用通义千问生成 Prompt 3.1 生成的 Prompt 3.1 根据 Prompt 生成的图片 1. b...
-
【三维重建】Pixel-GS:三维高斯泼溅的像素感知的梯度密度控制（去除浮点，提升精度）
项目：https://pixelgs.github.io/标题：Pixel-GS: Density Control with Pixel-aware Gradient for 3D Gaussian Splatting来源：香港大学；腾讯AI Lab...
-
【AI绘画】Midjourney前置指令/settings设置详解
文章目录 ?Midjourney前置指令/settings设置详解 ?Use the default model（AI绘画所使用的大模型） Midjourney Model（Midjourney 模型） Niji Model（Niji模型）...
-
MSRA古纾旸：2024年，视觉生成领域最重要的问题有哪些？
文章链接: https://arxiv.org/pdf/2407.18290 亮点直击 概述了视觉生成领域中的各种问题。 这些问题的核心在于如何分解视觉信号，其他所有问题都与这一核心问题密切相关，并源于不适当的信号分解方法。 本文旨...
-
Datawhale Al夏令营 AIGC方向 task2
1、代码解读 1.1、安装 Data-Juicer 和 DiffSynth-Studio # 安装 Data-Juicer 和 DiffSynth-Studio !pip install simple-aesthetics-predictor # 安...
-
Datawhale 魔搭 AI夏令营 第四期 AIGC方向 Tesk2 可图Kolors-LoRA模型进阶学习
AI生图的能力与局限 AI生图的原理 AI利用 深度学习技术来训练神经网络，训练过程中，神经网络会学习到真实图像中的纹理、结构、颜色等特征，并将这些特征应用于生成新的图像。从而生成具有高保真度的图像。训练后，通过输入关键提示词来让模型...
-
使用llama factory对语言模型微调，重塑自我认知，并部署于ollama上
本文记录了从环境部署到微调模型、效果测试并部署的全过程。 一 环境 如果使用autodl租赁服务器则不需要如下步骤，但是请注意llama_factory需要python、cuda等版本满足： 首先请确报你已经安装好了conda工具...
-
MiraData: A Large-Scale Video Dataset with Long Durations and Structured Captions
Paper name MiraData: A Large-Scale Video Dataset with Long Durations and Structured Captions Paper Reading Note Paper URL: ht...
-
江大白 | 视觉Transformer与Mamba的创新改进，完美融合（附论文及源码）
本文来源公众号“江大白”，仅用于学术分享，侵权删，干货满满。 原文链接：视觉Transformer与Mamba的创新改进，完美融合（附论文及源码） 以下文章来源于微信公众号：AI视界引擎 作者：AI引擎 链接：https://mp.weixin.q...
-
Datawhale AI夏令营第四期魔搭- AIGC方向 task02笔记
大纲 一、前言 二、代码块解读 2.1 依赖包安装 2.2 数据集下载 2.3 metadata.jsonl文件生成（图片及对应标签） 2.4 设置data-juicer 配置文件并执行，处理metadata.jsonl文件生成result....
-
小白教程：Unsloth 打造属于自己的中文版Llama3
在定制化业务场景中，如果利用专属数据集，经过微调的大模型能够在多种任务上与GPT-4媲美，并支持本地部署，保护隐私，同时还能降低运算成本。最新推出的Llama3，作为当前性能最强的开源基础大模型，非常适用于自然语言处理、机器翻译、文本生成、问答系统、聊天机...
-
使用diffusers来训练自己的Stable Diffusion 3大模型
基于diffusers的Stable diffusion训练代码 这里给大家介绍一个基于diffusers库来训练stable diffusion相关模型的训练代码，包含Lora、ControlNet、IP-adapter、Animatediff，以及...
-
Stable Diffusion秋叶WebUI V4.9整合包来了，超详细安装教程，轻松看懂
这款整合包可以一键在本地部署Stable Diffusion！！适用于零基础想要使用AI绘画的小伙伴~ 秋叶大佬V4.9整合包给大家准备好了，扫描下方，即可免费获取 秋叶整合安装包安装教程 如果你的电脑时第一次安装，需要先下载启动器运行依赖，安装依...
-
最强模型Llama 3.1 405B正式发布，扎克伯格：开源引领新时代
刚刚，大家期待已久的 Llama 3.1 官方正式发布了！ Meta 官方发出了「开源引领新时代」的声音。 在官方博客中，Meta 表示：「直到今天，开源大语言模型在功能和性能方面大多落后于封闭模型。现在，我们正在迎来一个开源引领的新时代。我们公开...
-
Datawhale X 魔搭 AI夏令营---AIGC Task2
目录 Datawhale X 魔搭 AI夏令营第四期-AIGC文生图方向 Task2：精读代码，实战进阶 0.0 一些link 0.1 任务内容 0.2 AI生图 0.3 **Kolors（可图）模型** 1.1 精读baseline——从...
-
【深度学习】LLaMA-Factory 大模型微调工具, 大模型GLM-4-9B Chat ，微调与部署 (2)
文章目录 数据准备 chat 评估模型 导出模型 部署 总结 资料： https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md https:...
-
从头开始微调Llama 3.1模型
在今天的科技专栏中，我们将深入探讨如何微调Llama 3.1模型，以使其更好地适应您的特定领域数据。微调大型语言模型（如Llama）的主要目的是为了在特定领域的数据上表现更好，从而生成更符合您需求的输出。以下是我们将要介绍的五个主要步骤： 安装必要的软...
-
Datawhale X 魔搭 AI夏令营 AIGC方向 task2笔记
纯小白，自学！从零入门AI生图（AIGC方向）基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展实践学习。#Datawhale X 魔搭 AI夏令营# 一、利用AI精读baseline学习代码 task2的目的是精读bas...
-
AIGC新手炼丹师快速生成属于自己的lora--示范样例：北条时行（出自：擅长逃跑的殿下）
目录 一.准备工作：安装stable-diffusion和sd-trainer 二.准备数据集 2.1确定你想要的数据集 2.2准备数据集 2.2.1对于人物类的数据集 2.2.2数据集的处理 2.2.3数据集所在文件夹参考位置（出于方便...
-
使用GraphRAG+LangChain+Ollama：LLaMa 3.1跑通知识图谱与向量数据库集成（Neo4j）
我将向你展示如何使用 LLama 3.1（一个本地运行的模型）来执行GraphRAG操作，总共就50号代码。。。 首先，什么是GraphRAG？GraphRAG是一种通过考虑实体和文档之间的关系来执行检索增强生成的方式，关键概念是节点和关系。 ▲...
-
【史上最强的AIGC的使用场景和具体案例分析】
AIGC（Artificial Intelligence in Game Creation）是一种利用人工智能技术辅助游戏开发的方法。它可以用于游戏中的各个方面，包括游戏设计、关卡设计、角色设计、AI行为设计等。 以下是一些AIGC的使用场景和具体案例...
-
Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 task02笔记
一、探探前沿：了解一下 AI生图技术 的能力&局限 1. 为什么要了解AI生图前沿？ AIGC(AI-Generated Content 是通过人工智能技术自动生成内容的生产方式，很早就有专家指出，AIGC将是未来人工智能的重点方向，也将改造相...
-
Datawhale X 魔搭 AI夏令营第四期 AIGC方向 学习笔记（一）
本期主要任务是了解AI文生图的原理并进行相关实践 下面是对baseline部分代码的功能介绍： 安装Data-juicere和DiffSynth-Studio !pip install simple-aesthetics-predictor !pip...
-
面完 AIGC 大模型算法岗，心态崩了。。。
大家好，今天我们继续聊聊 AI 科技圈发生的那些事。 内容包括：AI 科技圈最新动态和最新面试题总结。 Meta 推新一代 SAM 2 图像识别再进化！Meta 推新一代SAM 2 官方链接：https://ai.meta.com/blog/se...
-
Datawhale AI夏令营第四期 魔搭-AIGC方向 task02笔记
1：精读baseline 这里我使用了ChatGPT 4o对吧baseline文件代码进行了解析(不知道为啥我的通义千问无法使用 。 GPT代码解析结果如下： 1. 环境设置与依赖安装 !pip install simple-aest...
-
magic-animate_pytorch AIGC使图像中人物按照给定动作动起来
magic-animate 论文 MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model https://arxiv.org/pdf/2311.1...
-
Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task 1笔记
引言 本笔记可以作为学习手册的扩充版本，也是一份快速上手的指南。灰色的备注部分包含了关于步骤的详细解释和扩展内容，建议你可以先跳过这些备注，等完成所有步骤后再回头查阅。 第一步：搭建代码环境 1.1 申请阿里云PAI-DSW 阿里云PAI-D...
-
Datawhale X 魔搭 AI夏令营-AIGC方向-task2知识总结
文生图背景 早期探索 （1960-1990） 最早出现于计算机视觉和图像处理。 早期图像生成技术主要依赖与规则和模板匹配，通过预定义的规则将文本转换为简单的图形。 受限于计算能力和算法，此阶段生成的图像质量较低，应用场景受限。 基于统计...
-
Datawhale AI夏令营第四期 AIGC方向 task02 初学者笔记
一、Prompt工程介绍:1、概念： Prompt工程，也称为提示工程或指令工程，是在自然语言处理（NLP）领域中一种重要的技术和方法。它主要用于指导预训练的大规模语言模型（Large Language Models, LLMs）生成高质量、准确且有针对...
-
【论文+中文文生图】Kolors：快手可图绘画模型实测（24.07.06开源）
代码：https://github.com/Kwai-Kolors/Kolors | 权重 论文原文：Kolors: Effective Training of Diffusion Model for Photorealistic Text-to-Imag...
-
ComfyUI系列教程(1)--Stable Diffusion基本原理
1.Stable Diffusion文生图基本原理 1.1Stable Diffusion原理介绍 文生图主要基于Stable Diffusion大模型进行。SD的基本结构图如下图所示，主要包括3个部分。其中1是CLIP图像文本对，将图...
-
llama-factory源码详解——以DPO为例
本文记录了我在学习 llama-factory过程中对代码运行过程的梳理 代码入口——src/train.py from llamafactory.train.tuner import run_exp def main( : run_exp...
-
基于AutoDL的语言大模型入门——Llama2-chat-13B-Chinese
AutoDL界面 ① autodl-tmp文件夹：数据盘，一般用来存放大的文件。 ② 其他文件夹“autodl-pub” “miniconda3” “tf-logs”等等存放在系统盘，其中tf-logs是用于存放训练过程tensorboard的...
-
Datawhale X 魔搭 AI夏令营 “AIGC”方向 task1
一、任务要求 task1 的任务和上一期的类似，都是跑通给出的代码即可，没有太大难度。 具体要求是训练 Lora 模型，实现文生图，额外的要求是8张图片必须组成一个连贯的故事，需要一定的“写小作文”能力。 二、代码解析 下载数据集 这一步不用分析...
-
LLAMA Factory: 简洁高效的大语言模型训练平台
LLAMA Factory: 简洁高效的大语言模型训练平台 LLaMA-Factory易于使用的LLM微调框架（LLaMA, BLOOM, Mistral, 百川， Qwen, ChatGLM）。项目地址:https://gitcode.com/gh_...
-
LLaMA-Factory全面指南：从训练到部署
项目背景与概述 LLaMA-Factory项目目标 LLaMA-Factory项目是一个专注于大模型训练、微调、推理和部署的开源平台。其主要目标是提供一个全面且高效的解决方案，帮助研究人员和开发者快速实现大模型的定制化需求。具体来说，LLaMA-F...
-
基于飞桨框架的稀疏计算使用指南
本文作者-是 Yu 欸，华科在读博士生，定期记录并分享所学知识，博客关注者5w+。本文将详细介绍如何在 PaddlePaddle 中利用稀疏计算应用稀疏 ResNet，涵盖稀疏数据格式的础知识、如何创建和操作稀疏张量，以及如何开发和训练稀疏神经网络模型。...
-
EchoMimic：蚂蚁开源逼真数字人框架，表情口型更生动自然，本地部署包获取
EchoMimic：逼真的音频驱动人像动画 EchoMimic简介 近日蚂蚁开源了一款名为：EchoMimic 数字人的框架。EchoMimic能够通过单独的音频文件和一张静态面部标志点的图像生成数字人像视频，也可以通过音频和选定的面部标志点的...
-
最强开源模型 Llama 3.1 部署推理微调实战大全
目录 引言 一、Llama 3.1简介 二、Llama 3.1性能评估 三、Llama 3.1模型推理实战 1、环境准备 2、安装依赖 3、模型下载 4、模型推理 四、Llama 3.1模型微调实战 1、数据集准备 2、导入依赖包 3、读...
-
Datawhale X 魔塔 AI夏令营第四期-AIGC文生图方向 Task1笔记
一、文生图背景 文生图（Text-to-Image Generation）是一种通过文本生成图像的技术，其发展历程可以追溯到早期的计算机视觉和自然语言处理研究。文生图的概念最早出现于计算机视觉和图像处理的早期研究中。早期的图像生成技术主要...
-
Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task1笔记--切记我是一个温柔的刀客
Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task1笔记 作者: 福州大学 切记我是一个温柔的刀客 2024/8/10 从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活...
-
重磅！Stable Diffusion 3 终于免费开源了！吊打 Midjourney，附本地安装包教程！
前言 stable Diffusion 3 终于开源了，他的开源瞬间在AI界得到火爆追捧，曾一度吊打Midjourney等一系列收费AI软件，最主要的是它可以免费使用呦！下面我们来看一下他到底有多强大。 stable Diffusion 3 Me...
-
AIGC-ToonCrafter: Generative Cartoon Interpolation-CVPR2024
论文:https://arxiv.org/pdf/2405.17933 代码:https://doubiiu.github.io/projects/ToonCrafter 给定首尾帧，生成逼真生动的动画，动画插值生成 MOTIVATION T...
-
Nature曝惊人内幕：论文被天价卖出喂AI！出版商狂赚上亿，作者0收入
Nature的一篇文章透露:你发过的paper，很可能已经被拿去训练模型了!有的出版商靠卖数据，已经狂赚2300万美元。然而辛辛苦苦码论文的作者们，却拿不到一分钱，这合理吗? 全球数据告急，怎么办? 论文来凑! 最近，Nature的一篇文章向我们揭露了这样...
-
清华唐杰团队新作：一口气生成2万字，大模型开卷长输出
一口气生成2万字，大模型输出也卷起来了! 清华&智谱AI最新研究，成功让GLM-4、Llama-3.1输出长度都暴增。 相同问题下，输出结果直接从1800字增加到7800字，翻4倍。 要知道，目前大模型的生成长度普遍在2k以下。这对于内容创作、问...
-
Datawhale X魔搭AI夏令营 魔搭-AIGC方向 Task2笔记
Datawhale X魔搭AI夏令营 魔搭-AIGC方向 Task2笔记 经过TASK1的学习，我们都或多或少地了解了AI作图的相关知识，那么接下来我们需要学习的便是深入Prompt工程与微调，精准理解AI作图个中原理，深刻探究文生图背...
-
AI绘图太超前了，它们把下一任美国总统都内定了。
昨天，Grok2正式上线了。 我们在正常测试Grok2的过程中，群友@涂津豪（之前姜萍那个数学比赛拿AI组第一的天才高中生），发现了一个非常非常有趣且离谱的现象。 如果跟Gork2说，给我画“下一任美国总统的照片”，Grok2出来的必是特朗普。 我们都懵...