-
Datawhale X 魔塔 AI夏令营 AIGC方向Task2
小白学习笔记，如有错误请各位大佬指正 一、AI生图背景介绍 1.AICG领域介绍 AIGC（Artificial Intelligence Generated Content）领域涉及使用人工智能技术生成各种类型的内容，包括文本、图像、...
-
Stable Diffusion训练LoRA模型参数详细说明（阿里巴巴堆友AI）
工具：线上模型训练堆友AI 一、训练参数 批量大小 (Batch Size 作用：每次训练中使用的样本数量。 参考值：可以从 8 到 64，取决于显存大小。 训练轮数 (Epochs 作用：完整遍历训练数据的次数。 参考值：通...
-
Datawhale X 魔搭 AI夏令营 - AIGC文生图方向 task03笔记
系列文章目录 Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task01笔记-CSDN博客 Datawhale X 魔搭 AI夏令营 - AIGC文生图方向 task02笔记-CSDN博客 目录 前言 一、comf...
-
速通LLaMA1：《LLaMA: Open and Efficient Foundation Language Models》全文解读
文章目录 论文总览 1. 创新点和突破点 2. 技术实现与算法创新 3. 架构升级 4. 概念补充 SwiGLU激活函数 AdamW 5. 总结 Abstract Introduction Approach Pre-training...
-
LLaMA-QRLHF 项目使用教程
LLaMA-QRLHF 项目使用教程 llama-qrlhf Implementation of the Llama architecture with RLHF + Q-learning 项目地址: https://gitcode.com/g...
-
【LLM大模型】使用QLoRa微调Llama 2
本篇文章将介绍使用PEFT库和QLoRa方法对Llama 27b预训练模型进行微调。我们将使用自定义数据集来构建情感分析模型。只有可以对数据进行微调我们才可以将这种大模型进行符合我们数据集的定制化。 一些前置的知识 如果熟悉Google Cola...
-
记一次：Datawhale AI夏令营-第四期-魔搭-AIGC-Task03
前言：书接上回，前面说了AIGC的了解和精读baseline，那么我们可以再次的抽丝拔茧，开始了解GUI部分和微调部分。 一、ComfyUI应用部分 1、什么是GUI？ 2、什么是ComfyUI？ 3...
-
llama神经网络的结构，llama-3-8b.layers=32 llama-3-70b.layers=80； 2000汉字举例说明
AI大模型全套学习资料 “最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。 这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。 我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。 我意识到有很多经验和知识...
-
拯救OpenAI 1500亿估值，就靠o1了？全新Scaling Law终结奥特曼「非营利游戏」
【新智元导读】最近的公司会议上，奥特曼向全体员工承认，明年OpenAI或将摆脱非营利组织结构。o1的问世，直接诞生了新的Scaling Law，更是在医疗性能上表现出色。不过，o1能拯救OpenAI1500亿美元的估值，和今年50亿美元的亏损吗? Open...
-
字节面试官：什么是RRF，你能解释一下吗？
我是丁师兄，专注于智能驾驶方向大模型落地，公众号：丁师兄大模型。 大模型1v1学习，已帮助多名同学上岸国内外大厂 前字节员工跳槽，面了 40 多家才拿到一个 offer，还是降薪 60%，大厂如此，更别提中小厂了。。。目前这种形势，最好的策略就...
-
LLaMA-Factory微调入门个人重制版
LLaMA-Factory微调入门个人重制版 说明： 首次发表日期：2024-08-30 LLaMA-Factory 官方Github仓库： https://github.com/hiyouga/LLaMA-Factory 关于 本文是对L...
-
使用Amazon SageMaker JumpStart微调Meta Llama 3.1模型以进行生成式AI推理
文章目录 使用Amazon SageMaker JumpStart微调Meta Llama 3.1模型以进行生成式AI推理 Meta Llama 3.1 SageMaker JumpStart SageMaker JumpStart中Meta...
-
新范式：AIGC推动的数据要素产业价值促进创新
引言 大模型的发展与数据要素的价值创造互为因果，LLM正推动着数据要素以“激发AGI”的全新范式创造价值。如何有效地整合规模化、高质量的数据以用于大型模型的训练，不仅是推进大模型发展的窗口，也将成为进一步发掘数据要素潜在价值的关键动力。遵循技术发展的...
-
小白学大模型：LLaMA-Factory 介绍与使用
最近这一两周看到不少互联网公司都已经开始秋招提前批了。 不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。 最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。...
-
AI绘画SD中，如何保持生成人物角色脸部一致？Stable Diffusion精准控制AI人像一致性两种实用方法教程！
大家好，程序员晓晓 在AI绘画StableDiffusion中，一直都有一个比较困难的问题，就是如何保证每次出图都是同一个人。今天就这个问题分享一些个人实践，大家和我一起来看看吧。 一. 有哪些实现方式 方式1：固定Seed种子值。 固定Seed种...
-
大模型_基于医疗领域用lora微调医疗数据及LLaMA微调ChatDoctor模型
文章目录 ChatDoctor 目标 方法 结果 结论 收集和准备医患对话数据集 创建外部知识数据库 具有知识大脑的自主聊天医生的开发 模型培训 结果 数据和模型： 微调 推理 ChatDoctor 目标 这项研究的主要...
-
AIGC的幻觉问题与数据质量
好的，下面是针对主题“AIGC的幻觉问题与数据质量”的一些典型面试题和算法编程题的满分答案解析。 1. 什么是AIGC？它与传统AI有何不同？ 题目： 请简述AIGC的概念，并比较它与传统AI的区别。 答案： AIGC（AI Generated Co...
-
DatawhaleX魔搭-AI夏令营AIGC-task2
一、了解AI生图技术 1，为什么了解生图技术 AIGC(AI-Generated Content 是通过人工智能技术自动生成内容的生产方式，很早就有专家指出，AIGC将是未来人工智能的重点方向，也将改造相关行业和领域生产内容的方式。 应用广泛...
-
llamafactory-llama3微调中文数据集
一、定义 https://github.com/SmartFlowAI/Llama3-Tutorial/tree/main 基准模型测试 opencompass 离线测评 数据准备 微调训练 合并 测试 人工审核对比 二、实现 基准模型测试...
-
大模型+小模型协同处理跨文档理解任务，成本更低，性能更高
“Synergetic Event Understanding: A Collaborative Approach to Cross-Document Event Coreference Resolution with Large Language Mod...
-
如何系统学习AIGC（人工智能生成内容）：适合普通人的入门指南
随着人工智能技术的迅猛发展，AIGC（人工智能生成内容）已成为一大热点。对于非软件技术专业的普通人来说，如何系统地学习AIGC，了解底层知识结构、掌握常见工具用法，是一个非常实际的问题。本文将为大家推荐一些优质的中文学习资料和方法，帮助大家更好地入门AIG...
-
9、LLaMA-Factory项目微调介绍
1、LLaMA Factory 介绍 LLaMA Factory是一个在GitHub上开源的项目，该项目给自身的定位是：提供一个易于使用的大语言模型（LLM）微调框架，支持LLaMA、Baichuan、Qwen、ChatGLM等架构的大模型。更细致...
-
使用llama-factory和llama.cpp微调量化Qwen2
使用llama-factory和llama.cpp微调量化Qwen2 准备数据集 微调 测试 合并 使用llama.cpp量化 准备数据集 1.选定数据集的格式 2.将处理好的数据集上传到/data 文件夹下面，并修改datase...
-
Unsloth微调环境搭建与LLaMA 3.1-8B模型微调实践指南
本文将详细介绍如何使用Unsloth框架进行LLaMA 3.1-8B模型的微调，帮助您快速构建微调环境，并了解微调流程的基本步骤。本教程适合初学者，旨在帮助您在短时间内实现自己的专属模型微调。对于更复杂的微调参数和细节设置，将在后续文章中进一步阐述。 文...
-
一文彻底搞懂大模型 - GPT和LlaMA的模型架构
GPT vs LlaMA GPT与LlaMA，作为大语言模型的两大巨擘，均基于Transformer架构却各有千秋。GPT系列以强大的生成能力著称，通过不断增大的参数规模引领复杂语言与推理任务的前沿；而Llama则以开源姿态，通过技术创新提升模型性能，预...
-
AIGC文生图 ComfyUI介绍与实践+Lora微调-Task3 Datawhale X 魔搭 AI夏令营第四期
目录 概要 ComfyUI介绍 ComfyUI实践 ComfyUI学习资源推荐 Lora微调 Lora数据库推荐 问题解决 说在最后 概要 今天的任务是了解微调的基本原理，然后会对微调的各种参数有一个更加清楚的阐释，来实现...
-
AuraFlow：超越Stable Diffusion 3，开源文生图模型的未来之星
前沿科技速递? 开源创新先锋fal.ai携手社区顶尖开发者，震撼发布AuraFlow v0.1——全球首个完全开源的大型整流流文本到图像生成模型，开启文生图领域新篇章！ 极致开源精神：AuraFlow v0.1作为对Stable Diffusion...
-
用户想来就来，想走就走！文心一言、Kimi们拿什么套住人心？
大数据产业创新服务媒体 ——聚焦数据 · 改变商业 曾几何时，微信和淘宝是数字时代不可撼动的霸主。通过构建庞大的用户商家生态系统，这些APP打造了自己的“生态帝国”，以绝对优势横扫市场，令竞争对手望尘莫及。用户与商家互为依...
-
LLaMA-Factory仓基础功能架构及NPU/GPU环境实战演练
LLaMA-Factory 基础篇 LLaMA-Factory简介 LLaMA-Factory是一个开源的大规模语言模型微调框架，设计用于简化大模型的训练过程。它提供了一个统一的平台，支持多种大模型的微调，包括LLaMA、BLOOM、Mist...
-
欺诈文本分类检测（十一）：LLamaFactory多卡微调
1. 引言 前文训练时都做了一定的编码工作，其实有一些框架可以支持我们零代码微调，LLama-Factory就是其中一个。这是一个专门针对大语言模型的微调和训练平台，有如下特性： 支持常见的模型种类：LLaMA、Mixtral-MoE、Qwen、B...
-
快速降低AIGC疑似率
标题：掌握AIGC技术，快速降低疑似率 一、了解AIGC技术基础 在当今数字化时代，人工智能生成内容（AIGC）技术正迅速成为创新和创造力的驱动力。AIGC技术指的是利用人工智能算法自动生成文本、图像、音频和视频等内容的技术。这项技术的应用范围广泛，从...
-
200美元的ChatGPT Pro正式上线，聪明N倍的新模型草莓要来了。
半夜10点，The Information发了个新闻，透露了OpenAI的新模型，草莓，要来了。 两个小时后，我的好朋友@solitude（美东时间），作为一个常年拥有第一手资料和信息的人，跟我说，ChatGPT Pro会员上线了，售价200刀/月，他已...
-
打造自己的大模型｜01篇LLaMA-Factory微调Llama3和其占用资源分析
面对训练好的通用的大语言模型，例如Llama3-8B，虽然在认知理解，知识问答，逻辑推理，数学，代码方面都表现很好。但是其在特定领域的知识是比较缺乏的，而且对中文问答表现也不是很好，经常出现中英文混答的问题。 所以打造一个属于自己的大模型，非常有必要！...
-
现在的大模型榜单，真就没一个可信的。
现在的大模型榜单上，真的都是水分。 全是作弊的考生，真的。 上周，AI圈有个很炸裂的大模型发布，在全网引起了山呼海啸，一众从业者和媒体尊称它为开源新王。 就是Reflection70B。 在每项基准测试上都超过了 GPT-4o，还只用70B的参数，就击败...
-
【Datawhale X 魔搭 AI夏令营】AIGC方向——Task02笔记GC
Task02 AI生图技术 为什么要了解AI生图前沿？ AI生图的历史 AI生图的难点和挑战有哪些？ 精读baseline代码（上次运行的） 再次生成图片 AI生图技术 为什么要了解AI生图前沿？ AIGC(AI-Gene...
-
利用Stable Diffusion AI图像模型评估智能车模型算法表现(下篇)
今天小李哥将介绍亚马逊云科技的Jupyter Notebook机器学习托管服务Amazon SageMaker上，通过AI图像生成模型Stable Diffusion Upscale和Depth、向量知识库和LangChain Agent，生成用于AI 智...
-
#Datawhale X 魔搭 AI 夏令营# AIGC文生图 Task2
1. 什么是AI生图 一般来说，AI生图模型属于多模态机器学习模型，通过海量的图库和文本描述的深度神经网络学习，最终的目标是可以根据输入的指示(不管是文本还是图片还是任何 生成符合语义的图片。 通俗来说，AI生图模型获得图片生成能力主要是通过 学习 图...
-
一文彻底搞懂 Fine-tuning - 超参数（Hyperparameter）
最近这一两周看到不少互联网公司都已经开始秋招提前批了。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。 最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。 《...
-
数据资产入表元年，企业如何抓住数据资产增值的机遇？
近年来，政府将数据要素纳入了经济发展的重要指示性文件当中，希望利用数据驱动。《全国数据资源调查报告（2023年）》显示，2024年以来不少地方纷纷成立"数据集团"，加快盘活数据资产。作为数字经济时代的首要生产要素，数据将有望成为政府和企业财务报表以及财政收...
-
深度解析：基于离线开发的数据仓库转型落地案例
在当今这个数据驱动的时代，各行各业都正经历着前所未有的变革。伴随技术的飞速发展，数据仓库作为企业数据管理与分析的核心，如何更好地发挥作用，助力企业保持业务的敏捷性与成本效益，成为大家关心的焦点问题。本文将通过具体案例分析，展现基于离线开发的数据仓库转型落地...
-
基于云原生向量数据库 PieCloudVector 的 RAG 实践
近年来，人工智能生成内容（AIGC）已然成为最热门的话题之一。工业界出现了各种内容生成工具，能够跨多种模态产生多样化的内容。这些主流的模型能够取得卓越表现，归功于创新的算法、模型规模的大幅扩展，以及海量的高质量数据集。然而 AIGC 依然面临一系列挑战，检...
-
AI绘画界的赛博佛祖，开源最强SD3它来了！（整合包）
全网期待已久的SD3终于和大家见面了。这款以Stable Diffusion为基础，进一步优化和升级的模型，无疑将会深刻地又又又一次改变AI绘画界！ 这次发布的是Medium版本，在多个方面展现出惊人的能力和效率，堪称开源最强，拳打Midjourney，...
-
Datawhale X 魔搭 AI夏令营‣AIGC文生图方向-Task2笔记
目录 一、用AI的prompts进行AI文生图 ‣通义千问 ‣跑baseline ‣结果展示： ‣另，prompts风格补充： 三、精读baseline ‣原始代码详情 ‣分析代码的主题架构 & 分析代码的主题...
-
【Datawhale X 魔搭 AI夏令营】第四期 AIGC方向 学习笔记
零基础30分钟速通文生图 一、开通阿里云PAI-DSW试用 1、开通阿里云免费试用 链接：https://free.aliyun.com/?productCode=learn 2、在魔搭社区进行授权 链接：https://www.models...
-
从【人工智能】到【计算机视觉】，【深度学习】引领的未来科技创新与变革
前几天偶然发现了一个超棒的人工智能学习网站，内容通俗易懂，讲解风趣幽默，简直让人欲罢不能。忍不住分享给大家，点击这里立刻跳转，开启你的AI学习之旅吧！ 前言 – 人工智能教程https://www.captainbed.cn/lzx 1. 引言...
-
基于LLaMA-Factory微调llama3成为一个角色扮演大模型，保姆级教学零基础，导出GGUF格式前篇
训练私有本地大模型需求量越来越高了， 今天就从零基础开始，不讲原理，只看结果的来完整走一遍如何训练llama3成为角色扮演，先培养兴趣，后面有需要再补充原理 （1）准备环境 推荐：使用云计算机（当然4090高配大佬请忽略） 这不是广告！不是广告！你...
-
【英伟达玩转剪枝、蒸馏：把Llama 3.1 8B参数减半，性能同尺寸更强】
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 最近，英伟达研究表明，结构化权重剪枝与知识蒸馏相结...
-
微软用AI Agent生成2500万对高质量数据，极大提升大模型性能！
随着ChatGPT、Copliot等生成式AI产品的快速迭代，对训练数据的需求呈指数级增长，同时也是提升大模型性能的关键环节之一。 为了解决训练数据短缺和质量差的难题，微软研究院发布了一个专门用于生成高质量合成数据的的AI Agent——Agent Ins...
-
使用PAI × LLaMA Factory 微调 Llama3 模型
活动地址：使用 PAI × LLaMA Factory 微调 Llama3 模型实现角色扮演 活动时间：7月25日- 9月1日 活动任务：使用 PAI 平台及 LLaMA Factory 训练框架完成模型的中文化与角色扮演微调和评估，搭建专属“ AI...
-
Llama 3.1 92页技术报告详细解读
引言 半个月前，Meta发布了他们的开源大模型Llama3.1，在社区中引起广泛关注和讨论。现在几周的时间过去了，热度逐渐退潮，舆论逐渐降温，整个Llama3家族的技术报告也公开出来。报告数据更新到了Llama 3.1，正是理性地来审视一下这款大模型...