-
微软用AI Agent生成2500万对高质量数据，极大提升大模型性能！
随着ChatGPT、Copliot等生成式AI产品的快速迭代，对训练数据的需求呈指数级增长，同时也是提升大模型性能的关键环节之一。 为了解决训练数据短缺和质量差的难题，微软研究院发布了一个专门用于生成高质量合成数据的的AI Agent——Agent Ins...
-
中国版“Scale AI” 蚂蚁数科发布 AI 数据标注产品
提高数据数量、安全和多样性，对提升大模型性能，推动产业落地至关重要。记者从2024Incluison·外滩大会上了解到，蚂蚁数科发布新一代数据标注产品，向企业客户提供AI 驱动的全流程数据服务。 传统数据标注以人工为主，进入大模型时代，企业面对数据指数级增...
-
Llama-factory的yaml配置参数--学习记录
最近llama-factory的配置参数有很多不懂的地方，整理了一些但也有可能有错，仅供大家参考。 # 可选参数 # 模型和适配器相关 --adapter_name_or_path # 描述: 适配器的名称或路径。 --adapter_folder...
-
【Stable diffusion】绘世启动器绘画有多简单？
文章目录 目录 文章目录 概要 整体架构流程 一、插件与模型集成 二、对新手友好 三、绘画高手如虎添翼 技术细节 小结 概要 随着秋叶大神的绘世启动器4.8版本发布，AI绘画的搭建过程越来越...
-
外滩大会显露AI产业实践六大趋势 下一代超级应用是智能体
9月5日，2024·Inclusion外滩大会在上海开幕。AI产业的发展是本届外滩大会与会专家和企业家热议的话题，无论是企业界的实践，还是专家学者的研究，各方都认为AI产业实践正呈现六大趋势，涵盖小模型、智能体、专业AI、具身智能等方面，指明了大模型产业落...
-
【06】LLaMA-Factory微调大模型——微调模型评估
上文【05】LLaMA-Factory微调大模型——初尝微调模型，对LLama-3与Qwen-2进行了指令微调，本文则介绍如何对微调后的模型进行评估分析。 一、部署微调后的LLama-3模型 激活虚拟环境，打开LLaMA-Factory的webui页面...
-
Meta最新SAM2模型开源直接封神
2024年7月29日，Meta在官网发布SAM2开源消息：segment-anything-2 开源地址：https://github.com/facebookresearch/segment-anything-2 paper：sam-2-seg...
-
【开发心得】Dify部署ollama模型的坑[1]
本文接续上次的文章【开发心得】三步本地化部署llama3大模型_dify llama3-CSDN博客 经过几次调试，目前部署终于稳定下来，由于算力问题产生的300 time out也逐渐减少了。因此，把后续在测试过程中碰到的一些坑和怎么爬出来，做一个记录...
-
苹果AI iPhone定档；Llama 3.1爆冷；马斯克站台AI安全监管法案 | AI头条
整理 | 王启隆 出品 | AI 科技大本营（ID：rgznai100） 一分钟速览新闻点！ 苹果宣布 9 月 10 日举行发布会 马斯克宣布将支持 SB 1047 AI 安全监管法案 特朗普：没人比马斯克更懂 A...
-
LORA模型在Stable Diffusion中的注意力机制优化
LORA模型在Stable Diffusion中的注意力机制优化 引言 1.1 Stable Diffusion在生成模型领域的地位和作用 1.2 介绍LORA模型及其在微调预训练模型时的效率和灵活性 1.3 强调注意力机制在LORA模型优化...
-
一文看懂llama2 (原理&模型&训练)
LLaMA2是一种基于Transformer架构的先进语言模型，广泛应用于自然语言处理（NLP）任务，如文本生成、机器翻译和问答系统等。本文将从其核心原理、模型结构以及训练方法三个方面进行详细探讨。 一、核心原理 LLaMA2的核心原理是基于自注意力机...
-
Datawhale X 魔搭 AI夏令营-AIGC方向-LoRA学习笔记
LoRA（Low-Rank Adaptation）是一种用于优化大规模预训练模型的微调技术，特别适用于在资源有限的情况下，对模型进行高效且低成本的微调。LoRA的核心思想是通过低秩分解方法，仅微调模型的少数参数，从而显著减少计算成本和内存占用。 1. 背...
-
LLAMA 3.1 论文的见解
这有什么大不了的？ LLAMA 3.1 的发布标志着 AI 开发的一个重要里程碑。开源模型首次接近领先的闭源模型的性能水平。这一转变预示着未来开源模型同样有效，任何人都可以灵活地修改和调整它们。马克·扎克伯格将此与 Linux 的开源性质进行了比较，...
-
基于LORA的Stable Diffusion模型在虚拟试衣中的应用
基于LORA的Stable Diffusion模型在虚拟试衣中的应用 引言 1.1 简述虚拟试衣的市场背景和技术需求 1.2 介绍LORA与Stable Diffusion模型的结合在虚拟试衣领域的潜力 1.3 强调基于LORA的Stable...
-
Datawhale X 魔搭 AI夏令营(AIGC Task3)学习笔记
目录 认识ComfyUI 1. 什么是 ComfyUI 2. ComfyUI 核心部件 3. ComfyUI 图片生成流程 4. ComfyUI 的优势 使用ComfyUI 下载ComfyUI: 运行ComfyUI： 自我学习： LOR...
-
Dreambooth-Stable-Diffusion 使用教程
Dreambooth-Stable-Diffusion 使用教程 Dreambooth-Stable-DiffusionImplementation of Dreambooth (https://arxiv.org/abs/2208.12242 by...
-
MSRA古纾旸：2024年，视觉生成领域最重要的问题有哪些？
文章链接: https://arxiv.org/pdf/2407.18290 亮点直击 概述了视觉生成领域中的各种问题。 这些问题的核心在于如何分解视觉信号，其他所有问题都与这一核心问题密切相关，并源于不适当的信号分解方法。 本文旨...
-
论文阅读-Transformer Layers as Painters
1. 摘要 尽管大语言模型现在已经被广泛的应用于各种任务，但是目前对其并没有一个很好的认知。为了弄清楚删除和重组预训练模型不同层的影响，本文设计了一系列的实验。通过实验表明，预训练语言模型中的lower和final layers与中间层分布不一致，并且...
-
Post-Training有多重要？AI2研究员长文详解前沿模型的后训练秘籍
越来越多研究发现，后训练对模型性能同样重要。Allen AI的机器学习研究员Nathan Lambert最近发表了一篇技术博文，总结了科技巨头们所使用的模型后训练配方。 随着LLM学界和工业界日新月异的发展，不仅预训练所用的算力和数据正在疯狂内卷，后训练（...
-
Stable Diffusion 模型的安装和使用
一、SD模型简介 Stable Diffusion的绘图风格主要由模型来控制，基础模型主要由二次元图片训练获得，所以在不安装其他模型的情况下，只能生成二次元风格的图像。 模型能够有效地控制生成的画风和内容。 常用的模型网站有： Stable...
-
Lag-Llama 开源项目实战指南
Lag-Llama 开源项目实战指南 lag-llamaLag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting项目地址:https://gitcode...
-
开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory（五）
一、前言 本篇文章将使用LLaMA-Factory去高效微调QWen2系列模型，通过阅读本文，您将能够更好地掌握这些关键技术，理解其中的关键技术要点，并应用于自己的项目中。 二、术语介绍 2.1. LoRA微调 LoRA (Low...
-
Playground v2.5最新的文本到图像生成模型，官方宣称V2.5的模型优于 SDXL、Playground v2、PixArt-α、DALL-E 3 和 Midjourney
Playground v2.5介绍 Playground在去年发布Playground v2.0之后再次开源新的文生图模型Playground v2.5。新版本提升了图像的美学质量，增强了颜色和对比度、改进了多纵横比图像生成，可以生成各种比例图像以及人像...
-
大模型笔记之-Llama-3.1-405B-Instruct-FP8离线部署[8*A800] 基于vLLM 版本v0.5.3.post1
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、硬件环境 二、软件环境 三 . 模型下载 1.环境准备 新建 conda虚拟环境 安装vLLM 启动命令 启动日志截取 FP8 量化损失 对接...
-
llama模型，nano
目录 llama模型 Llama模型性能评测 nano模型是什么 Gemini Nano模型 参数量 MMLU、GPQA、HumanEval 1. MMLU（Massive Multi-task Language Understanding）...
-
谷歌发布大模型数据筛选方法：效率提升13倍，算力降低10倍
随着GPT-4o、Gemini等多模态大模型的出现，对训练数据的需求呈指数级上升。无论是自然语言文本理解、计算机视觉还是语音识别，使用精心标注的数据集能带来显著的性能提升，同时大幅减少所需的训练数据量。 但目前多数模型的数据处理流程严重依赖于人工筛选，不仅...
-
扎克伯格：Llama将成AI界的Linux
🦉 AI新闻 🚀 扎克伯格：Llama将成AI界的Linux 摘要：Meta创始人兼CEO马克·扎克伯格在博文中阐述了Llama开源AI的愿景，认为其有潜力成为AI领域的Linux。他表示，开源AI能满足不同组织的需求，提供数据保护和经济实惠的解决...
-
AI写作不懂提示词 大象Prompt 保姆级系列教程三
一、提示词的核心价值究竟是啥？ 最近跟不少业内朋友探讨这事儿，我觉得：提示词的核心价值在于对方法论的封装以及由此带来的知识传播速度加快。 通俗讲，假如你熟悉的行业里有个厉害的“老师傅”，他在核心业务上有好多心得、经验和方法，有的能量化或结构化，...
-
LLaMA-Factory：大语言模型微调框架（大模型）
简介： LLaMA-Factory 是一个国内北航开源的低代码大模型训练框架，专为大型语言模型（LLMs）的微调而设计 LLaMA-Factory：大语言模型微调框架 一、功能特点 LLaMA-Factory 是一个国内北航开源的低代码大模...
-
最强大模型 Llama 3.1-405B 架构设计剖析
—1— 最强大模型 Llama 3.1-405B 简介 在历经了两天的提前“泄露风波”后，Llama 3.1 终于正式揭开面纱，由官方对外公布。 新版 Llama 3.1 将其上下文处理能力扩展至 128K，推出了 8B、70B 及 405B 三个不...
-
LLaMA模型量化方法优化:提高性能与减小模型大小
LLaMA模型量化方法优化:提高性能与减小模型大小 LLaMA模型量化方法优化:提高性能与减小模型大小 引言 新增量化方法 性能评估 7B模型 13B模型 结果分析 结论 LLaMA模型量化方法优化:提高性能与减小模型大小...
-
贾扬清：大模型尺寸正在重走CNN的老路；马斯克：在特斯拉也是这样
Transformer大模型尺寸变化，正在重走CNN的老路! 看到大家都被LLaMA3.1吸引了注意力，贾扬清发出如此感慨。 拿大模型尺寸的发展，和CNN的发展作对比，就能发现一个明显的趋势和现象: 在ImageNet时代，研究人员和技术从业者见证了参数规...
-
llama 2 改进之 RMSNorm
RMSNorm 论文：https://openreview.net/pdf?id=SygkZ3MTJE Github：https://github.com/bzhangGo/rmsnorm?tab=readme-ov-file 论文假设LayerNorm...
-
AI多模态模型架构之LLM主干(3)：Llama系列
〔探索AI的无限可能，微信关注“AIGCmagic”公众号，让AIGC科技点亮生活〕 本文作者：AIGCmagic社区 刘一手 前言 AI多模态大模型发展至今，每年都有非常优秀的工作产出，按照当前模型设计思路，多模态大模型的架构主要包括...
-
硅谷AI保卫战打响！最强4050亿开源模型Llama 3.1上线，OpenAI：GPT-4o mini免费用｜最新快讯
Meta CEO扎克伯格强调，美国在 AI 发展方面永远领先中国数年是不现实的。但他也指出，即使是几个月的微小领先也会随着时间的推移而“积少成多”，从而使美国获得“明显优势”。 （图片来源：Meta AI） 就在今天凌晨，Meta和OpenAI...
-
LLama+Mistral+…+Yi=? 免训练异构大模型集成学习框架DeePEn来了
LLama+Mistral+…+Yi=? 免训练异构大模型集成学习框架DeePEn来了 机器之心 2024年07月19日 12:27 辽宁 AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了200...
-
自回归模型胜过扩散模型：用于可扩展图像生成的 Llama
📜 文献卡 Autoregressive Model Beats Diffusion: Llama for Scalable Image Generation 作者: Peize Sun; Yi Jiang; Shoufa Chen; Shil...
-
Midjourney 升级了！揭秘个性化微调功能：一篇文章带你深入了解
大家好，我是花生，这里是我们共同探索 AI 的平台~ 最近几个月，Midjourney 没有大规模更新，自从今年二、三月份推出风格参考（style reference）和角色参考（character reference）之后，直到昨天才发布了两项新内容：...
-
Stable Diffusion工作原理一篇文章带你详解！
前言 翻译自How does Stable Diffusion work? 1. SD能做什么 最基本的功能是：文生图（text-to-image） SD以文字提示为输入，输出与提示相配的图像 2. 扩散模型 SD属于扩散模...
-
Llama-3.1-8B功能介绍及免费使用指南 Meta AI最新模型体验地址入口
Meta-Llama-3.1-8B简介 Meta-Llama-3.1-8B是一款多语言大型语言模型（LLMs），包含8B大小的版本，支持 8 种语言，专为多语言对话用例优化，并在行业基准测试中表现优异。它采用自回归语言模型，使用优化的Transformer...
-
双非本科工程造价专业，转行AIGC产品经理，涨薪65%
大家好，我是一名证券产品转AIGC产品经理的案例，学习课程后，入职一家内容创作工具公司，薪资也有了较大提升，经过测算涨幅也是超过了65%。 新公司的主要产品是视频和图文创作工具，服务对象主要是金融客户和电商客户两类群体，主要使用场景是用来创作短视频和图文...
-
苹果开源7B大模型，训练过程数据集一口气全给了，网友：开放得不像苹果
苹果最新杀入开源大模型战场，而且比其他公司更开放。 推出7B模型，不仅效果与Llama38B相当，而且一次性开源了全部训练过程和资源。 要知道，不久前Nature杂志编辑Elizabeth Gibney还撰文批评: 而苹果这次竟然来真的!! 就连NLP...
-
【八股文】算法岗位八股文、深度学习、AIGC八股文面试经验（一）
1. 请解释一下Batch Normalization的原理及其在训练深度神经网络中的作用。 Batch Normalization（批归一化）是一种在训练深度神经网络时常用的技术，旨在提高训练速度、稳定性和性能。 2. 在图像预处理过程中，如何选择合适...
-
AFAC2024-基于保险条款的问答 比赛日记 llamafactory qwen npu 910B1
AFAC2024: 基于保险条款的问答挑战——我的实战日记 概述 在最近的AFAC2024竞赛中，我参与了基于保险条款的问答赛道。这是一次深度学习与自然语言处理的实战演练，旨在提升模型在复杂保险文本理解与问答生成方面的能力。本文将分享我的参赛过程，...
-
LLaMA-Factory：开源的低代码大模型训练框架
LLaMA-Factory 是一个由零隙智能（SeamLessAI）开源的低代码大模型训练框架，它集成了业界最广泛使用的微调方法和优化技术，并支持众多开源模型的微调和二次训练。 一、功能特点 支持多种开源模型：LLaMA-Factory支持包括...
-
AIGC从入门到实战：ChatGPT 简介：从 GPT1 到 GPT4 的发展历程和应用领域
AIGC从入门到实战：ChatGPT 简介：从 GPT1 到 GPT4 的发展历程和应用领域 1. 背景介绍 1.1 问题的由来 自然语言处理(Natural Language Processing, NLP 是人工智能(Artificial...
-
使用llama.cpp量化模型
文章目录 概要 整体实验流程 技术细节 小结 概要 大模型量化是指在保持模型性能尽可能不变的情况下，通过减少模型参数的位数来降低模型的计算和存储成本。本次实验环境为魔搭社区提供的免费GPU环境（24G），使用Llama.cpp进行...
-
山东大学项目实训（十六）:基于LLaMA-Factory的微调模型评估和测试
在LLaMA-Factory的Evaluate & Predict界面进行评测 原始模型评测 微调后模型评测 可以看到，微调之后的模型在各个指标上有了显著提升 在完成大型语言模型（如 ChatGLM）的微调后，对模型进行全面评估...
-
揭秘！FFmpeg+Whisper双剑合璧：解锁视频到文本的二阶段奇迹
解锁视频到文本的二阶段奇迹 一、引言 二、视频音频提取与处理 视频音频提取与处理 2.1 环境搭建 2.2 视频音频提取 2.3 音频预处理 示例代码： 三、语音识别与翻译 3.1 加载Whisper模型 3.2 语音识别 3.3 语言检...
-
Llama 3 基于知识库应用实践（一）
一、概述 Llama 3 是Meta最新推出的开源大语言模型，其8B和13B参数的模型的性能与之前的Llama 2相比实现了质的飞跃。以下是官方给出的模型性能评测对比结果（引自：https://ai.meta.com/blog/meta-llama-3/...