-
Unsloth微调环境搭建与LLaMA 3.1-8B模型微调实践指南
本文将详细介绍如何使用Unsloth框架进行LLaMA 3.1-8B模型的微调，帮助您快速构建微调环境，并了解微调流程的基本步骤。本教程适合初学者，旨在帮助您在短时间内实现自己的专属模型微调。对于更复杂的微调参数和细节设置，将在后续文章中进一步阐述。 文...
-
一文彻底搞懂大模型 - GPT和LlaMA的模型架构
GPT vs LlaMA GPT与LlaMA，作为大语言模型的两大巨擘，均基于Transformer架构却各有千秋。GPT系列以强大的生成能力著称，通过不断增大的参数规模引领复杂语言与推理任务的前沿；而Llama则以开源姿态，通过技术创新提升模型性能，预...
-
快速降低AIGC疑似率
标题：掌握AIGC技术，快速降低疑似率 一、了解AIGC技术基础 在当今数字化时代，人工智能生成内容（AIGC）技术正迅速成为创新和创造力的驱动力。AIGC技术指的是利用人工智能算法自动生成文本、图像、音频和视频等内容的技术。这项技术的应用范围广泛，从...
-
AIGC的社会责任：AIGC的社会责任
AIGC的社会责任：AIGC的社会责任 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 AIGC的兴起与社会影响 近年来，人工智能生成内容（AIGC）技术发展迅速，其应用范围不断扩大，对社会产生了深远的影响。从文本创作、图像生成到音频合成，A...
-
AI日报：Fluxgym傻瓜式训练FLUX Lora；弱智吧成中文AI训练“金矿”；美国法官用AI解读法律
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ 1、12G显存就能玩转AI模型训练...
-
一文彻底搞懂 Fine-tuning - 超参数（Hyperparameter）
最近这一两周看到不少互联网公司都已经开始秋招提前批了。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。 最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。 《...
-
基于云原生向量数据库 PieCloudVector 的 RAG 实践
近年来，人工智能生成内容（AIGC）已然成为最热门的话题之一。工业界出现了各种内容生成工具，能够跨多种模态产生多样化的内容。这些主流的模型能够取得卓越表现，归功于创新的算法、模型规模的大幅扩展，以及海量的高质量数据集。然而 AIGC 依然面临一系列挑战，检...
-
开源大模型再迎“历史性时刻”，Meta发布Llama 3.1
7月23日晚，Meta正式推出了最新的开源大模型系列Llama 3.1，进一步缩小了开源模型与闭源模型之间的差距。Llama 3.1系列包括8B、70B和405B三个参数规模，其中Llama 3.1-405B参数的模型在多个基准测试中超越了OpenAI的G...
-
基于LLaMA-Factory微调llama3成为一个角色扮演大模型，保姆级教学零基础，导出GGUF格式前篇
训练私有本地大模型需求量越来越高了， 今天就从零基础开始，不讲原理，只看结果的来完整走一遍如何训练llama3成为角色扮演，先培养兴趣，后面有需要再补充原理 （1）准备环境 推荐：使用云计算机（当然4090高配大佬请忽略） 这不是广告！不是广告！你...
-
微软用AI Agent生成2500万对高质量数据，极大提升大模型性能！
随着ChatGPT、Copliot等生成式AI产品的快速迭代，对训练数据的需求呈指数级增长，同时也是提升大模型性能的关键环节之一。 为了解决训练数据短缺和质量差的难题，微软研究院发布了一个专门用于生成高质量合成数据的的AI Agent——Agent Ins...
-
Llama 3.1 92页技术报告详细解读
引言 半个月前，Meta发布了他们的开源大模型Llama3.1，在社区中引起广泛关注和讨论。现在几周的时间过去了，热度逐渐退潮，舆论逐渐降温，整个Llama3家族的技术报告也公开出来。报告数据更新到了Llama 3.1，正是理性地来审视一下这款大模型...
-
腾讯推出新一代大模型“混元Turbo”，性能大幅提升，定价低 50%
9月5日，腾讯宣布推出新一代大模型“混元Turbo”，相比前代模型，腾讯混元Turbo性能有显著提升，训练效率提升108%，推理效率提升100%，推理成本降低50%，解码速度提升20%，效果在多个基准测试上对标GPT-4o，第三方测评居国内第一。 在腾讯...
-
使用PyTorch从零构建Llama 3
我们上次发了用PyTorch从零开始编写DeepSeek-V2的文章后，有小伙伴留言说希望介绍一下Llama 3。那么今天他就来了，本文将详细指导如何从零开始构建完整的Llama 3模型架构，并在自定义数据集上执行训练和推理。 [图1]：Llama...
-
《Llama 3大模型》技术报告中英文版，95页pdf
现代人工智能（AI）系统由基础模型驱动。本文介绍了一套新的基础模型，称为Llama 3。它是一群本地支持多语言、编码、推理和工具使用的语言模型。我们最大的模型是一个具有4050亿参数和高达128K令牌上下文窗口的密集Transformer。本文对Llama...
-
探索未来游戏开发新纪元: 使用Godot Copilot加速您的创作之旅
探索未来游戏开发新纪元: 使用Godot Copilot加速您的创作之旅 godot-copilotAI-assisted development for the Godot engine.项目地址:https://gitcode.com/gh_mir...
-
AI数据告急，大厂盯上廉价年轻人
为了拿到新数据、训练AI大模型，字节等互联网大厂正在亲自下场，以单次300元不等的价格招募“AI录音员”，定制语料库。 坐落于北京大钟寺的字节办公楼，集中了字节的抖音业务团队和火山引擎业务团队，从年初便开始招募素人为豆包大模型录音。两人结组、单次3小时，包...
-
专用于理解游戏场景的开源大模型-VideoGameBunny
大模型在游戏开发领域扮演了重要角色，从AI机器人生成到场景搭建覆盖各个领域。但在游戏场景理解、图像识别、内容描述方面很差。 为了解决这些难题，加拿大阿尔伯塔的研究人员专门开源了一款针对游戏领域的大模型VideoGameBunny（以下简称“VGB”）。 V...
-
Llama-X 开源项目指南
Llama-X 开源项目指南 Llama-XOpen Academic Research on Improving LLaMA to SOTA LLM项目地址:https://gitcode.com/gh_mirrors/ll/Llama-X 项目...
-
【Datawhale X 魔搭 AI夏令营第四期-AIGC方向】 Task1笔记：跑通baseline
前言 Datawhale的官方速通文档：https://linklearner.com/activity/14/10/24 本篇文章基于官方文档内容进行归纳总结。 跑通代码 Step0：开通阿里云PAI-DSW试用 阿里云PAI-DSW（Data...
-
【大模型理论篇】关于LLaMA 3.1 405B以及小模型的崛起
前不久，Meta开源了LLaMA 3.1 405B【1】，模型扩展了上下文长度至 128K，支持八种语言，效果非常惊艳，是首个在通用知识、可操控性、数学、工具使用和多语言翻译方面能够与最先进闭源 AI 模型媲美的公开可用模型，已经赶上截至目...
-
DataWhale多模态赛事Task1
赛事链接：https://tianchi.aliyun.com/competition/entrance/532251/introduction?spm=a2c22.12281925.0.0.2f307137p8qZmp 赛事描述：在当下大数据、大模型时...
-
精通 Stable Diffusion 调优秘籍
一、Stable Diffusion 调优概览 Stable Diffusion 作为一款强大的 AI 绘画工具，其调优具有至关重要的意义。通过合理的调优，可以显著提升图像生成的质量、速度和准确性，满足用户更加多样化和精细化的需求。 调优主要涵盖了...
-
Meta AI新动向：Llama 4瞄准GPT-4，Agent技术或成研发重点
Meta的AI研发进展 Meta的AI科学家Thomas Scialom在最近的采访中透露了Llama系列大型语言模型的最新动态。Scialom谈到了Llama 3.1的研发思路，并展望了即将到来的Llama 4模型。他表示，Llama 3.1是在追求与...
-
AIGC-视频生成-AnimateDiff-基于T2I模型的动态生成论文详细解读
AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning 代码:https://github.com/guoyww/a...
-
The Llama 3 Herd of Models
本文是LLM系列文章，针对《The Llama 3 Herd of Models》的翻译。 LLama3模型 摘要 1 引言 2 一般概述 3 预训练 3.1 预训练数据 3.1.1 网络数据管...
-
探索Llama 3.1 : 405B参数模型：部署、硬件配置、测试与训练的心得
引言 随着人工智能技术的快速发展，大规模语言模型（Large Language Models, LLMs）在自然语言处理（NLP）领域取得了显著的突破。MetaAI最新发布的Llama 3.1 : 405B参数模型，凭借其庞大的参数规模和先进的架构，展...
-
【AIGC】训练数据入库（Milvus）
之前的文章有写如何获取数据、如何补充数据，也有说如何对数据进行清洗、如何使用结构化数据进行训练。但好像没有说如何将训练数据“入库”。这里说的入库不是指 MySQL 数据库，而是指向量检索库 Milvus。 众所周知，人工智能多用向量数据进行训练。数据先做...
-
异常检测算法在可观测性平台的落地和实践｜得物技术
一、背景 在稳定性保证中，重要的一个环节就是故障管理体系建设，故障管理体系的四大核心功能------故障发现、故障触达、故障定位和故障恢复，其中故障发现作为故障管理的第一步至关重要，包含了指标预测、异常检测和故障预测等方面，主要目标是能及时、准确地发现故...
-
GameNGen有哪些功能？谷歌游戏引擎AI模型怎么使用方法详细教程指南
GameNGen 是什么？ GameNGen 是一个由神经模型驱动的前沿游戏引擎，专注于实现与复杂环境的实时互动，并在长时间的模拟中保持高质量图像。它能够以每秒超过 20 帧的速度高效模拟经典游戏《DOOM》，并且其下一帧预测的峰值信噪比（PSNR）达到...
-
GPT-5降临，代号猎户座？OpenAI疑用草莓训练，数学推理暴涨超越所有模型
OpenAI的下一代旗舰大语言模型，要来了? 据悉，新模型代号Orion（猎户座），就是能超越GPT-4的下一代模型。 而猎户座的预训练数据，正是由草莓模型生成的。 而草莓模型驱动的聊天机器人，很可能就会在今年秋天上线! 关于OpenAI的草莓，外媒The...
-
突发！OpenAI展示草莓，很快发布“GPT-5”猎户座！
OpenAI不藏了，终于展示江湖流传已久的秘密项目“草莓”（Strawberry）和猎户座(Orion 。 根据Theinformation消息，OpenAI已经向美国国家安全官员展示了草莓这个秘密项目，保证会在安全、合理的范围内来开发和使用。同时Open...
-
LLaMA3技术报告解读
前言 LLaMA系列算法是Meta公司发布的开源大模型。近期Meta公司又发布了LLaMA 3.1系列的模型，在这一系列模型中参数量最大的高达405B，上下文窗口多达128K个token。同时对模型进行了广泛的实证评估，发现在很多任务中，LLaMA 3...
-
ECCV2024 | 小成本微调CLIP大模型！CLAP开源来袭：零样本和少样本训练有救了！
论文链接：https://arxiv.org/pdf/2311.16445 代码链接：https://github.com/YichaoCai1/CLAP 亮点直击 解耦潜在内容和风格因素：本文提出了一种通过对比学习和数据增强，从因果角度微...
-
2024最新秋叶启动器Stable Diffusion V4.9版本更新教程】来了,附下载链接
做为AI绘画的主流工具之一，Stable Diffusion（简称SD）大部分人都不陌生，用的最多的可能就是秋葉大佬的一键启动整合包。它以资源整合、安装方便、界面友好，自动更新、完全免费，深受广大AI绘画爱好者的欢迎 前两天秋葉大佬更新了2024最新...
-
深度解读 Llama 3.1 技术报告：从405B参数到24000块H100集群
Meta在最近发布了他们的开源大模型Llama 3.1，引起了广泛的关注和讨论。随着热度逐渐退潮，Llama 3.1 的详细技术报告也公开了。这份报告揭示了很多关于Llama 3.1 的技术细节和实现原理。本文将从模型参数、基础设施、预训练、后训练等方面，...
-
stable diffusion和GAN网络的区别，优点缺点是什么
稳定扩散（stable diffusion）和生成对抗网络（GAN）是两种不同的深度学习方法。 稳定扩散是一种无监督学习方法，用于图像超分辨率重建。它基于扩散过程模型，通过在不同的时间步骤中对图像进行重建来增加分辨率。该方法能够有效地增加图像的细节，并产...
-
基于华为昇腾910B和LLaMA Factory多卡微调的实战教程
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三...
-
SD创始团队黑马的Flux真的那强吗？SD Flux与华为ultrapixel大PK！群雄逐鹿！“百模”并起，王者之战~！
前言 小南还是没忍住，看大家都在试玩Flux，真的有那么震撼么？小南手痒痒也体验下吧。今天主要简单介绍下Flux以及ComfyUI的安装，重点是和我们“遥遥领先”的华为开源的ultrapixel进行下对比。没有对比就没有伤害！ 大家应该对Flux也有...
-
大模型算法必学，万字长文Llama-1到Llama-3详细拆解
导读 Llama系列的大语言模型在多个自然语言处理任务中表现出色，包括文本分类、情感分析和生成式问答，本质是使用 Transformer 架构并结合预训练和微调技术。本文详细讲解Llama-1到Llama-3，值得读者点赞收藏！ 引言 在AI领域...
-
精读代码，实战进阶-Datawhale X魔搭AI夏令营 AIGC方向Task02学习笔记
基础知识 AIGC是未来人工智能的重点方向 AIGC高速发展的同时，也被一些心怀不轨之人当作牟利里的技术，如Deepfake技术。 AI生图最早的工具是机械臂输出作画，现代的AI生图模型大多基于深度神经网络基础上训练。 *一般来说，AI生图模型属于多模...
-
Nvidia 和 Mistral AI 的超精确小语言模型适用于笔记本电脑和 PC
Nvidia 和 Mistral AI 发布了一款新型的小型语言模型，据称该模型在小体积下依然具有「最先进」的准确性。该模型名为 Mistral-NemMo-Minitron 8B，是 NeMo 12B 的迷你版本，参数量从 120 亿缩减到了 80 亿。...
-
【课程总结】day24（上）：大模型三阶段训练方法(LLaMa Factory)
前言 本章我们将通过 LLaMA-Factory 具体实践大模型训练的三个阶段，包括：预训练、监督微调和偏好纠正。 大模型训练回顾 训练目标 训练一个医疗大模型 训练过程实施 准备训练框架 LLaMA Factory是一款开源低...
-
探索法律智能的新高度：Lawyer LLaMA 项目深度解析
探索法律智能的新高度：Lawyer LLaMA 项目深度解析 lawyer-llama中文法律LLaMA (LLaMA for Chinese legel domain 项目地址:https://gitcode.com/gh_mirrors/la/la...
-
通过剪枝与知识蒸馏优化大型语言模型：NVIDIA在Llama 3.1模型上的实践与创新
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同...
-
GOLLIE : ANNOTATION GUIDELINES IMPROVE ZERO-SHOT INFORMATION-EXTRACTION
文章目录 题目 摘要 引言 方法 实验 消融研究 题目 Techgpt-2.0:解决知识图谱构建任务的大型语言模型项目 论文地址：https://arxiv.org/abs/2310.03668 摘要 大...
-
非Transformer时代到来！全新无注意力模式超越Llama传奇
来源 | 机器之心 ID | almosthuman2014 Mamba 架构模型这次终于要「站」起来了？自 2023 年 12 月首次推出以来，Mamba 便成为了 Transformer 的强有力竞争对手。 此后，采用 Mamba 架构的模型...
-
使用llama factory对语言模型微调，重塑自我认知，并部署于ollama上
本文记录了从环境部署到微调模型、效果测试并部署的全过程。 一 环境 如果使用autodl租赁服务器则不需要如下步骤，但是请注意llama_factory需要python、cuda等版本满足： 首先请确报你已经安装好了conda工具...
-
Llama中文大模型-模型微调
同时提供了LoRA微调和全量参数微调代码，关于LoRA的详细介绍可以参考论文“[LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685 ”以及...
-
使用diffusers来训练自己的Stable Diffusion 3大模型
基于diffusers的Stable diffusion训练代码 这里给大家介绍一个基于diffusers库来训练stable diffusion相关模型的训练代码，包含Lora、ControlNet、IP-adapter、Animatediff，以及...
-
Stable Diffusion秋叶WebUI V4.9整合包来了，超详细安装教程，轻松看懂
这款整合包可以一键在本地部署Stable Diffusion！！适用于零基础想要使用AI绘画的小伙伴~ 秋叶大佬V4.9整合包给大家准备好了，扫描下方，即可免费获取 秋叶整合安装包安装教程 如果你的电脑时第一次安装，需要先下载启动器运行依赖，安装依...