-
Llama开源代码详细解读（2）
FlashAttention if is_flash_attn_available( : # 检查flashattention的可用性 from flash_attn import flash_attn_func, flash_attn_var...
-
vivo X200系列定档10月14日发布 将搭载全新进化蓝心大模型
vivo宣布将于10月14日在北京举办新品发布会，届时将推出新一代旗舰手机X200系列。这一系列预计将包括X200、X200Pro等多款型号，并将全球首发联发科天玑9400处理器。 vivo X200系列将配备1.5K OLED国产屏幕，并可能在Pro版上...
-
Unsloth微调环境搭建与LLaMA 3.1-8B模型微调实践指南
本文将详细介绍如何使用Unsloth框架进行LLaMA 3.1-8B模型的微调，帮助您快速构建微调环境，并了解微调流程的基本步骤。本教程适合初学者，旨在帮助您在短时间内实现自己的专属模型微调。对于更复杂的微调参数和细节设置，将在后续文章中进一步阐述。 文...
-
Python 爬虫入门: 常见的爬虫库及相关工具
Python 爬虫入门: 常见的爬虫库及相关工具 前言 1. 爬虫框架 1.1 Scrapy 1.2 Scrapy-Redis 2. 解析 XML 和 HTML 文档 2.1 BeautifulSoup 2.2 lxml 2.3 Par...
-
欺诈文本分类检测（十一）：LLamaFactory多卡微调
1. 引言 前文训练时都做了一定的编码工作，其实有一些框架可以支持我们零代码微调，LLama-Factory就是其中一个。这是一个专门针对大语言模型的微调和训练平台，有如下特性： 支持常见的模型种类：LLaMA、Mixtral-MoE、Qwen、B...
-
Datawhale X魔搭 AI夏令营
Datawhale X魔搭AI夏令营 AIGC方向Task01学习笔记 （本人水平有限，文章中引用了一些大佬写的内容，引用的图片上已注明出处） 1.活动简介 从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期...
-
Datawhale AI 夏令营【AIGC文生图】
Datawhale AI 夏令营----AIGC文生图 一、赛事介绍 1、背景知识 2、比赛任务 3、文生图简介 4、数据集介绍 二、Task1 baseline解析 1、导入相关库 2、数据集处理 3、保存数据 4、训练模型，查看训练脚...
-
deepmotion（动作捕捉与动画生成）
Deep Motion 是一种高级技术，主要用于捕捉和处理复杂的运动数据，特别是在计算机动画、虚拟现实、增强现实和游戏开发领域。通过深度学习和计算机视觉技术，Deep Motion 提供了精确的运动捕捉和逼真的动画生成功能。 精准的运动捕捉：无需昂贵...
-
Llama-factory的yaml配置参数--学习记录
最近llama-factory的配置参数有很多不懂的地方，整理了一些但也有可能有错，仅供大家参考。 # 可选参数 # 模型和适配器相关 --adapter_name_or_path # 描述: 适配器的名称或路径。 --adapter_folder...
-
Lag-Llama：时间序列预测的开源基础模型中文安装与使用指南
Lag-Llama：时间序列预测的开源基础模型中文安装与使用指南 lag-llamaLag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting项目地址:h...
-
使用 Llama-Agents、Qdrant 和 Kafka 进行高级实时 RAG
简介 在当今数据驱动的世界中，实时处理和检索信息的能力至关重要。本文深入探讨了使用Llama-Agents、Qdrant 和 Kafka 的高级实时检索增强生成 (RAG 。通过集成这些强大的工具，我们创建了一个可以有效管理数据提取、处理和检索的代理系...
-
Datawhale X 魔搭 AI夏令营AIGC方向task2
第一步：安装 安装 Data-Juicer 和 DiffSynth-Studio !pip install simple-aesthetics-predictor !pip install -v -e data-juicer !pip unins...
-
小白的DatawhaleAI夏令营AIGC文生图探索日记·可图Kolors-LoRA风格故事挑战赛应用
比赛?：可图Kolors-LoRA风格故事挑战赛_创新应用大赛_天池大赛-阿里云天池的赛制 报名赛事(点击即可跳转 （一定要进行报名，后面环境中的数据和授权等会用到） 赛事链接：https://tianchi.aliyun.com/competit...
-
AIGC 大模型：实践与未来
一、AIGC 大模型的概念与发展 （一）AIGC 大模型的定义与特点 AIGC（AI Generated Content）大模型是一种基于大规模数据训练的人工智能模型，具备强大的内容生成能力和多模态交互能力。它能够理解和处理多种类型的信息，包...
-
WebLlama 项目使用教程
WebLlama 项目使用教程 webllamaLlama-3 agents that can browse the web by following instructions and talking to you项目地址:https://gitcod...
-
Datewhale AI夏令营第四期 AIGC方向Task1笔记
①文生图基基础知识： ✔提示词：主体描述，细节描述，修饰词，艺术风格，艺术家 ✔Lora模型：实现对特定主题、风格或任务的精细化控制 ✔ComfyUI：模型微调、数据预处理、图像生成 ✔参考图控制：openp...
-
Distil-Whisper：高效快速的语音识别模型
Distil-Whisper：高效快速的语音识别模型 distil-whisperDistilled variant of Whisper for speech recognition. 6x faster, 50% smaller, within 1...
-
【Datawhale X 魔搭 AI夏令营第四期-AIGC方向】 Task1笔记：跑通baseline
前言 Datawhale的官方速通文档：https://linklearner.com/activity/14/10/24 本篇文章基于官方文档内容进行归纳总结。 跑通代码 Step0：开通阿里云PAI-DSW试用 阿里云PAI-DSW（Data...
-
AIGC文生图 Task01#Datawhale X 魔搭AI夏令营
从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“AIGC”方向），基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习。以下是笔者对Task01教程的一些记录。 30min速通指...
-
Meta AI新动向：Llama 4瞄准GPT-4，Agent技术或成研发重点
Meta的AI研发进展 Meta的AI科学家Thomas Scialom在最近的采访中透露了Llama系列大型语言模型的最新动态。Scialom谈到了Llama 3.1的研发思路，并展望了即将到来的Llama 4模型。他表示，Llama 3.1是在追求与...
-
抖音豆包大模型AI写作教程
简数采集器支持调用字节跳动抖音的豆包AI大模型API接口，用于对采集的数据进行研究分析，内容写作等。 抖音豆包大模型AI写作使用教程： 目录 1.启用豆包AI大模型API功能 2.设置豆包API处理规则 3.应用API规则处理数据 4.获取AI...
-
The Llama 3 Herd of Models
本文是LLM系列文章，针对《The Llama 3 Herd of Models》的翻译。 LLama3模型 摘要 1 引言 2 一般概述 3 预训练 3.1 预训练数据 3.1.1 网络数据管...
-
周期补数据、定时补数据，深入了解两种补数据的特殊方式
在当今数字化的时代，数据已然成为企业决策与运营的关键要素。而保障数据的完整性、准确性以及及时性，对于企业的发展有着举足轻重的意义。在数据运维管理范畴内，补数据属于大数据开发和运维人员常用的运维操作手段。 周期补数据和定时补数据作为两个相对特殊的补数据方式...
-
Datawhale AI夏令营第四期魔塔-AIGC文生图方向 task03笔记
目录 一、工具初探一ComfyUI应用场景探索 1.初识ComfyUI 2.20分钟速通安装ComfyUI 3.浅尝ComfyUI工作流 二、Lora微调 1.Lora简介 2.Lora详解 一、工具初探一ComfyUI应用场景...
-
Datawhale X 魔搭 AI夏令营 第四期--AIGC文生图 task2笔记
先上图看连环画成果 一直有个篮球总冠军，根据通义千问的文生图对话式生成8个连贯的文生图故事。通过生成的故事内容生成了下面的图片 男主正在练习打篮球 动漫风，连环画，一个黑色高个子帅气男生，穿着红色篮球服，正在篮球训练场上，练习投篮，专注地重复...
-
Datawhale X 魔搭 AI夏令营 Task1
Datawhale X 魔搭 AI夏令营 Task1 赛事解读 AI文生图相关概念 可图模型及微调简介 魔搭零代码生图、微调工具介绍 魔搭AI生图相关应用介绍 DataWhale开源组织网站主页：Datawhale DataWhaleAI夏令营第...
-
深度解读 Llama 3.1 技术报告：从405B参数到24000块H100集群
Meta在最近发布了他们的开源大模型Llama 3.1，引起了广泛的关注和讨论。随着热度逐渐退潮，Llama 3.1 的详细技术报告也公开了。这份报告揭示了很多关于Llama 3.1 的技术细节和实现原理。本文将从模型参数、基础设施、预训练、后训练等方面，...
-
Datawhale X 魔搭AI夏令营 第四期-AIGC文生图lora方向 Task2笔记
继task01跑通baseline之后，有时候回想起实例中那些自己摸不着头脑的代码片段，确实有些好奇，task2正好用借助通用大语言模型工具精读了一下这些代码片段，并进行了实战演练一一基于话剧的连环画制作。 （这里学习文档给出的大语言模型...
-
Datawhale AI夏令营第四期AIGC方向Task2学习笔记
Kolors（可图）模型 Kolors是由快手团队开发的大规模文本到图像生成模型（可图 · 模型库 (modelscope.cn ）根据链接的文章内容，Kolors在视觉质量、复杂语义准确性以及中英文字符的文本渲染方面，显著优于开源和专有...
-
Datawhale X 魔搭 AI夏令营第四期 AIGC方向 Task02笔记
一.认识通义千问 通义千问是一款具有信息查询、语言理解、文本创作等多能力的AI助手。其中，编程与技术支持能力是它的强项之一。 我们可以利用通义千问帮助辅助分析代码结构和功能 二.精读baseline 文生图代码的框架结构： 可以看到，这段代码...
-
[AIGC] Doris：一款高效的MPP数据仓库引擎
在大数据处理的领域中，Apache Doris（原百度 Palo）是一个高效的MPP（大规模并行处理）数据仓库，最初由百度开发，现在已经成为Apache的孵化项目。 (图片取自百度 – 文章目录 1. Doris的基础知识 2....
-
Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 Task2:精读代码，实战进阶
Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 Task2:精读代码，实战进阶 Part1:磨刀准备一一认识通义千问 会用ChatGpt就行 Part2：精读baseline——从零入门AI生图 1. 代码的主体架构...
-
rfid卡频率 ai写作
RFID卡频率：解锁不同场景下的智能识别奥秘 在物联网与数字化技术飞速发展的今天，RFID（无线射频识别）卡作为重要的身份识别与数据追踪工具，其性能与应用广泛受到关注。而RFID卡的频率，作为影响其识别距离、速度、穿透力及安全性的关键因素，更是值得我...
-
Datawhale X 魔塔 AI夏令营 AIGC方向Task1
小白学习笔记，如有错误请各位大佬指正 一、跑通baseline教程 Datawhale 教程链接Datawhale 二、baseline代码分析 1.安装库 !pip install simple-aesthetics-predictor !p...
-
Datawhale Al夏令营 AIGC方向 task2
1、代码解读 1.1、安装 Data-Juicer 和 DiffSynth-Studio # 安装 Data-Juicer 和 DiffSynth-Studio !pip install simple-aesthetics-predictor # 安...
-
【愚公系列】《AIGC辅助软件开发》007-面向软件开发的提示工程：写Prompt就是逐步明确需求的过程
? 作者简介，愚公搬代码 ?《头衔》：华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，亚马逊技领云博主，51CTO博客专...
-
Datawhale X 魔搭 AI夏令营---AIGC Task2
目录 Datawhale X 魔搭 AI夏令营第四期-AIGC文生图方向 Task2：精读代码，实战进阶 0.0 一些link 0.1 任务内容 0.2 AI生图 0.3 **Kolors（可图）模型** 1.1 精读baseline——从...
-
人类还在怕鬼，AI已经开始害怕自己了。
昨天中元节，我本来一直打算做一个关于中式恐怖的视频，来呼应一下这个节日氛围。 带着这个想法，我开始在网上搜寻灵感。 然而，我在B站上看到的一个视频彻底改变了我的计划。 这个视频，是这样的，来自B站UP主@明天的心声-，名字叫做:《随手拍的一张医院走廊的照片...
-
Datawhale X 魔搭 AI夏令营第四期 AIGC方向 学习笔记（一）
本期主要任务是了解AI文生图的原理并进行相关实践 下面是对baseline部分代码的功能介绍： 安装Data-juicere和DiffSynth-Studio !pip install simple-aesthetics-predictor !pip...
-
Datawhale AI夏令营第四期 魔搭-AIGC方向 task02笔记
1：精读baseline 这里我使用了ChatGPT 4o对吧baseline文件代码进行了解析(不知道为啥我的通义千问无法使用 。 GPT代码解析结果如下： 1. 环境设置与依赖安装 !pip install simple-aest...
-
Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task 1笔记
引言 本笔记可以作为学习手册的扩充版本，也是一份快速上手的指南。灰色的备注部分包含了关于步骤的详细解释和扩展内容，建议你可以先跳过这些备注，等完成所有步骤后再回头查阅。 第一步：搭建代码环境 1.1 申请阿里云PAI-DSW 阿里云PAI-D...
-
Datawhale AI夏令营第四期 AIGC方向 task02 初学者笔记
一、Prompt工程介绍:1、概念： Prompt工程，也称为提示工程或指令工程，是在自然语言处理（NLP）领域中一种重要的技术和方法。它主要用于指导预训练的大规模语言模型（Large Language Models, LLMs）生成高质量、准确且有针对...
-
锅炉引风机控制系统总体设计
锅炉引风机控制系统总体设计 系统功能分析 本系统锅炉自动控制系统，主要由进口变频器、可编程控制器、压力变送器、温度变送器和泵房机组以及电气控制柜等组成。根据设计要求，系统具有以下功能： (1 手动/自动控制 电动机起停控制要求具有自动和手动两种功能...
-
Datawhale X 魔搭 AI夏令营 “AIGC”方向 task1
一、任务要求 task1 的任务和上一期的类似，都是跑通给出的代码即可，没有太大难度。 具体要求是训练 Lora 模型，实现文生图，额外的要求是8张图片必须组成一个连贯的故事，需要一定的“写小作文”能力。 二、代码解析 下载数据集 这一步不用分析...
-
基于飞桨框架的稀疏计算使用指南
本文作者-是 Yu 欸，华科在读博士生，定期记录并分享所学知识，博客关注者5w+。本文将详细介绍如何在 PaddlePaddle 中利用稀疏计算应用稀疏 ResNet，涵盖稀疏数据格式的础知识、如何创建和操作稀疏张量，以及如何开发和训练稀疏神经网络模型。...
-
Datawhale AI夏令营第四期 AIGC方向 task01小白学习笔记
本人是信安专业的在校大学生，对AIGC方向属于小白一枚，以下是本次学习的初步成果展示。 从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“AIGC”方向），基于魔搭社区“可图Kolors-LoR...
-
Datawhale X 魔搭 AI夏令营第四期AIGC方向的实践学习
学习简介 从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“AIGC”方向），基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习—— 适合想 入门并实践 AIGC文生图、工作...
-
Datawhale X 魔搭 AI夏令营第四期AIGC文生图方向Task1笔记
目录 前置知识 生成对抗网络（GAN） 大规模预训练模型 LoRA baseline一站式实现过程 下载baseline文件 安装环境，然后重启kernel 调整prompt 总结 前置知识 指导手册里写得很详细，这里写一...
-
Chinese-LLaMA-Alpaca-3 项目使用教程
Chinese-LLaMA-Alpaca-3 项目使用教程 Chinese-LLaMA-Alpaca-3中文羊驼大模型三期项目 (Chinese Llama-3 LLMs developed from Meta Llama 3项目地址:https:/...
-
Datawhale X 魔搭 AI夏令营第四期 | AIGC文生图——可图Kolors-LoRA风格故事 Task1笔记
Hi，大家好，我是半亩花海。最近在尝试学习AIGC的内容，并报名参加了Datawhale举办的2024年AI第四期夏令营，主要学习内容是从零入门AI生图原理和实践。本次活动基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”进而开展的项目实践学习，很适...