-
微调神器LLaMA-Factory官方保姆级教程来了,从环境搭建到模型训练评估全覆盖
编者注:之前一直用firefly做微调,最近切换到LLaMA-Factory,发现不但简单易用,而且非常全面,有点相见恨晚的感觉。使用过程中我主要参考2个文档,一个是github上的官方中文文档: https://github.com/hiyouga/L...
-
【AIGC】AI-Agents最新成果-斯坦福AI小镇源码解读
写在前面的话: 今年年初斯坦福和谷歌的研究人员创建了一个类似于《模拟人生》的微型 RPG 虚拟世界,其中 25 个角色由 GPT 和自定义代码控制,并在arxiv上提交了论文版本,引起了对AIGC+游戏的广泛讨论; 8月,该项目在GitHub上正式开源...
-
【05】LLaMA-Factory微调大模型——初尝微调模型
上文【04】LLaMA-Factory微调大模型——数据准备介绍了如何准备指令监督微调数据,为后续的微调模型提供高质量、格式规范的数据支撑。本文将正式进入模型微调阶段,构建法律垂直应用大模型。 一、硬件依赖 LLaMA-Factory框架对硬件和软件的...
-
Windows下安装LLama-Factory
在进行安装前,请先确认你的GPU能支撑起训练的显存。如果和可怜的我一样是4GB可以选择上云或者换一个好一点的显卡。并且确定你安装了显卡驱动版本在官方给的版本以上,如果没有安装,详细参考我的另一篇文章:LLama-Factory运行异常,CU...
-
LLaMA-Factory/scripts/length_cdf.py 源码解析
这段代码定义了一个函数 length_cdf,用来计算和打印数据集样本长度的累积分布函数(CDF),并在脚本直接运行时通过 fire 库将该函数暴露为命令行接口。我们逐行解释这段代码: python 复制 from llmtuner.data imp...
-
深入了解 Whisper 的架构、用法以及在语音识别领域的应用和性能特征
Whisper: 通用语音识别模型详解 概述 Whisper 是一个基于 Transformer 序列到序列模型的通用语音识别系统,经过训练可以执行多语种语音识别、语音翻译和语言识别任务。本文将深入介绍 Whisper 的工作原理、设置方法、可用模...
-
【Stable Diffusion webui安装】
tips:python最好有conda控制版本,这样可以给sd-webui一个相对空白的环境 环境安装 安装CUDA 去官网下载对应版本的CUDA https://developer.nvidia.com/cuda-toolkit-archi...
-
Stable Diffusion本地部署结合cpolar内网穿透实现远程制作AI文生图详细教程
文章目录 前言 1. 本地部署Stable Diffusion Web UI 1.1 整合包安装 1.2 手动安装Stable Diffusion Web UI 2. 安装Cpolar内网穿透 3. 实现公网访问Stable Diffusi...
-
开发者评测|操作系统智能助手OS Copilot
操作系统智能助手OS Copilot 文章目录 操作系统智能助手OS Copilot OS Copilot 是什么 优势 功能 操作步骤 创建实验 重置密码 创建Access Key 配置安全组 安装 os-copilot 环境...
-
anytext_pytorch AIGC 可以用于生成多语言文字图像算法模型
AnyText 论文 AnyText: Multilingual Visual Text Generation And Editing https://arxiv.org/abs/2311.03054 模型结构 模型由4部分构成,分别是Auxili...
-
【从0到1 在AMD显卡的win上安装stable-diffusion】
摘要: 终于换了台电脑了,这太电脑32G运行内存,4G核显(想买有独显的,不过好贵哦),AMD R7 8核处理器。看着这么高的配置,心有点痒痒的,不能浪费了这个配置呀,哈哈,于是就有了安装Stable-Diffusion的想法。 安装步骤: 1...
-
Stable Diffusion / huggingface 相关配置问题汇总
目录 1 `OSError: Can't load tokenizer for 'openai/clip-vit-large-patch14'.` 报错 解决方法 方法1——手动下载 方法2——自动下载 其他方法(待研究) 2 `hug...
-
Llama-factory源码详细解读
微调 采用逐行调试的方法,细节来看SFT代码 AutoModelForCausalLM...
-
LLama-Factory大模型训练框架,基于自己数据集微调qwen7B模型实战
一,项目简介 LLama-Factory,大模型训练框架,支持多种模型,多种训练方式, 项目github地址:link 项目特色 多种模型:LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baic...
-
OpenAI之Whisper实时语音分析转文字
1.安装ffmpeg 2.安装python3.11 3.安装whisper pip install whisper conda环境安装whisper conda install whisper 命令行安装openai-whisper...
-
关于AI绘画的模型、开源项目、工具、技巧的学习
目录 一、AI绘画的大模型有哪些? 二、Stable Diffusion是一个流行的AI绘画开源项目。 三、AI绘画的开源工具有哪些? 四、AI绘画的技巧 五、最简单的实践 一、AI绘画的大模型有哪些? AI绘画领域中存...
-
llama factory 增量预训练代码解析 & .yaml文件传参和sh的不同 examples/train_lora/llama3_lora_pretrain.yaml
新版本(2024年后 的llama factory,改用了.yaml文件传参的方式,请问和原始的.sh传参方式有什么不同? 新版本的 llama factory 框架使用 .yaml 文件来传递参数,相较于原始的 .sh 脚本传参方式,有一些显著的不...
-
Llama 3 超级课堂 作业
1.web demo部署 环境配置 conda create -n llama3 python=3.10 conda activate llama3 conda install pytorch==2.1.2 torchvision==0.16.2...
-
语音识别教程:Whisper
语音识别教程:Whisper 一、前言 最近看国外教学视频的需求,有些不是很适应,找了找AI字幕效果也不是很好,遂打算基于Whisper和GPT做一个AI字幕给自己。 二、具体步骤 1、安装FFmpeg Windows: 进入 ht...
-
本地部署Stable Diffusion记录
环境:Windows10 1.安装python 3.10.6,不要装3.11,安装完后,设置python环境变量 Index of python-local/3.10.6 2.安装Git Git 3.clone web-ui 这步骤是下载sta...
-
4步生成高质量图像,Stable Diffusion WebUI 1.9.0来了!
上周Stable Diffusion WebUI正式发布了1.9.0版本,我也第一时间把AutoDL镜像升级到了最新版本,有几个比较重要的更新再和大家同步下。 1、为SDXL-Lightning模型使用SGM统一调度器 SDXL-Lightning由字...
-
[AIGC] 深入了解标准与异常重定向输出
在操作系统和编程环境下,有时我们需要更加精细地控制程序的输入或输出过程,这就涉及到了标准输入输出流,以及重定向的概念。接下来,我们将详细介绍标准输出、标准错误输出,以及如何进行输出重定向。 文章目录 1. 标准输出和标准错误输出...
-
【小沐学AI】Python实现语音识别(faster-whisper)
文章目录 1、简介 1.1 CTranslate2 1.2 Intel MKL 1.3 cuDNN 1.4 Transformer 2、下载和安装 2.1 命令行 2.2 代码 3、模型下载 3.1 在线测试 3.1.1 tiny...
-
用 LMDeploy 高效部署 Llama-3-8B,1.8倍vLLM推理效率
节前,我们星球组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学,针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总合集 《大模型面试...
-
win10手动安装stable-diffusion-webui
目录 1.python下载安装 2.git下载安装 3.stable-diffusion-webui下载 4.安装s-d-webui的依赖包(用国内镜像提速) 5.git下载的stable-diffusion-webui,依赖包提示已安装,但运行...
-
stable-diffusion-webui安装教程(非常详细)从零基础入门到精通,看完这一篇就够了_stable diffusion webui
写在最后 在结束之际,我想重申的是,学习并非如攀登险峻高峰,而是如滴水穿石般的持久累积。尤其当我们步入工作岗位之后,持之以恒的学习变得愈发不易,如同在茫茫大海中独自划舟,稍有松懈便可能被巨浪吞噬。然而,对于我们程序员而言,学习是生存之本,是我们在激烈市...
-
Stable Diffusion Web UI 安装教程(保姆级教程) 有问题留在评论区一起讨论
Stable Diffusion Web UI 安装教程 Stable Diffusion安装 gitHub仓库地址 安装手顺 常见的问题 怎样才算安装成功 报错一 Command: "git" clone "A" "B" 报错二 Com...
-
Llama 3大模型学习
基础部分学习: 1、 Llama 3 Web Demo 部署 streamlit run ***.py(网页演示py文件路径) ***(下载好的大模型参数路径 注意点:在vscode中要对上面命令产生的External URL的最后四位端口号,在...
-
技术突破:llamafile一键部署大模型,释放AI潜力
目录 一、引言 二、什么是llamafile? 1、设计目标 2、技术构成 3、与传统部署方式的对比 4、一键部署的优势 三、核心特性 1、一键部署的便捷性 2、跨平台支持 3、独立可执行文件 4、简化的分发流程 5、技术细节 6、用户体...
-
Llama3-Tutorial(Llama 3 超级课堂) 学习笔记
课程资料 五一 Llama 3 超级课堂 | 第二节 Llama 3 微调个人小助手认知(XTuner版)_哔哩哔哩_bilibili SmartFlowAI/Llama3-Tutorial: Llama3-Tutorial(XT...
-
让AI听话的一种办法(Stable Diffusion进阶篇:SVD 3)
动态内容在上一篇笔记里学会了参数以及文生图生视频的操作,可能还是会有小伙伴觉得进行一些参数的改动或者就目前的产出结果还不到自己的预期。 例如像是动作幅度太小,眼睛不够有神等,而也是SVD的一个缺点,它所产出的动态内容某种程度上是不可控的。 就现阶段...
-
Stable Diffusion WebUI v1.9.0重大更新!
继上次v1.8.0更新后的一个月,Stable Diffusion WebUI 又更新啦,这次是v1.9.0。我们来看看这次更新了哪些内容。 总共104项更新 特性更新(Features):总共5项; 次要更新(Minor):总共18项;...
-
安装stable diffusion,加载模型报错:AttributeError: ‘NoneType‘ object has no attribute ‘lowvram‘ 的解决办法
Windows中安装stable diffusion流程(使用原始方法、非整合包快捷安装): 实验机器配置: OS:Win10 64bit;CPU:i5 4.1GHz 12核;内存32G;显卡NVIDIA Quadro P1000 4G显存 参考...
-
Stable Diffusion:Roop换脸插件安装
一、简介 今天给大家分享Stable Diffusion:Roop换脸插件安装,之前在B站上看了很多教程都不太全面,现在出一版最全的Roop换脸插件安装操作流程,希望能帮大家解决安装roop插件过程遇到的各种问题,下面我会把Roop换脸插件安装操作过程和...
-
Intel Arc显卡安装Stable Diffusion
StableDiffusion是一种基于深度学习的文本到图像生成模型,于2022年发布。它主要用于根据文本描述生成详细图像,也可应用于其他任务,如内补绘制、外补绘制和在提示词指导下生成图像翻译。通过给定文本提示词,该模型会输出一张匹配提示词的图片。...
-
Stable Diffusion安装记录II
文章目录 前言 0 更改python路径(跳过) 1 Torch is not able to use GPU 1.1 确认显卡 1.2 安装nvdia驱动 1.3 检查CUDA 1.4更改启动脚本 2 依赖安装 2.1 pip inst...
-
Stable Diffusion WebUI安装简单教程
这里先提前说明一下,如果只是完成Stable Diffusion安装,那只提供命令行方式,加载模型并提供基础的文本分析、特征提取、图片生成这些核心功能,但自身是没有可视化UI的。我们通常看到的页面是Stable Diffusion WebUI提供的功能。所...
-
如何用 Llama 3 免费本地 AI 分析数据和可视化?
帮助你消除调用大模型 API 带来的数据安全烦恼。 模型 今天我们来探讨一个有趣的话题 —— 如何使用 Llama 3 免费地进行数据分析和可视化。 Meta 团队在 2024 年 4 月发布了两款 Llama 3 新模型,一款是...
-
Llama 3超级课堂作业笔记
文章目录 基础作业 完成 Llama 3 Web Demo 部署 环境配置 下载模型 Web Demo 部署 对话截图 使用 XTuner 完成小助手认知微调 Web Demo 部署 自我认知训练数据集准备 训练模型 推理验证 使用...
-
Python使用百度文心一言AI方法
第一步:注册账号,开通服务 进入百度智能云千帆大模型平台,注册账号 首次使用会获得20元代金券,可以让你免费体验一下 在平台左边找到在线服务选项,开通你想要的服务,服务都是按量付费的,也就是说你不用,就不花钱,所以你可以全部开通(我是这么做的 至...
-
AI初识--LLM、ollama、llama都是些个啥?
LLM全称(large language model)也就是大语言模型 什么是Ollama,它与Llama是什么关系? Ollama是一个开源的 LLM(大型语言模型)服务工具,用于简化在本地运行大语言模型,降低使用大语言模型的门槛,使得大模型的开发者...
-
whisper使用
whisper使用 1. 直接调用 语音识别 2. 语种识别 whisper.detect_language( 和whisper.decode( 3. 指定要识别的语种做语音识别 **whisper 源码的transcribe函数** 函数解...
-
聊聊大模型:开源LLaMA背后的底层逻辑与赚钱之道?大模型的发展瓶颈?如何一键部署LLaMA3?
如果我们相信未来比今天更好,坚信自己生活在一个好地方,所要做的便是认识到未来时代的特征和规律。把握住一些不变的道理,使用正确的方法,做那些能够不断让自己获得可叠加式进步的事情,这样便能立于不败之地。—吴军 最近关注两个方向,也是公司重点发展和投资的两个方...
-
五分钟上手IoT小程序
五分钟上手IoT小程序 IoT小程序框架 搭建开发环境 首先安装NodeJs 安装NodeJs 验证安装成功 安装cnpm 安装VSCode 开发IDE 下载开发IDE 安装开发IDE 安装框架脚手架 下载模拟器 创建工程项目 应用...
-
SD-Trainer和Stable diffusion一线牵
SD-Trainer和Stable diffusion一线牵 感谢秋叶大神提供的SD-Trainer和Stable diffusion绘世启动器,让一众爱美的小伙伴能以最快的速度入门AI绘画。 但真正训练LORA和测试的时候,小伙...
-
在线教程|零门槛部署 Llama 3,70B 版本只占 1.07G 存储空间,新用户免费体验 8B 版本
4 月 18 日,Meta 宣布开源 Llama 3,这个号称「迄今为止最好的开源大模型」一经发布,立刻引爆科技圈! 发布当天恰逢斯坦福大学教授、AI 顶尖专家吴恩达的生日,作为 AI 开源倡导者,他激动地发文表示:这是我收到过最好的生日礼物,谢谢...
-
ubuntu的stable-diffusion-webui安装和大模型使用
需要显卡基于Ubuntu20.04安装输入nvidia-smi有输出,可以查看cuda的版本 一.安装miniconda 1.下载最新的安装文件。在命令行中输入以下命令即可: wget https://repo.anaconda.com/minico...
-
Stable Diffusion Webui--安装与使用
最近进行的课程汇报,学习了2023年的CVPR文章《DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation》,因此尝试使用了几种方法对这篇文章...
-
Windows部署语音转文字项目_Whisper
Windows部署语音转文字项目_Whisper 一、前置安装准备 Github源仓库,Whisper 下载安装whisper及其依赖项 官方有两种部署方法,一种是通过默认pip源拉取安装: 以管理员身份运行powershell,输入如下命令p...
-
安装Stable Diffusion webui-forge环境出现ImportError: cannot import name ‘Undefined‘ from ‘pydantic.fields‘
在装Stable Diffusion环境的时候出现了一个错误,在翻看许多资料也没找到解决办法,于是从github上找到了个文章,从讨论中找到了解决办法。 链接地址: https://github.com/AUTOMATIC1111/st...