-
混合专家模型（MoE）入门
模型规模是提升LLM大语言模型性能的关键因素，但也会增加计算成本。Mixture of Experts (MoE 架构通过分布式专家层和动态门控机制，有效降低了计算资源，使模型能够在扩展参数规模的同时保持高效的运行。 Mixtral of Exper...
-
AIGC 实战（环境篇） - EXSI 8.0 Debian安装RTX3060显卡驱动
文章目录 RTX 3060 显卡驱动安装 主要过程 解决方案 RTX 3060 CUDA、CUDNN 安装 CUDA 安装 CUDNN 安装 参考文章 近期，尝试在家里服务中搭建一个用来跑 AI 的服务器，尝试使用 EXSI8....
-
RWKV 已部署到 5 亿台 Windows 电脑？真正开源的新一代 AI 架构
2024 年 9 月 ，RWKV 社区成员发现：Office 系统在自动更新后（版本 2407 及以后）已自带 RWKV 运行库。 在 Windows 系统的 C:\Program Files\Microsoft Office\root\vfs\Pro...
-
【技术前沿】Flux.1部署教程入门--Stable Diffusion团队最前沿、免费的开源AI图像生成器
项目简介 FLUX.1 是一种新的开源图像生成模型。它由 Stable Diffusion 背后的团队 Black Forest Labs 开发。 官网中有以下功能开源供大家参考： FLUX.1 擅长在图像中准确再现文字，因此非常适合需要清晰文字或...
-
ubuntu系统编译whisper.cpp/talk-llama
1. 项目克隆到本地 git clone https://github.com/ggerganov/whisper.cpp 2. 编译 CPU 版本： sudo apt-get install libsdl2-dev cd whisper.cpp...
-
【Qwen-Audio部署实战】Qwen-Audio-Chat模型之对话机器人部署测试
系列篇章💥 No. 文章 1 【Qwen部署实战】探索Qwen-7B-Chat：阿里云大型语言模型的对话实践 2 【Qwen2部署实战】Qwen2初体验：用Transformers打造智能聊天机器人 3 【Qwen2部署实战】探索Qw...
-
【04】LLaMA-Factory微调大模型——数据准备
在上文【03】LLaMA-Factory微调大模型——多模型部署中完成了Qwen2、GLM-4、LLaMA3-8B-Chinese-Chat三个模型的部署，本文则进行数据准备，为后续的微调模型提供高质量、格式规范的数据支撑。 一、数据格式 LLaMA-...
-
使用Llama-factory微调Llama3教程
一、登录OpenBayes进行注册登录 通过以下链接，新用户注册登录 OpenBayes ， 即可获得 四个小时 RTX 4090免费使用时长 ！！ 注册链接:https://openbayes.com/console/signup?r=zzl99_W...
-
【项目记录】LLaMA-Factory + ModelScope 指令监督微调
LLaMA-Factory是大模型微调框架，内部集成了多种微调方法，可以直接调用。 具体做法可以从官方github上找到：https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md...
-
安装llama_factory
第一版： nvidia-smi git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory/ llamafactory-cli train examples/tr...
-
Linux系统上部署Whisper。
Whisper是一个开源的自动语音识别（ASR）模型，最初由OpenAI发布。要在本地Linux系统上部署Whisper，你可以按照以下步骤进行： 1. 创建虚拟环境 为了避免依赖冲突，建议在虚拟环境中进行部署。创建并激活一个新的虚拟环境： 如果不...
-
AIGC | Ubuntu24.04桌面版安装后必要配置
[ 知识是人生的灯塔，只有不断学习，才能照亮前行的道路 ] 0x02 Ubuntu 24.04 桌面版必要配置 1.网络配置 描述：Ubuntu 24.04 与CentOS/Redhat系列主机网络配置是不一样，从Ubuntu 20...
-
【愚公系列】《微信小程序开发解析》006-视图容器组件
🏆 作者简介，愚公搬代码 🏆《头衔》：华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，亚马逊技领云博主，51CTO博客专...
-
使用LLaMA-Factory微调大模型
使用LLaMA-Factory微调大模型 github 地址https://github.com/hiyouga/LLaMA-Factory 搭建环境 git clone --depth 1 https://github.com/hiyouga/...
-
零代码教你安装部署Stable Diffusion 3，一键生成高质量图像
本文分享自华为云社区《重磅！【支持中文】stable-diffusion-3安装部署教程-SD3 来了》，作者：码上开花_Lancer。 正如承诺的那样，Stability AI在6月12日正式开源了Stable Diffusion 3（Medium版本...
-
企业本地大模型用Ollama+Open WebUI+Stable Diffusion可视化问答及画图
最近在尝试搭建公司内部用户的大模型，可视化回答，并让它能画图出来， 主要包括四块： Ollama 管理和下载各个模型的工具 Open WebUI 友好的对话界面 Stable Diffusion 绘图工具 Docker 部署在容器里，提高效率 以上运...
-
LLAma-Factory框架详细使用方法-0.8.3版本
一、安装 LLaMA Factory git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git #拉取代码到本地 cd LLaMA-Factory #进入...
-
使用LlamaFactory进行模型微调：参数详解
在深度学习和自然语言处理领域，模型微调是提升预训练模型性能的重要手段。本文将介绍如何使用LlamaFactory进行模型微调，并详细解析一些关键参数，包括 --cutoff_len 1024、--flash_attn auto、--lora_rank 8、...
-
在昇腾服务器上使用llama-factory对baichuan2-13b模型进行lora微调
什么是lora微调 LoRA 提出在预训练模型的参数矩阵上添加低秩分解矩阵来近似每层的参数更新，从而减少适配下游任务所需要训练的参数。 环境准备 这次使用到的微调框架是llama-factory。这个框架集成了对多种模型进行各种训练的代码，少...
-
如何使用共享GPU平台搭建LLAMA3环境（LLaMA-Factory）
0. 简介 最近受到优刻得的使用邀请，正好解决了我在大模型和自动驾驶行业对GPU的使用需求。UCloud云计算旗下的[Compshare](https://www.compshare.cn/? ytag=GPU_lovelyyoshino_Lcsdn_...
-
用 LMDeploy 高效部署 Llama-3-8B，1.8倍vLLM推理效率
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总合集 《大模型面试...
-
Llama3-Tutorial（Llama 3 超级课堂） 学习笔记
课程资料 五一 Llama 3 超级课堂 | 第二节 Llama 3 微调个人小助手认知（XTuner版）_哔哩哔哩_bilibili SmartFlowAI/Llama3-Tutorial: Llama3-Tutorial（XT...
-
【教学类-40-01】20240607类似MJ的免费AI绘画工具——文心一格与通义万相
背景需求： 风变的AI对话大师一年到期了，也没有看到续费的按钮。不能使用它写代码了。 MJ早就用完了，最后480次，我担心信息课题会用到它生图，所以不敢用。 最近探索其他类似MJ的免费出图工具 一、文心一格（免费，开账户给100分，...
-
医疗行业漫长的数字化之路迎来AI助力
宾夕法尼亚大学卫生系统在其Penn Medicine BioBank中拥有大量匿名的患者数据，SVP兼CIO的Michael Restuccia的团队看到了利用这些数据造福研究医院患者的机会。 “我们讨论了如何将AI研究中的一些创新应用到诊所中去。”...
-
Stable Diffusion部署教程，开启你的AI绘图之路
本文环境 系统：Ubuntu 20.04 64位 内存：32G 环境安装 2.1 安装GPU驱动 在英伟达官网根据显卡型号、操作系统、CUDA等查询驱动版本。官网查询链接https://www.nvidia.com/Download/index....
-
Stable Diffusion WebUI 安装记录[Ubuntu服务器]
前言 在远程服务器（Ubuntu）上安装Stable Diffusion WebUI。服务器是4090，所以在服务器上配置。原本是MobaXterm SSH连接服务器，建议用vscode连接。 尝试了给服务器出海但不知道为什么还是不行。GitHub上我...
-
详解联邦学习中的异构模型集成与协同训练技术
本文分享自华为云社区《联邦学习中的异构模型集成与协同训练技术详解》，作者：Y-StarryDreamer。 引言 随着数据隐私和安全问题的日益突出，传统的集中式机器学习方法面临着巨大的挑战。联邦学习（Federated Learning）作为一种新...
-
Llama模型家族之Stanford NLP ReFT源代码探索 （一）数据预干预
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
苹果AI遇阻：Apple Intelligence无缘欧盟市场
快科技6月22日消息，苹果公司发布声明，因欧盟《数字市场法》带来的不确定性，欧盟用户今年无法获得Apple Intelligence、iPhone Mirroring和SharePlay Screen Sharing三大功能。 其中Apple Intell...
-
llama-cpp-python 程序 Pyinstaller 打包后运行报错（RuntimeError: Failed to load shared library ‘llama.dll‘）
报错现象 本人基于 llama-cpp-python 构建了一个领域知识问答程序，并通过 Pyinstaller 打包成一个包含 .exe 运行文件的文件夹（记为 D）。 该 .exe 在本机（打包用的电脑，Windows 11）上运行正常，在把文件...
-
LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略
LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调 、安装、案例实战应用之详细攻略 导读 ：2023年4月17日，哈工大讯飞联合实验室，本项目开源了中文LLaMA模型和指令精调的Alpaca大模型，以进一步...
-
在Windows上用Llama Factory微调Llama 3的基本操作
这篇博客参考了一些文章，例如：教程：利用LLaMA_Factory微调llama3:8b大模型_llama3模型微调保存-CSDN博客 也可以参考Llama Factory的Readme：GitHub - hiyouga/LLaMA-Factory: U...
-
LLM记录：五一 Llama 3 超级课堂
LLM记录：五一 Llama 3 超级课堂 想玩大模型，自己又没那个环境，参加五一 Llama 3 超级课堂，简单记录一下llama3-8b的相关体验，实在是邀请不到人，还好后面开放了24G显存，好歹模型能跑起来了，只能说感谢大佬！ Llama 3...
-
五一超级课堂---Llama3-Tutorial（Llama 3 超级课堂）---第三节llama 3图片理解能力微调（xtuner+llava版）
课程文档： https://github.com/SmartFlowAI/Llama3-Tutorial 课程视频： https://space.bilibili.com/3546636263360696/channel/collectiondetail?...
-
使用AIGC生成软件类图表
文章目录 如何使用 AI 生成软件类图表 什么是 Mermaid Mermaid 的图片如何保存？ mermaid.live Draw.io Mermaid可以画什么图？ 流程图 时序图 / 序列图 类图 状态图 甘特图 实体关系图 /...
-
Midjourney提示词，别在瞎用了！
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 Midjourney提示词，别在瞎用了！ 前言 1.摄影风格 2.时间 3.相机设置（焦距、光圈等等） 总结 前言 当我们在用Midjourney出...
-
无需搭建环境，零门槛带你体验Open-Sora文生视频应用
案例体验 ?* 本案例需使用 Pytorch-2.0.1 GPU-V100 及以上规格运行 ?* 点击Run in ModelArts，将会进入到ModelArts CodeLab中，这时需要你登录华为云账号，如果没有账号，则需要...
-
斯坦福让“GPU高速运转”的新工具火了，比FlashAttention2更快
AI算力资源越发紧张的当下，斯坦福新研究将GPU运行效率再提升一波—— 内核只有100行代码，让H100比使用FlashAttention-2，性能还要提升30%。 怎么做到的？ 研究人员从“硬件实际需要什么？如何满足这些需求？”这两个问题出发，设计了...
-
在OpenHarmony本地部署大语言模型
本文将第二届OpenHarmony技术大会上展示的《在OpenHarmony本地部署大语言模型》成果开源，开源地址：https://gitee.com/openharmony-sig/tpc_c_cplusplus/blob/master/thirdp...
-
Stable Diffusion支持多人排队使用
如果我们想要自己在云服务器上部署Stable Diffusion模型，但是又不想自动扩容造成成本激增，我们可以设计排队使用的模式。stable-diffusion-webui已经很好用了，支持了自定义模型及Lora模型的加载、排队生成、完善的UI和各种插件...
-
LMDeploy高效部署Llama-3-8B，1.8倍vLLM推理效率
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，LMDeploy 对 Llama 3 部署进行了光速支持，同时对 LMDeploy 推理 Llama 3 进行了测试，在公平比较的条件下推理效率是 vLLM 的 1.8 倍。 书生...
-
llama-factory学习个人记录
框架、模型、数据集准备 1.llama-factory部署 # 克隆仓库 git clone https://github.com/hiyouga/LLaMA-Factory.git # 创建虚拟环境 conda create --name llama...
-
LLaMA-Factory 微调训练
LLaMA-Factory 微调训练 该框架功能，标注-微调-导出-合并-部署，一整条流程都有，而且训练时消耗的gpu算力也会小一些 一，安装（推荐在linux中训练，win可以用wsl+docker） git clone https:...
-
LLMs之FineTuning：Alpaca格式/Vicuna的sharegpt 格式数据集简介、利用多种方式构造或转换指令微调格式数据集实战——利用LLaMA-Factory框架的dataset_i
LLMs之FineTuning：常用指令微调格式数据集的简介(Alpaca格式/Vicuna的sharegpt 格式 、利用多种方式构造或转换指令微调格式数据集实战——利用LLaMA-Factory框架的dataset_info.json 中通过指定 --...
-
笔记1--Llama 3 超级课堂 | Llama3概述与演进历程
1、Llama 3概述 https://github.com/SmartFlowAI/Llama3-Tutorial.git【Llama 3 五一超级课堂 | Llama3概述与演进历程】 2、Llama 3 改进点 【最新【大模型微调】大模...
-
搭建和配置Stable Diffusion环境，超详细的本地部署教程
跃然纸上的创意、瞬息万变的想象，Stable Diffusion以AI的力量赋予您无限创作可能。在这篇详尽的本地部署教程中，我们将携手走进Stable Diffusion的世界，从零开始，一步步搭建和配置这个强大的深度学习环境。无论您是热衷于探索AI艺术的...
-
Llama3-Tutorial（Llama 3 超级课堂）-- 笔记
第1节—Llama 3 本地 Web Demo 部署 端口转发 vscode里面设置端口转发 https://a-aide-20240416-b4c2755-160476.intern-ai.org.cn/proxy/8501/...
-
AI绘画stablediffusion comfyui SDXL Controlnet模型终于全了 tile来了
以前一直在直播中吐槽说不建议大家用SDXL生态，即便已经出来了Turbo，即便除了SDXLLighting等等周边但是我们最最喜欢用的controlnet还是补全，即便是现在也不算完全意义的全，但是最起码我们今天呢能够带来第一个期待已久的tile模型，和隐...
-
Llama3-Tutorial（Llama 3 超级课堂）作业
1.Llama 3 Web Demo 部署 cd ~ git clone https://github.com/SmartFlowAI/Llama3-Tutorial 安装 XTuner 时会自动安装其他依赖 cd ~ git clone -b...
-
数据驱动与 LLM 微调：打造 E2E 任务型对话 Agent
作者 | Thought Agent 社区 在对话系统的设计和实现中，传统的基于 Rasa-like 框架的方法往往需要依赖于多个模块的紧密协作，例如我们在之前的文章中提到的基于大模型（LLM）构建的任务型对话 Agent，Thought Agent，其...