-
昇腾CANN 7.0 黑科技：大模型推理部署技术解密
本文分享自华为云社区《昇腾CANN 7.0 黑科技：大模型推理部署技术解密》，作者：昇腾CANN。 近期，随着生成式AI、大模型进入公众视野，越来越多的人意识到抓住AI的爆发就是抓住未来智能化变革的契机。AI基础设施如何快速部署使用，以及如何提升推理性能...
-
NLP（六十四）使用FastChat计算LLaMA-2模型的token长度
LLaMA-2模型部署 在文章NLP（五十九）使用FastChat部署百川大模型中，笔者介绍了FastChat框架，以及如何使用FastChat来部署百川模型。 本文将会部署LLaMA-2 70B模型，使得其兼容OpenAI的调用风格。部署的D...
-
在低配Windows上部署原版llama.cpp
现在大语言模型的部署，通常都需要大的GPU才能实现，如果是仅仅想研究一下，大语言模型的算法，我们是很想能够直接在我们的工作电脑上就能直接运行的，llama.cpp就是很好的实现。 LLaMa.cpp使用int4这种数值格式，其显著降低了内存需求，并且在大...
-
足够惊艳，使用Alpaca-Lora基于LLaMA(7B)二十分钟完成微调，效果比肩斯坦福羊驼
之前尝试了从0到1复现斯坦福羊驼（Stanford Alpaca 7B），Stanford Alpaca 是在 LLaMA 整个模型上微调，即对预训练模型中的所有参数都进行微调（full fine-tuning）。但该方法对于硬件成本要求仍然偏高且训练低效...
-
微调Whisper语音识别模型和加速推理
前言 OpenAI在开源了号称其英文语音辨识能力已达到人类水准的Whisper项目，且它亦支持其它98种语言的自动语音辨识。Whisper所提供的自动语音识与翻译任务，它们能将各种语言的语音变成文本，也能将这些文本翻译成英文。本项目主要的目的是为了对W...
-
使用docker部署stable-diffusion
使用docker部署stable-diffusion 环境准备 安装nvidia-container-toolkit 安装stable-diffusion 环境准备 wsl2 ubuntu20.04 docker python...
-
Stable Diffusion - 提示词翻译插件 sd-webui-prompt-all-in-one
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/131649921 sd-webui-prompt-all-in-o...
-
.Net 使用OpenAI开源语音识别模型Whisper
.Net 使用OpenAI开源语音识别模型 Whisper 前言 Open AI在2022年9月21日开源了号称其英文语音辨识能力已达到人类水准的 Whisper 神经网络，且它亦支持其它98种语言的自动语音辨识。 Whisper系统所提供的自动语音...
-
[算法前沿]--000-大模型LLaMA在docker环境搭建以及运行教程（含模型压缩）
文章目录 LLaMA 论文 步骤 搭建步骤 运行7B模型 运行13B模型 未来已来,大模型依据压缩模型的方式,可以在普通的PC上运行. LLaMA Facebook的LLaMA 模型和Georgi Gerganov 的ll...
-
最详细的Ubuntu服务器搭建Stable-Diffusion教程（无显卡，仅用CPU）
1. 首先安装基本工具 # 安装python环境 sudo apt install wget git 若已经安装过请忽略 2. 安装miniconda（也可以自己下载python） 下载最新的安装包 wget https://repo.an...
-
被OpenAI带火的Agent如何解放人力？清华等发布ProAgent
项目地址：https://github.com/OpenBMB/ProAgent 论文地址：https://github.com/OpenBMB/ProAgent/blob/main/paper/paper.pdf 在历史的长河中，自动化是人类技术...
-
手把手教你搭建微信聊天机器人系列（一）：文心一言（百度千帆ERNIE-Bot大模型）API测试
今年年初chatgpt大火，国产gpt文心一言也提供了内测服务，大家可以去访问官网申请体验。文心一言APP上的功能更加强大，可以看这个测评文章。作为程序猿的我们，想接入文心一言的能力，比如开发一个聊天机器人，要怎么做呢？百度在其开发者平台开...
-
OpenAI新功能揭秘：多模态时代的到来
作者 | 崔皓 审校 | 重楼 摘要 本文介绍了OpenAI的最新进展，重点关注其在多模态技术领域的突破。文章首先探讨了GPT-4 Turbo模型的优化和多模态功能的融合，如图像生成和文本到语音转换。随后，作者深入解析多模态技术的工作原理，特别是文本到图...
-
LLaMA微调记录
本文基于开源代码https://github.com/Lightning-AI/lit-llama/tree/main执行微调 其他参考链接： Accelerating LLaMA with Fabric: A Comprehensive Guide...
-
私人定制AI绘画——快速finetune stable diffusion教程
最近AI绘图非常火，只需要输入文本就能得到令人惊艳的图。 举个例子，输入 “photo of a gorgeous young woman in the style of stefan kostic and david la chapelle, coy,...
-
关于AI 绘画，我给你总结了一份详细的关键词（Prompt 知识）
写在前面 随着人工智能技术的不断发展，越来越多的应用场景被发掘。其中，AI绘画是一种新兴的领域，其应用范围涵盖了数字媒体、游戏设计、动画制作、艺术创作等多个领域。在本文中，我们将介绍AI绘画的基本概念、发展历程、技术原理以及应用前景。 基本概念...
-
stable-diffusion-webui汉化教程
第一种方法 1.打开stable diffusion webui，进入"Extensions"选项卡 2.点击"Install from URL" 3、注意"URL for extension’s git repository"下方的输入框 4、填入地...
-
Stable Diffusion - 扩展插件 (Extensions) 功能的配置与使用
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/131576762 Prompt: (masterpiece,...
-
如何申请文心一言&文心千帆大模型API调用资格、获取access_token，并使用SpringBoot接入文心一言API
前段时间，百度文心一言&文心千帆大模型开放了API调用的测试，接下来，教大家申请测试资格并接入文心千帆大模型的API。 一、文心一言&文心千帆的测试资格申请 1. 确保拥有一个百度智能云的账号 右上角点击注册，内容如实填写并完成实...
-
Stable Diffusion云端部署流程与注意点
前言 在今天的大数据时代，AI绘图是企业必备的重要工具之一。而Stable Diffusion作为一款部署的AI绘图，得到了很多企业和团队的认可。在使用Stable Diffusion的过程中，云部署是一个非常重要的话题，本文将详细介绍Stable Di...
-
stable-diffusion安装教程推荐
总结：安装的时候VPN最重要,安装完成启动使用stable-diffusion关闭vpn 安装报错都是因为vpn问题，各种安装不了，报错基本上百度都有解决方法 安装看下面两基本上够了 Windows安装Stable Diffusion WebUI及...
-
调用百度文心AI作画API实现中文-图像跨模态生成
作者介绍 乔冠华，女，西安工程大学电子信息学院，2020级硕士研究生，张宏伟人工智能课题组。 研究方向：机器视觉与人工智能。 电子邮件：1078914066@qq.com 一．文心AI作画API介绍 1. 文心AI作画 文心ERNIE-...
-
解锁 PaddleOCR 的超能力
光学字符识别（OCR）是一项强大的技术，使机器能够从图像或扫描文档中识别和提取文本。OCR 在各个领域都有应用，包括文件数字化、从图像中提取文本以及基于文本的数据分析。在本文中，我们将探讨如何使用 PaddleOCR，一款基于深度学习的先进OCR工具包，...
-
Stable Diffusion WebUI安装和使用教程(Windows)
目录 下载Stable Diffusion WebUI 运行安装程序，双击webui.bat 界面启动 插件列表代理网址改换成这个 插件安装（github） 模型下载(有些需要魔法） 安装过程遇到的大坑总结 整个过程坑巨多，我花了一个...
-
文心大模型使用——文心一言API
文章目录 0 前置操作 1 单轮对话 2 多轮对话 3 流式单轮对话 4 流式多轮对话 整体流程 0 前置操作 API_KEY、SECRET_KEY自行购买 import requests import json impor...
-
Meta的LLama模型非官方下载方法
简介 Llama模型是一个用于自然语言处理的大型语言模型，它由Meta AI开发，拥有65亿个参数。该模型的目的是帮助研究者在AI的子领域中推进他们的工作。Llama模型结构巨大，最小的模型LLaMA 7B也经过了超过1万亿个代币的训练。Llama模型...
-
【AIGC】BaiChuan7B开源大模型介绍、部署以及创建接口服务
模型介绍 baichuan-7B是由百川智能开发的一个开源的大规模预训练模型。基于Transformer结构，在大约1.2万亿tokens上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。在标准的中文和英文权威benchmark（C-EV...
-
Meta 推出的 LLaMA 大语言模型部署教程
Facebo推出的LLaMA模型 简介： LLaMA（Lager Language Model From Meta），这是一个从7B到65B参数的基础语言模型的集合。它在数万亿的文本tokens上训练的模型，并表明在不求助于专有和不可访问的数据集，而仅...
-
Whisper、React 和 Node 构建语音转文本 Web 应用程序
在本文中，我们将使用 OpenAI 的 Whisper 以及 React、Node.js 和 FFmpeg 构建一个语音转文本应用程序。该应用程序将获取用户输入，使用 OpenAI 的 Whisper API 将其合成为语音，并输出结果文本。Whisper...
-
大语言模型之十五-预训练和监督微调中文LLama-2
这篇博客是继《大语言模型之十二 SentencePiece扩充LLama2中文词汇》、《大语言模型之十三 LLama2中文推理》和《大语言模型之十四-PEFT的LoRA》 前面博客演示了中文词汇的扩充以及给予LoRA方法的预训练模型参数合并，并没有给出Lo...
-
json.decoder.JSONDecodeError: Unterminated string starting at: line 1 ... - Stable Diffusion报错解决方案
Stable Diffusion提示JSONDecodeError错误 错误内容 解决方案 错误内容 ... File "C:\stable-diffusion-webui\modules\sd_models.py", line...
-
Stable Diffusion WebUI使用python调用WD 1.4标签器（tagger），获取并处理标签tag权重
Stable Diffusion为秋叶大佬的绘世2.2.4 webUI api后台：http://127.0.0.1:7860/docs 数据获取结果，python代码在文章尾部 1girl: 0.9883618950843811, 98% so...
-
使用LoRA对大语言模型LLaMA做Fine-tune
使用LoRA对大语言模型LLaMA做Fine-tune 前言 下载 配置环境 模型的训练 Fine-tune 模型的使用 Inference 参考 问题汇总 前言 目前有大量对LLM（大语言模型）做Fine-tune的方式，不...
-
LLaMA加载时遇见：ValueError: Tokenizer class LLaMATokenizer does not exist or is not currently imported.
在加载LLaMA模型时遇到到的问题及解决方法。 1. 问题1 解决方法：找到llama模型中的tokenizer_config.json文件，把“tokenizer_class”对应的“LLaMATokenizer”改为“LlamaTokenize...
-
语音识别模型whisper的参数说明
一、whisper简介： Whisper是一种通用的语音识别模型。它是在各种音频的大型数据集上训练的，也是一个多任务模型，可以执行多语言语音识别、语音翻译和语言识别。 二、whisper的参数 1、-h, --help 查看whisper的参数...
-
【AIGC】spring+openAI轻松生成图片
ChatGPT 是由 OpenAI 开发的强大语言模型，可以用于生成类似人类的文本。OpenAI API 允许开发人员访问该模型并在其自己的应用程序中使用。在本文中，我们将讨论如何使用 Java Spring Framework 与 OpenAI API...
-
stable-diffusion官方版本地复现手册（2023年4月10日）
stable diffusion v1.4官方版（CompVis）本地复现手册 主页：https://github.com/wjxpro 邮箱：804359553@qq.com 文章目录 **stable diffusion v1...
-
快速训练自己的大语言模型：基于LLAMA-7B的lora指令微调
目录 1. 选用工程：lit-llama 2. 下载工程 3. 安装环境 4. 下载LLAMA-7B模型 5. 做模型转换 6. 初步测试 7. 为什么要进行指令微调？ 8. 开始进行指令微调 8.1. 数据准备 8.2 开始模型训练 8.3...
-
Java接入文心一言
文章目录 文心一言应用创建 接口对接 接口文档 代码示例 依赖 常量类 实体类 结束语 文心一言应用创建 首先需要先申请文心千帆大模型，申请地址：文心一言 (baidu.com ，点击加入体验，等通过审核之后就可以进入文心千帆...
-
文心一言插件开发全流程，ERNIE-Bot-SDK可以调用文心一言的能力
文心一言插件开发 前言 插件 插件是什么 工作原理 申请开发权限 开始 第一步：安装python 第二步：搭建项目 manifest 描述文件：ai-plugin.json 插件服务描述文件：openapi.yaml 开发自己的plug...
-
LLama 2部署教程+私有模型分发
近日，Meta发布了LLama的最新版本——LLama2，尽管其对中文的处理能力尚有待提升，但其整体表现无疑是令人瞩目的。在发布当天，我便迫切地将其下载下来进行试用，发现相比之前的版本，LLama2在多个方面都实现了显著的进步，特别是在编程能力上的提升更为...
-
llama.cpp一种在本地CPU上部署的量化模型（超低配推理llama）
0x00 背景 前不久，Meta前脚发布完开源大语言模型LLaMA， 随后就被网友“泄漏”，直接放了一个磁力链接下载链接。 然而那些手头没有顶级显卡的朋友们，就只能看看而已了 但是 Georgi Gerganov 开源了一个项目llama.cpp...
-
stable diffusion webui 文生图（txt2img）api接口调用（使用C#）
唠嗑 本次将跟读者讲一下如何通过C#请求sd webui api 【txt2img】接口，如果读者觉得文章有用，请给【点个赞】吧，有问题可以评论区提问。 实战 1.配置api启用参数 启动webui时，需加上【–api】 命令以保证api接口...
-
百度智能云：千帆大模型平台接入Llama 2等33个大模型，上线103个Prompt模板
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
ChatGPT 挂了一整天了，已经习惯了用大模型的我怎么办
OpenAI 挂了，已经习惯了用大模型的我怎么办 OpenAI 挂了，急，在线等。 你是不是已经习惯了 ChatGPT 的存在？是不是感觉离了 ChatGPT 寸步难行，很难再进行自己的工作？今天 ChatGPT 大面积宕机，服务直到文章发布（下午5点...
-
Stable-diffusion安装时Can‘t load tokenizer for ‘openai/clip-vit-large-patch14‘问题解决
Can’t load tokenizer for 'openai/clip-vit-large-patch14’问题解决. 如果你在安装stable-diffusion的时候遇到了这个问题，可以下载本博客的绑定资源，然后修改项目中的文件地址就可以了。...
-
【AIGC】Baichuan2-13B-Chat模型微调
环境 微调框架：LLaMA-Efficient-Tuning 训练机器：4*RTX3090TI (24G显存 python环境：python3.8, 安装requirements.txt依赖包 一、Lora微调 1、准备数据集 2、训...
-
ChatGPT开源平替(2)llama
最近，FacebookResearch 开源了他们最新的大语言模型 LLaMA，训练使用多达14,000 tokens 语料，包含不同大小参数量的模型 7B、13B 、30B、 65B，研究者可以根据自身算力配置进行选择。 ...
-
SuperCLUE：GPT-4 Turbo中文基准评测领先国内最强模型超过30分
GPT-4Turbo 是 OpenAI 发布的最新 ChatGPT 模型，具有128K 上下文和训练数据知识截止至2023年4月。 SuperCLUE表示，GPT-4Turbo在 SuperCLUE-OPEN 中文通用大模型综合性评测基准上，取得了总分98...
-
stable diffusion API 调用，超级详细代码示例和说明
本文主要介绍 stable diffusion API 调用，准确来说是对 stable diffusion webui 的 API 调用。接口文档可以查看： http://sd-webui.test.cn/docs 这里的 sd-webui...