-
Python爬虫从入门到应用（超全讲解）
目录 前言 1. 基本知识 2. HTTP请求和相应 2.1 HTTP请求 2.2 HTTP响应 3. request库 4. HTML解析 4.1 find( 和 find_all( 4.2 get_text( 4.3 selec...
-
【stable diffusion】ComfyUI扩展安装以及”127.0.0.1拒绝了我们的连接请求“解决记录
目录 扩展安装 ”127.0.0.1拒绝了我们的连接请求“解决记录 操作1 操作2 操作3 操作4 总结 扩展安装 虽然大家都推荐将扩展包直接放到extension文件夹的...
-
【内网穿透】如何本地搭建Whisper语音识别模型并配置公网地址
个人名片 ?作者简介：java领域优质创作者 ?个人主页：码农阿豪 ?工作室：新空间代码工作室（提供各种软件服务） ?个人邮箱：[2435024119@qq.com] ?个人微信：15279484656 ?个人导航网站：www.forff.top ?座右铭...
-
Streaming local LLM with FastAPI, Llama.cpp and Langchain
题意： 使用FastAPI、Llama.cpp和Langchain流式传输本地大型语言模型 问题背景： I have setup FastAPI with Llama.cpp and Langchain. Now I want to enable...
-
微软 Phi-3.1 Mini (3.8B)：刚刚进行了疯狂升级（击败 Llama-3 和 Qwen2）
微软 Phi-3.1 Mini (3.8B ：刚刚进行了疯狂升级（击败 Llama-3 和 Qwen2） 原创 Aitrainee AI进修生 2024年07月06日 15:16 湖南 Aitrainee | 公众号：AI进修生 ?这...
-
AIGC爬虫实战（一）
前言 传统的网络爬虫系统效率较低且难以应对复杂多变的网页环境 基于AIGC技术的智能化爬虫,则可以大幅提升爬虫的自主性和适应性,从而更高效地完成网络数据的采集和分析任务 本文将通过一系列实战案例,深入探讨AIGC技术在网络爬虫开发中的具体应用...
-
Java集成stable diffusion 的方法
在Java中直接集成Stable Diffusion模型（一个用于文本到图像生成的深度学习模型，通常基于PyTorch或TensorFlow）是非常具有挑战性的，因为Java本身并不直接支持深度学习模型的运行。不过，我们可以通过JNI（Java Nativ...
-
推荐8款超实用的ComfyUI绘画插件，帮助我们的AI绘画质量和效率提升几个档次！
前言 大家在使用SD绘画过程中，想必见识到了插件的强大功能，本身纯净版的SD界面是相对简洁的，但是搭配了各种插件后，界面标签栏会增加很多，相应的功能也增加了。 从简单的中文界面翻译插件，到强大的controlnet图形控制插件，都极大的方便了使用者，...
-
未来已来：为TARS机器人搭载文心一言AI大模型的完整开发流程
集成百度文心一言（Ernie Bot）的步骤类似于集成ChatGPT。下面是集成文心一言的大模型的详细开发思路： 1. 确定项目需求和目标 明确项目需求和目标，包括： 机器人需要具备的功能 需要处理的主要任务和场景 用户群体 系统性能指标和可扩展性...
-
零代码教你安装部署Stable Diffusion 3，一键生成高质量图像
本文分享自华为云社区《重磅！【支持中文】stable-diffusion-3安装部署教程-SD3 来了》，作者：码上开花_Lancer。 正如承诺的那样，Stability AI在6月12日正式开源了Stable Diffusion 3（Medium版本...
-
LLaMA-Factory在华为显卡上的实验记录
如何判断目前所选择的模型是否支持 LLaMA-Factory/src/llamafactory/data/template.py 在项目的这个地址中会有不同模型的支持模版。 这里用目前我最常用的两个模型举例子 一个是智谱的glm4-9B模型 _regi...
-
自定义 LLM：LangChain与文心一言擦出火花
自定义 LLM 自定义 LLM 需要实现以下必要的函数： _call ：它需要接受一个字符串、可选的停用词，并返回一个字符串。 它还可以实现第二个可选的函数： _identifying_params ：用于帮助打印 LLM 信息。该函数应该返回...
-
Fastgpt接入Whisper本地模型实现语音输入
前言 FastGPT 默认使用了 OpenAI 的 LLM 模型和语音识别模型，如果想要私有化部署的话，可以使用openai 开源模型Whisper。参考文章 《openai 开源模型Whisper语音转文本模型下载使用》 开源项目地址 ： 兼容op...
-
[AI 大模型] 百度 文心一言
文章目录 [AI 大模型] 百度 文心一言 简介 模型架构 发展 新技术和优势 API 代码示例 [AI 大模型] 百度 文心一言 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0DwAIh0...
-
百度智能云升级：接入33个大模型，Llama 2引领创新，103个Prompt模板上线
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业...
-
JS逆向批改网实现自动提交作文 调用文心一言API自动生成作文
前天熬了个大夜，下午一点才起，一听到舍友说又要写那个恶心的批改网，气得我直接写了个脚本自动把所有未完成的作文秒杀，话不多说直接开始分析。 一.登陆前的cookies处理 清空网站的所有本地存储，会话存储和cookies，并刷新 可以看到多出了两个...
-
anytext_pytorch AIGC 可以用于生成多语言文字图像算法模型
AnyText 论文 AnyText: Multilingual Visual Text Generation And Editing https://arxiv.org/abs/2311.03054 模型结构 模型由4部分构成，分别是Auxili...
-
llama-factory学习使用笔记
想要对开源的llama大模型，针对自己的数据进行微调，这里推荐llama-factory项目，LLama Factory，这个工具能够高效且低成本地支持对 100 多个模型进行微调。LLama Factory 简化了模型微调的过程，并且易于访问...
-
一款基于百度文心一言的商品评论智能回复Chrome插件
一、引言 在上次小弟发布了一款基于openai大模型的Chrome网页插件后，有许多朋友向我提意见，表示这个插件需要翻墙，对于真正的小白还是有些不友好。因此这次我花了两个通宵，完成了一款基于百度文心一言大模型的网页插件的创作。本文将以作为一款商品评论的智...
-
unity 接入百度API——AI作画
完整代码下载地址：https://download.csdn.net/download/weixin_43703390/89179785 打不开就是还在审核中… 账号注册创建模块： 1.打开百度智能云官网:[https://cloud.baidu.c...
-
SpringBootWeb 篇-深入了解会话技术与会话跟踪三种技术（Cookie 会话跟踪、Session 会话跟踪与 JWT 令牌会话跟踪）
?博客主页： 【小扳_-CSDN博客】 ❤感谢大家点赞?收藏⭐评论✍ 文章目录 1.0 会话技术 2.0 会话跟踪 2.1 会话跟踪 - Cookie 2.1.1 客户端...
-
Llama-factory源码详细解读
微调 采用逐行调试的方法，细节来看SFT代码 AutoModelForCausalLM...
-
LLAma-Factory框架详细使用方法-0.8.3版本
一、安装 LLaMA Factory git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git #拉取代码到本地 cd LLaMA-Factory #进入...
-
Python爬虫入门教程（非常详细）从零基础入门到精通，看完这一篇就够了
初学Python之爬虫的简单入门 一、什么是爬虫？ 1.简单介绍爬虫 爬虫的全称为网络爬虫，简称爬虫，别名有网络机器人，网络蜘蛛等等。 网络爬虫是一种自动获取网页内容的程序，为搜索引擎提供了重要的数据支撑。搜索引擎通过网络爬虫技术，...
-
使用LlamaFactory进行模型微调：参数详解
在深度学习和自然语言处理领域，模型微调是提升预训练模型性能的重要手段。本文将介绍如何使用LlamaFactory进行模型微调，并详细解析一些关键参数，包括 --cutoff_len 1024、--flash_attn auto、--lora_rank 8、...
-
[大模型]Llama-3-8B-Instruct FastApi 部署调用
环境准备 在 Autodl 平台中租赁一个 3090 等 24G 显存的显卡机器，如下图所示镜像选择 PyTorch-->2.1.0-->3.10(ubuntu22.04 -->12.1。 接下来打开刚刚租用服务器的 JupyterL...
-
Llama 3 模型微调的步骤
环境准备 操作系统：Ubuntu 22.04.5 LTS Anaconda3：Miniconda3-latest-Linux-x86_64 GPU： NVIDIA GeForce RTX 4090 24G Step 1. 准备conda环境 创...
-
Stable Diffusion ControlNet OpenPose | 以后出图姿势自由了！
接着进阶篇，前面我们学习了如何使用 ControlNet 的姿势约束，通过姿势约束控制出图的人物姿势和原图一致。 [ 但有的时候我们不仅仅是需要想要和原图姿势一致，还需要调整人物的姿势，想要实现这种功能按照之前学习的内容就只能通过不断的调整提示词来控制...
-
AI绘画Stable diffusion的SDXL模型超详细讲解，针不错！（含实操教程）
大家好，我是画画的小强 朋友们好，今天分享的是Stable diffusion的SDXL模型以及相关实操。 与之前的SD1.5大模型不同，这次的SDXL在架构上采用了“两步走”的生图方式： 以往SD1.5大模型，生成步骤为 Prompt → Ba...
-
python爬虫入门，10分钟就够了，这可能是我见过最简单的基础教学
一、基础入门 1.1什么是爬虫 爬虫(spider，又网络爬虫 ，是指向网站/网络发起请求，获取资源后分析并提取有用数据的程序。 从技术层面来说就是 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频）...
-
LLama-Factory大模型训练框架，基于自己数据集微调qwen7B模型实战
一，项目简介 LLama-Factory，大模型训练框架，支持多种模型，多种训练方式， 项目github地址：link 项目特色 多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baic...
-
【吐血整理】8款超实用的【Stable Diffusion】 ComfyUI绘画插件，帮助我们的AI绘画质量和效率提升几个档次！
大家在使用SD绘画过程中，想必见识到了插件的强大功能，本身纯净版的SD界面是相对简洁的，但是搭配了各种插件后，界面标签栏会增加很多，相应的功能也增加了。 从简单的中文界面翻译插件，到强大的controlnet图形控制插件，都极大的方便了使用者，也弥补了S...
-
“文心一言”的介绍配置安装，基本指令与高级用法
快速上手文心一言指令 文心一言是一个由百度开发的对话式人工智能助手，可以通过指令进行对话和任务执行。本文将详细介绍如何快速上手使用文心一言，包括其安装、基本指令、配置及高级用法。 目录 文心一言简介 安装文心一言 基本使用 3.1 基本指令 3...
-
在昇腾服务器上使用llama-factory对baichuan2-13b模型进行lora微调
什么是lora微调 LoRA 提出在预训练模型的参数矩阵上添加低秩分解矩阵来近似每层的参数更新，从而减少适配下游任务所需要训练的参数。 环境准备 这次使用到的微调框架是llama-factory。这个框架集成了对多种模型进行各种训练的代码，少...
-
Stable Diffusion 3 开源发布可下载体验
本文来自huggingface翻译 Stable Diffusion 3 Medium是一种多模态扩散变换器 (MMDiT 文本到图像模型，其在图像质量、排版、复杂提示理解和资源效率方面的性能有极大提升。 有关更多技术细节，请参阅研究论文。 请注意：此...
-
使用LLaMA-Factory微调Llama3大模型
一、基础模型下载 本文的背景是微调一个基于Llama3的中文版模型Llama3-8B-Chinese-Chat，用于中文指定领域的问答下游任务 1、HuggingFace官网直接下载 官网地址：https://huggingface.co/mo...
-
从0到1，为ASP.NET Core项目添加redis支持（全程使用copilot编码）
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、需求背景 二、询问copilot工作流 1.简单询问 2.细节询问 3.代码定制化 三、最终验证 总结 前言 最近做需求需要用到...
-
Windows系统电脑本地部署语音转文本服务Whisper Web结合cpolar内网穿透远程访问使用
文章目录 前言 1.本地部署Whisper Web 1.1 安装git 1.2 安装Node.js 1.3 运行项目 2. Whisper Web使用介绍 3. 安装Cpolar内网穿透 4. 配置公网地址 5. 公网访问测试 6. 配置固...
-
超简单！用AWS的Bedrock对Llama进行微调
哎，微调？听起来超难的！ 对吧。不过，用Amazon Bedrock的话，其实挺简单的。 Customize models in Amazon Bedrock with your own data using fine-tuning and conti...
-
第二十篇-推荐-纯CPU(E5-2680)推理-llama.cpp-qwen1_5-72b-chat-q4_k_m.gguf
环境 系统：CentOS-7 CPU： Intel® Xeon® CPU E5-2680 v4 @ 2.40GHz 14C28T 内存： 48G DDR3 依赖安装 make --version GNU Make 4.3 gcc --versi...
-
【LLM教程-llama】如何Fine Tuning大语言模型？
今天给大家带来了一篇超级详细的教程,手把手教你如何对大语言模型进行微调(Fine Tuning ！（代码和详细解释放在后文） 目录 大语言模型进行微调(Fine Tuning 需要哪些步骤？ 大语言模型进行微调(Fine Tuning 训练过程及代码...
-
零基础入坑爬虫—Python网络爬虫的应用实战以及数据采集
前言 简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前； 博主今天有个小目标—带领大家正式入坑爬虫！ 想要学习爬虫却一...
-
基于 Paimon 的袋鼠云实时湖仓入湖实战剖析
在当今数据驱动的时代，企业对数据的实施性能力提出了前所未有的高要求。为了应对这一挑战，构建高效、灵活且可扩展的实时湖仓成为数字化转型的关键。本文将深入探讨袋鼠云数栈如何通过三大核心实践------ChunJun 融合 Flink CDC、MySQL 一键入...
-
llama-factory训练RLHF-PPO模型
理论上RLHF（强化学习）效果比sft好，也更难训练。ppo有采用阶段,步骤比较多,训练速度很慢. 记录下工作中使用llama-factory调试rlhf-ppo算法流程及参数配置,希望对大家有所帮助. llama-factory版本: 0.8.2...
-
Stable Diffusion | ComfyUI API 工作流自动优化
ComfyUI 可直接保存生图工作流为 API 格式，但该 API 格式文本行数较多且节点顺序与逻辑执行顺序不一致，不利于编写或修改 API 的调用代码。 在上一篇文章 Stable Cascade | ComfyUI API 工作流格式优化 中介绍了...
-
如何使用共享GPU平台搭建LLAMA3环境（LLaMA-Factory）
0. 简介 最近受到优刻得的使用邀请，正好解决了我在大模型和自动驾驶行业对GPU的使用需求。UCloud云计算旗下的[Compshare](https://www.compshare.cn/? ytag=GPU_lovelyyoshino_Lcsdn_...
-
Python爬虫教程，从入门到成神
文章目录 文末有福利 前言 一、为什么使用Python进行网络爬虫？ 二、判断网站数据是否支持爬取 三、requests 库抓取网站数据 1.如何安装 requests 库 四、爬虫的基本原理 五、使用 GET 方式抓取数据 六、使用 P...
-
开源探索时刻！在LLaMA-Factory上实现GLM-4和Qwen2的工具格式化
众所周知，如今的大模型大多是使用通用数据训练得出，因此在不同场景和专业领域的效果还有待改进。于是就衍生出了现如今广泛使用的微调技术，由于笔者现在所在的项目同样是与大模型打交道，也就不可避免地盯上了LLaMA-Factory。 那究竟什么是LLaMA-...
-
LLaMA-Factory实战推理
LLaMA-Factory官网：https://github.com/hiyouga/LLaMA-Factory 安装环境 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaM...
-
【ComfyUI】Stable Diffusion 3 加Controlnet
基于 instantX-research/diffusers_sd3_control: ? Diffusers: State-of-the-art diffusion models for image and audio generation in PyT...