-
爬虫技术探秘：博客园爬虫实践与详解
随着互联网技术的飞速发展，网络数据成为了信息时代最宝贵的资源之一。获取并有效分析这些数据，对于个人学习、学术研究乃至商业决策都具有重要意义。爬虫作为一种自动化获取网络数据的工具，越来越受到人们的关注。本文以“博客园爬虫”为例，将详细介绍爬虫的原理、设计实现...
-
自定义数据集使用llama_factory微调模型并导入ollama
本文所有操作均在linux系统下完成 llama_factory安装 参考github的安装命令 git clone https://github.com/hiyouga/LLaMA-Factory.git conda create -n llama...
-
全球首台生物计算机开放服务：16个人脑类器官，能耗节省百万倍
科幻小说《三体》中，为了支撑科技的发展，人类提出了几种下一代计算机的方案，其中除了传统的冯诺依曼架构，还包括量子计算机和生物计算机。其中量子计算的概念现在已有大量研究，生物计算的研究却少有报道。 近日，一家瑞士初创公司 FinalSpark 发布了全球首...
-
计算机网络面试知识点总结宝妈在家就能做的副业，AI绘画项目，Python开发面试技巧
4. 定时发布与矩阵运营 为了最大化效果，你可以选择在用户活跃度较高的时间段（如中午、傍晚、晚上）发布作品。此外，可以通过多账号矩阵运营，进一步扩大影响力。 以上就是全部的制作流程，我还录制了一份全流程视频，需要的可以私信我免费领取： 三、AI绘...
-
秋叶Stable diffusion的创世工具安装-带安装包链接
来自B站up@秋葉aaaki，近期发布了Stable Diffusion整合包v4.7版本，一键在本地部署Stable Diffusion！！ 适用于零基础想要使用AI绘画的小伙伴~本整合包支持SDXL，预装多种必须模型。无需安装git、python、cu...
-
教程：利用LLaMA_Factory微调llama3:8b大模型
一、安装llama模型文件 下载地址（魔塔）：https://modelscope.cn/models/LLM-Research/Meta-Llama-3-8B-Instruct/files 点击下载模型，复制git命令： git clone htt...
-
【Stable Diffusion系列】（一）：AI绘画本地部署教程
目录 一、总览 二、本地部署 1、安装cuda 2、安装python 3、安装git 4、方法一 1）获取安装包 2）update 3）run 5、方法二 1）git clone 2）双击webui-user.bat 3）更...
-
帝国CMS文章爬虫探索与实战
随着互联网信息的爆炸式增长，如何高效地获取和整合相关内容，已成为诸多行业关注的焦点。而内容管理系统（CMS）作为信息汇聚和发布的重要平台，其数据价值不言而喻。帝国CMS作为国内知名的CMS系统之一，广泛应用于各类网站建设中。本文将以帝国CMS为例，深入探讨...
-
浅谈AIGC：人工智能的iPhone时刻，还是普通人至暗时刻？
2022年，当AI开始绘画的时候，很多设计师们觉得没什么。当AI开始生成代码的时候，很多程序员也觉得没什么。当ChatGPT出现的时候，才将AIGC这一领域彻底引爆。被称为AI届的『iPhone时刻』。 ChatGPT对搜索引擎领域冲击巨大，百度仓皇...
-
在Mac电脑上本地部署Llama大型语言模型
Llama大型语言模型以其出色的性能和广泛的应用场景，吸引了众多NLP研究者和开发者的关注。在Mac电脑上本地部署Llama模型，可以让我们更加便捷地利用这一强大工具进行各种NLP任务。本文将详细介绍在Mac电脑上本地部署Llama模型的步骤和注意事项。...
-
Llama 3 Agent 能力体验+微调
Llama 3 Agent 能力体验+微调（Lagent 版） 微调过程 本次实验基于AutoDL平台使用A40显卡做的实验，使用 XTuner 在 Agent-FLAN 数据集上微调 Llama3-8B-Instruct，以让 Llama3-8B...
-
最简单的Stable Diffusion 本地部署教程
为了在本地成功部署Stable Diffusion，你需要遵循一系列详细的步骤，确保所有必要的硬件和软件环境都被正确配置。以下是一个全面的教程，帮助你从零开始搭建Stable Diffusion的运行环境。 1. 硬件和软件环境准备【1】【5】 在开...
-
探秘Python网页爬虫：原理、实践与未来趋势
在当今信息化社会，数据已成为重要的资源，而网页作为数据的主要载体之一，蕴含着海量有价值的信息。为了能够高效、准确地从网页中提取出所需数据，网页爬虫技术应运而生。其中，Python凭借其简洁易懂的语法和丰富的第三方库，成为了构建网页爬虫的绝佳选择。本文将围绕...
-
AI大模型日报#0418：Stable Diffusion 3开放API、Meta新研究让AI Agent理解物理世界
导读： 欢迎阅读《AI大模型日报》，内容基于Python爬虫和LLM自动生成。目前采用“文心一言”生成了每条资讯的摘要。标题: 微软刚发布了VASA-1 这个人工智能可以让单张图像具有生动的说话和歌唱能力 摘要: 微软发布了VASA-1人工智能，...
-
轻薄本没有独立显卡如何运行stable diffusion
众所周知，Stable Diffusion WebUI 使用 GPU 模式运行。 一：检查自己显卡 打开任务管理器或者win+R 输入dxdiag 查看自己显卡状态 很明显一般轻薄本只会带有集显，不能满足stable diffusion要求所以我...
-
基于Whisper语音识别的实时视频字幕生成 (一): 流式播放视频帧和音频帧
Whishow 一款基于python的音视频在线播放器 1. 安装 pip install whishow 2. 用法 示例 1: 简单上手 cmd: python -m whishow <video_path_...
-
探究Python语言在网络数据爬虫领域的应用与实践
在现今数字化时代，互联网数据量呈现爆炸式增长，有效地从海量数据中提取有价值的信息成为了重要的技能。这种技能的一个关键组成部分就是网络数据爬虫。而Python语言凭借其简洁明快的语法、丰富的第三方库以及强大的数据处理能力，日益成为网络数据爬虫领域的首选工具。...
-
Stable Diffusion（1.8.0）本地部署实战指南
目录 检查电脑环境 下载开源项目 配置运行环境 问题处理 基础模型下载 检查电脑环境 启动CMD命令窗。 如上图，在CMD窗口输入python命令，可查看本地安装的python版本信息等。输入exit( 退出python命...
-
【AIGC大模型】跑通wonder3D （windows）
这两天看了AI大神李某舟被封杀，课程被下架的新闻，TU商 认为：现在这种玩概念、徒具高大上外表却无实质内容的东西太多了，已经形成一种趋势和风潮，各行各业各圈层都在做大做强这种势，对了，这种行为的学名叫宣传，俗名叫营销，花名叫忽悠，真名叫骗人。老老实实做事...
-
5个国内优秀的AI绘画工具，一句话就能生成精美图片，太厉害了_国内ai生成图片
先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7 深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！ 因此收集整理了一份《2024年最新Python全套学习资...
-
stable diffusion webui的本地部署
操作系统：windows10，显卡：RTX2060super ，安装时间：2024年3月30日，磁盘占用：20G，+科学上网 安装过程及本文部段落来自： https://github.com/AUTOMATIC1111/stable-diffu...
-
llama-factory SFT系列教程 (二)，大模型在自定义数据集 lora 训练与部署
文章目录 简介 支持的模型列表 2. 添加自定义数据集 3. lora 微调 4. 大模型 + lora 权重，部署 问题 参考资料 简介 文章列表： llama-factory SFT系列教程 (一 ，大模型 API 部署与...
-
Llama 3大模型发布！快速体验推理及微调
Meta，一家全球知名的科技和社交媒体巨头，在其官方网站上正式宣布了一款开源的大型预训练语言模型——Llama-3。 据了解，Llama-3模型提供了两种不同参数规模的版本，分别是80亿参数和700亿参数。这两种版本分别针...
-
sd软件下载安装教程（Stable Diffusion绘画软件配置要求）
Stable Diffusion（SD）是一款基于文本生成图像的AI绘画工具，它对电脑硬件有一定的要求。以下是SD绘画软件的配置要求： 1. 显卡（GPU）： 显卡是SD运行的关键，需要一张性能足够强大的独立显卡来提供算力进行绘制。 支持的...
-
llama-factory SFT系列教程 (一)，大模型 API 部署与使用
文章目录 背景 简介 难点 前置条件 1. 大模型 api 部署 下一步阅读 背景 本来今天没有计划学 llama-factory，逐步跟着github的文档走，发现这框架确实挺方便，逐渐掌握了一些。 最近想使用 SFT 微调大模...
-
AIGC，ChatGPT总结Excel中最强查找函数XLOOKUP用法
众所周知经常使用表格的人都知道，最新查找函数XLOOKUP将替代VLOOKUP函数，成为Excel中最强的查找函数。 今天我们就来总结一下XLOOKUP函数的具用法。 首先我们先使用AIGC ,ChatGPT来介绍一下XLOOKUP函数的功能与作用。...
-
Stable Diffusion的安装和问题解决（附安装包和大模型）
小时候比较喜欢画画，如今AI盛行，各种绘画工具层出不穷，网上也看了很多，stable diffusion（sd）和midjunery（mj）算是主流，国内的文心、天工、甚至抖音什么的，我也尝试过，但是总的来说，跟sd和mj相比真的不好用。后来我找了网上一些...
-
完全指南：在MacOS M1上安装Stable Diffusion WebUI，零基础也能上手。
“ Stable Diffusion WebUI是一个开源界面，可以让用户轻松使用Stable Diffusion模型来生成图像。本教程将指导你在MacOS M1系统上安装和运行Stable Diffusion WebUI。” 关注 01 引言...
-
你想要的照片，AI都能帮你画出来：记录Stable Diffusion的力量
目录 前言 一、配置软件环境（可以跳过直接看第二部分效果图） 1.启动界面 二、解锁新功能 2.1 开源模型的获取 三、如何生成细节更加可控的内容呢？ 3.1 充分利用prompt: 3.2 词不达意时，充分使用lora 3.2 使用多个lo...
-
ahimo从入门到精通：芒果商城系统爬虫全解析
在当今信息化飞速发展的时代，数据资源显得尤为重要。许多企业和个人为了获取所需数据，常常会借助于爬虫技术。而“芒果商城系统爬虫”便是其中之一，它能够针对芒果商城进行数据爬取，为用户提供丰富的商品信息和市场行情。本文将深入探讨芒果商城系统爬虫的实现原理、应用场...
-
付费使用GitHub Copilot半年，我残了吗？
有些程序员担心使用AI编程助手来写程序，自己会残掉 代码都不写了，你还是程序员吗？ 手生脚慢，你怕是只会写hello word了吧？ 接下来我用自己的亲身经验，告诉你答案。 ---- 购买记录 ---- 2023年7月17号，我付费100...
-
llama-factory/peft微调千问1.5-7b-chat
目标 使用COIG-CQIA数据集和通用sft数据集对qwen1.5-7b-chat进行sft微调，使用公开dpo数据集进行dpo对齐。学习千问的长度外推方法。 一、训练配置 使用Lora方式, 将lora改为full即可使用全量微调。具体的参数...
-
Llama 3开源！手把手带你推理，部署，微调
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总合集 《大模型面试...
-
【AIGC】本地部署通义千问 1.5 (PyTorch)
今天想分享一下 Qwen 1.5 官方用例的二次封装（ huggingface 说明页也有提供源码），其实没有太多的技术含量。主要是想记录一下如何从零开始在不使用第三方工具的前提下，以纯代码的方式本地部署一套大模型，相信这对于技术人员来说还是非常有用的。...
-
深入探究Python网络数据爬虫技术
在当今信息爆炸的时代，数据作为一种重要的资源，其获取与分析能力已成为个人和企业竞争力的关键。而网络数据爬虫，作为一种能够自动抓取网络信息的工具，日益显现出其强大的作用。本文将深入探究Python网络数据爬虫技术，分析其原理、方法、应用场景以及面临的挑战。一...
-
Llama 3 开源了「GitHub 热点速览」
近日，Meta（原 Facebook）开源了他们公司的新一代大模型 Llama 3，虽然目前只放出了 8B 和 70B 两个版本，但是在评估结果上已经优于 Claude 3 Sonnet、Mistral Medium 和 GPT-3.5 等大模...
-
【优质书籍推荐】AIGC时代的PyTorch 深度学习与企业级项目实战
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
实战whisper第二天：直播语音转字幕（全部代码和详细部署步骤）
直播语音实时转字幕： 基于Whisper的实时直播语音转录或翻译是一项使用OpenAI的Whisper模型实现的技术，它能够实时将直播中的语音内容转录成文本，甚至翻译成另一种语言。这一过程大致分为三个步骤：捕获直播音频流、语音识别（转录）以及翻译（如...
-
LLaMA-Factory微调（sft）ChatGLM3-6B保姆教程
LLaMA-Factory微调（sft）ChatGLM3-6B保姆教程 准备 1、下载 下载LLaMA-Factory 下载ChatGLM3-6B 下载ChatGLM3 windows下载CUDA ToolKit 12.1 （本人是在w...
-
Llama 3 开源！手把手带你进行大模型推理，部署，微调和评估
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 基于大模型实践和技术交流，我...
-
Mojo崛起：AI-first 的编程语言能否成为新流行？
作者 | James Thomason 编译 | 伊风 出品 | 51CTO技术栈（微信号：blog51cto） 眨眼之间，你可能会错过又一种编程语言的发明。 有个笑话说，程序员花费20%的时间编写代码，80%的时间决定使用什么语言。 事实上，编程语言如...
-
Stable-Diffusion 报错： no attribute ‘lowvram‘ 或not implemented for ‘Half‘
AttributeError: ‘NoneType‘ object has no attribute ‘lowvram‘； RuntimeError: “addmm_impl_cpu_” not implemented for ‘Half’ 进入stabl...
-
llama3 微调教程之 llama factory 的 安装部署与模型微调过程，模型量化和gguf转换。
本文记录了从环境部署到微调模型、效果测试的全过程，以及遇到几个常见问题的解决办法，亲测可用（The installed version of bitsandbytes was compiled without GPU support. NotImpleme...
-
[stable diffusion] 错误：RuntimeError: Found no NVIDIA driver on your system. Please check that ...
错误：RuntimeError: Found no NVIDIA driver on your system. Please check that you have an NVIDIA GPU and 因为我电脑没有英伟达显卡所以遇到这个错误，可以改用...
-
国内免费AI编程助手通义灵码：AI人工智能写代码 开发效率提升10倍
对于很多开发者来说，已经开始借助AI智能编码助手提升自己的开发效率。本文为大家分享一款国内好用的AI编程工具通义灵码。 据官方介绍，通义灵码是国内用户规模第一的智能编码助手，基于 SOTA 水准的通义千问代码模型 Code-Qwen1.5研发，插件下载量已...
-
如何使用代理ip服务高效采集最新AIGC前沿信息
目录 前言 一、代理ip介绍以及面临的挑战 二、获取AIGC前沿信息缺口 1、最新AIGC前沿信息来源 2、确定关键字 3、可能涉及到的字段 三、使用代理ip抓取数据 1、选择代理ip服务 2、如何使用BrightData代理ip抓取数据...
-
Stable Diffusion Windows本地部署超详细教程（手动+自动+整合包三种方式）
一、 Stable Diffusion简介 2022年作为AIGC（Artificial Intelligence Generated Content）时代的元年，各个领域的AIGC技术都有一个迅猛的发展，给工业界、学术界、投资界甚至竞赛...
-
Python爬虫入门(一)（适合初学者）
Python爬虫入门(一 （适合初学者） 关于爬虫是什么，怎样保证爬虫的合法性小编在这就不再过多的阐述，从本章起，小编将和大家一起分享在学习python爬虫中的所学，希望可以和大家一起进步，也希望各位可以关注一下我！ 首先我们来初步了解下如何使用开发...
-
AI大模型探索之路-训练篇25：ChatGLM3微调实战-基于LLaMA-Factory微调改造企业级知识库
系列篇章? AI大模型探索之路-训练篇1：大语言模型微调基础认知AI大模型探索之路-训练篇2：大语言模型预训练基础认知AI大模型探索之路-训练篇3：大语言模型全景解读AI大模型探索之路-训练篇4：大语言模型训练数据集概览AI大模型探索之路-训练篇5：大...
-
使用自己的数据集训练DETR模型
众所周知，Transformer已经席卷深度学习领域。Transformer架构最初在NLP领域取得了突破性成果，尤其是在机器翻译和语言模型中，其自注意力机制允许模型处理序列数据的全局依赖性。随之，研究者开始探索如何将这种架构应用于计算机视觉任务，特别是...