-
Stable Diffusion安装和快速入门
文章目录 前言 环境要求 下载地址 安装Stable Diffusion 报错解决 下载模型 安装模型 运行 小结 前言 之前一直是用liblib.art这个网站在线生图，但是总归不如在自己电脑上跑好用，于是在我没独显的轻薄本上装...
-
语音识别的未来已来：深入了解faster-whisper的突破性进展【高精度语音识别模型，完全免费开源】
faster-whisper简介 faster-whisper是基于OpenAI的Whisper模型的高效实现，它利用CTranslate2，一个专为Transformer模型设计的快速推理引擎。这种实现不仅提高了语音识别的速度，还优化了内存使用效率。f...
-
这个团队做了OpenAI没Open的技术，开源OpenRLHF让对齐大模型超简单
随着大型语言模型（LLM）规模不断增大，其性能也在不断提升。尽管如此，LLM 依然面临着一个关键难题：与人类的价值和意图对齐。在解决这一难题方面，一种强大的技术是根据人类反馈的强化学习（RLHF）。 但是，随着模型越来越大，RLHF 通常需要维持多个模型...
-
斯坦福让“GPU高速运转”的新工具火了，比FlashAttention2更快
AI算力资源越发紧张的当下，斯坦福新研究将GPU运行效率再提升一波—— 内核只有100行代码，让H100比使用FlashAttention-2，性能还要提升30%。 怎么做到的？ 研究人员从“硬件实际需要什么？如何满足这些需求？”这两个问题出发，设计了...
-
一夜暴富50亿，老黄新晋「流量明星」！英伟达市值破3万亿，超越苹果成全球第二
3万亿美元，英伟达市值再次创造历史！ 当地时间周三，股价涨超5%。现在的英伟达，已经成为全球第二大市值最高的公司，超越苹果，仅次微软。 距离世界第一，仅差一步之遥。 而上一次英伟达市值首超苹果，还是2002年。当时，两家公司的市值不到100亿美元。...
-
LightGBM实战+随机搜索调参：准确率96.67%
大家好，我是Peter~ 今天给大家分享一下树模型的经典算法：LightGBM，介绍算法产生的背景、原理和特点，最后提供一个基于LightGBM和随机搜索调优的案例。 LightGBM算法 在机器学习领域，梯度提升机（Gradient Boosting...
-
在OpenHarmony本地部署大语言模型
本文将第二届OpenHarmony技术大会上展示的《在OpenHarmony本地部署大语言模型》成果开源，开源地址：https://gitee.com/openharmony-sig/tpc_c_cplusplus/blob/master/thirdp...
-
英特尔牙膏挤爆：功耗降40%、AI算力120TOPS，你的下一代笔记本没有内存条了
英特尔为了AI，再次做出重大架构变革： 像手机一样搞起SoC（系统级芯片），你的下一台笔记本不会再有独立内存条。 刚刚推出的新一代AI PC低功耗移动平台架构Lunar Lake，采用全新MoP（Memory on Package）封装，片上集成16或3...
-
Stable Diffusion安装（非秋叶包一键部署）
Stable Diffusion安装与配置详细步骤 一 、下载前置资源 下载CUDA 1. 查看CUDA版本 通过以下命令查看CUDA版本： nvidia-smi 复制 确保CUDA版本符合要求。 2. 下载CUDA ...
-
LLM并发加速部署方案（llama.cpp、vllm、lightLLM、fastLLM）
大模型并发加速部署 解析当前应用较广的几种并发加速部署方案！ llama.cpp、vllm、lightllm、fastllm四种框架的对比： llama.cpp：基于C++，①请求槽，②动态批处理，③CPU/GPU混合推理 vllm：基于Pyth...
-
llama.cpp制作GGUF文件及使用
llama.cpp的介绍 llama.cpp是一个开源项目，由Georgi Gerganov开发，旨在提供一个高性能的推理工具，专为在各种硬件平台上运行大型语言模型（LLMs）而设计。这个项目的重点在于优化推理过程中的性能问题，特别是针对CPU环境。以...
-
【完整指南】如何在Visual Studio Code中轻松运行Llama 3模型？
Meta 发布了最新的开源语言模型Llama 3。因为它是开源的，你可以下载这个模型，并在自己的电脑上运行。 我清楚，你可能会想，在个人笔记本上运行一个拥有80亿参数的AI模型似乎只有技术高手才能做到。但别担心！这篇文章会提供一个简单的步骤指导，帮助每个...
-
部署基于内存存储的 Elasticsearch - 一亿+条数据，全文检索 100ms 响应
1. 在主机上挂载内存存储目录 创建目录用于挂载 mkdir /mnt/memory_storage 挂载 tmpfs 文件系统 mount -t tmpfs -o size=800G tmpfs /mnt/memory_storage 存储空间会按需使...
-
有哪些好的 Stable Diffusion 提示词（Prompt）可以参考？
看完这八种“提示词”种类，你也会Ai高质量出图！ 作为一个老法师，Prompt需要我们自己搜集，然后总结。很多人习惯于通过教程和模型来学习绘画，沿着别人预设的轨道前行，这样一开始没有错，但是长久缺乏自主思考和创造的能力，机械式的学习方式只会限制个人的表达...
-
AI绘图stable diffusion comfy ui的问题
这个是一个blender的节点方式运行comfy ui，但是出现了下面这个问题 （路径不含空格和中文，显卡1060/cpu7700hq） BlenderAI_Node Launch Time: 0.7201s BlenderAI_Node Re...
-
一文读懂如何基于 Ollama 在本地运行 LLM
为什么要使用 Ollama 开源项目 ? 在当今人工智能技术飞速发展的时代，大型语言模型(LLM 无疑已成为焦点炯炯的科技明星。自从ChatGPT的推出以来，其强大的自然语言理解和生成能力便惊艳了全球，成为人工智能商业化进程中的杰出代表。 然而，这一领域...
-
LlamaFactory源码解析 PPO
class CustomPPOTrainer(PPOTrainer, Trainer : r""" Inherits PPOTrainer. """ def __init__( self,...
-
苏妈杀疯了：移动端最强NPU算力达50TOPS，最强AI芯片挑战英伟达
一年一度的 Computex 科技大会成为了 GPU 厂商们秀肌肉的舞台，其中当属英伟达和 AMD 最为亮眼。英伟达现场拿出了量产版 Blackwell 芯片，还公布了未来三年的产品路线，包括下一代 Rubin AI 平台。 AMD 当然也不甘示弱，CE...
-
一文读懂如何基于Ollama在本地运行LLM
“Mixtral有46.7B的总参数，但每个令牌只使用12.9B参数。因此，它以与12.9B型号相同的速度和成本处理输入并生成输出。” 为什么要使用 Ollama 开源项目 ? 在当今人工智能技术飞速发展的时代，大型语言模型(LLM 无疑已成为焦点炯炯...
-
Stable Diffusion 安装教程（附安装包） 【SD三种安装方式，Win+Mac一篇文章讲明白】
“Stable Diffusion的门槛过高、不会安装？没关系，这篇文章教会你如何安装！”（文末扫码可直接获取免费安装包~） Stable Diffusion的安装部署其实并不困难，只需简单点击几下，几分钟就能安装好，不管是windows还是苹果mac电...
-
微软震撼发布Copilot+PC！真正意义上的AIPC时代已经到来！
5月20日，微软正式发布了 Copilot+ PC，这是全球首款专为 AI 设计的 Windows PC，也是 有史以来最快、最安全、功能最强大的 Windows PC Copilot+ PC 内置了 OpenAI 的 GPT-4o...
-
挑战英伟达！AMD亮出旗下最强AI芯片锐龙AI 300系列 算力达50TOPS
在一年一度的Computex科技大会上，GPU厂商们展示了他们的最新技术成果。其中，英伟达和AMD的表现尤为突出。 英伟达在会上展示了量产版的Blackwell芯片，并宣布了未来三年的产品路线图，包括下一代Rubin AI平台。而AMD的CEO苏姿丰则展示...
-
一年一款大更新，英伟达AI芯片能打破摩尔定律？
是的，正如黄仁勋在台北电脑展2024展前演讲中所说，生成式AI技术正在不知不觉中影响着我们的生活与工作。而早在2014年就提出CUDA（通用计算平台）概念的英伟达，已经尝到人工智能带给它的甜头。 市值从1万亿美元到2.7万亿美元，英伟达仅仅用了一年左右的时...
-
【AIGC】本地部署 ollama(gguf) 与项目整合
首先，先跟各位小伙伴说一句 Sorry 。上一篇文章《【AIGC】本地部署通义千问 1.5 (PyTorch 》并没有考虑企业成本问题，虽然代码可以跑通，但是中小型企业想通过该代码实现项目落地还是比较困难的。为此，本文将采用 GGUF 预量化大模型结合 O...
-
下代GPU会非常难买！黄仁勋敦促企业快买AI芯片 买越多越省钱
快科技6月3日消息，近日，黄仁勋公开表示称，下代GPU会非常难买，并希望企业买多一些自家的AI芯片。 黄仁勋预警，下一代GPU会非常难买。同时他还敦促企业采购更多AI芯片。 你买的越多，省的就越多。这就是所谓的CEO数学。虽然不准确，但却是正确的。”黄仁勋...
-
老黄一口气解密三代GPU！粉碎摩尔定律打造AI帝国，量产Blackwell解决ChatGPT全球耗电难题
想了解更多AIGC的内容， 请访问：51CTO AI.x社区 https://www.51cto.com/aigc/ 就在刚刚，老黄手持Blackwell向全世界展示的那一刻，全场的观众沸腾了。 它，是迄今为止世界最大的芯片！ 眼前的这块产品，凝聚着数...
-
我的stable-diffusion入门
开头 翻到一个感兴趣的帖子，然后开始了这段折腾 载下来用了，发现用的是cpu出图，慢的很，还是需要stable diffusion webui来做，所以就开始找资料 参考链接 找模型：https://civitai.com/https://hug...
-
JSP简介——[JSP]2
希望你开心，希望你健康，希望你幸福，希望你点赞！ 最后的最后，关注喵，关注喵，关注喵，大大会看到更多有趣的博客哦！！！ 喵喵喵，你对我真的很重要！ 目录 前言 JSP页面 设置web服务目录 1.根目录 2.webapps下的Web...
-
安装部署Stable Diffusion WebUI实现AI绘画
Stable Diffusion WebUI 安装部署 环境准备 下载代码 启动webu.sh 访问WebUI 其他异常 其他设置 开启VAE和CLIP 部分参数说明 安装插件 中文汉化插件 安装civitai插件 提示词插件 ol...
-
“全网最全”LLM推理框架集结营 | 看似微不足道，却决定着AIGC项目的成本、效率与性能!
00-前序 随着ChatGPT、GPT-4等大语言模型的出现，彻底点燃了国内外的学者们与企业家们研发LLM的热情。国内外的大语言模型如雨后春笋一般的出现，这些大语言模型有一部分是开源的，有一部分是闭源的。 伴随着大语言模型的出现，国...
-
玩转AI，笔记本电脑安装属于自己的Llama 3 8B大模型和对话客户端
2024 年 4 月 18 日，Meta开源了 Llama 3 大模型，把 AI 的门槛降低到了最低，这是人工智能领域的一个重要飞跃。我们个人也可以部署大模型了，这简直就是给个人开发者发了个大红包！Llama 3 模型有不同的参数版本，本文主要分享我在个人...
-
Stable Diffusion教程|快速入门SD绘画原理与安装
什么是Stable Diffusion，什么是炼丹师？根据市场研究机构预测，到2025年全球AI绘画市场规模将达到100亿美元，其中Stable Diffusion（简称SD）作为一种先进的图像生成技术之一，市场份额也在不断增长，越来越多的人参与到AI掘金...
-
RWKV 模型本地部署工具 Ai00 Server 保姆级教程
了解Ai00 简介 Ai00 Server 是基于 web-rwkv 推理引擎的 RWKV 语言模型推理 API 服务器。它本身也是一个基于 MIT 协议的开源软件，由 RWKV 开源社区成员 @cryscan 和@顾真牛牵头成立的 Ai00-x 开发...
-
阅读llama源码笔记_1
文章目录 总体逻辑 1 构造模型 2 定义数据 3 处理下游任务 1.构造模型 1.1构造分词器tokenizer 1.2构造Transformer 2.定义数据 3.处理下游任务 3.1分词（编码） 3.2 generate...
-
LLMs之LLaMA-3：Llama-3-70B-Gradient-1048k-adapter的简介、源代码解读merge_adapters.py(仅需58行代码)合并多个PEFT模型(LoRA技术)
LLMs之LLaMA-3：Llama-3-70B-Gradient-1048k-adapter的简介、源代码解读merge_adapters.py(仅需58行代码 合并多个PEFT模型(LoRA技术 将LLaMA-3扩展到100万/1048k上下文——解析...
-
AI时代CIO如何应对GPU匮乏
通过采用模型优先的心态、优化利用率和战略性地运用负载平衡，首席信息官可以缓解芯片短缺。 译自How CIOs Can Battle GPU Poverty in the Age of AI，作者 Liam Crilly。 人工智能时代的淘金热已经到来，但...
-
Windows11(非WSL)安装Installing llama-cpp-python with GPU Support
直接安装，只支持CPU。想支持GPU，麻烦一些。 1. 安装CUDA Toolkit (NVIDIA CUDA Toolkit (available at https://developer.nvidia.com/cuda-downloads 2...
-
whisper之初步使用记录
文章目录 前言 一、whisper是什么？ 二、使用步骤 1.安装 2.python调用 3.识别效果评估 4.一点封装 5.参考链接 总结 前言 随着AI大模型的不断发展，语音识别等周边内容也再次引发关注，通过语音转文字再与大模...
-
普通人在电脑上尝鲜AI技术的三种方式
TechWeb 文 / 新喀鸦 随着科技的飞速发展，人工智能（AI）已经不再是遥不可及的未来科技，而是逐步融入我们生活的各个角落。从智能家居的便捷操控，到线上服务的智能推荐，再到医疗、教育等行业的深度应用，AI正以其独特的魅力改变着世界。然而，对于许多普通...
-
SD(Stable Diffusion) 简易教程
最近给家里的小朋友用 SD(Stable Diffusion 生成卡通头像，顺便记录一下 SD 的基础使用教程。 教程目录 SD 安装与部署 认识模型和插件 基础使用教程 SD 安装与部署 SD 安装和部署可以分为本地和云端。本...
-
【ollama】（2）：在linux搭建环境，编译ollama代码，测试qwen大模型，本地运行速度飞快，本质上是对llama.cpp 项目封装
关于 ollama 项目 https://github.com/ollama/ollama/tree/main/docs https://www.bilibili.com/video/BV1oS421w7aM/ 【ollama】（2...
-
LightGBM算法背景、原理、特点+Python实战案例
大家好，我是Peter~ 今天给大家分享一下树模型的经典算法：LightGBM，介绍算法产生的背景、原理和特点，最后提供一个基于LightGBM和随机搜索调优的案例。 LightGBM算法 在机器学习领域，梯度提升机（Gradient Boosting...
-
【AIGC】Mac Intel 本地 LLM 部署经验汇总（CPU Only）
书接上文，在《【AIGC】本地部署 ollama(gguf 与项目整合》章节的最后，我在 ollama 中部署 qwen1_5-14b-chat-q4_k_m.gguf 预量化模型，在非 Stream 模式下需要 89 秒才完成一轮问答，响应速度实在是太...
-
Stable Diffusion整合包 安装教程！轻松解压，即刻体验！
这个整合包由Bilibili上著名的“秋葉aaaki”大神制作，支持NVIDIA显卡全系列加速。它预装了众多常用插件，使用时无需频繁设置，解压即可轻松使用。此外，软件界面已完全汉化，提供便捷的中文操作体验。它还是开源免费，一键安装，永久使用的。（文末扫码可...
-
使用 LLaMA Factory 微调 Llama-3 中文对话模型
原文：https://colab.research.google.com/drive/1d5KQtbemerlSDSxZIfAaWXhKr30QypiK?usp=sharing#scrollTo=gf60HoT633NY 请申请一个免费 T4 GPU 来...
-
仅用250美元，Hugging Face技术主管手把手教你微调Llama 3
ChatGPT狂飙160天，世界已经不是之前的样子。 新建了免费的人工智能中文站https://ai.weoknow.com 新建了收费的人工智能中文站https://ai.hzytsoft.cn/ 更多资源欢迎关注 大语言模型的微...
-
苹果豪赌！神秘AI项目曝光，宁死不用英伟达？自研芯片全家桶都要AI了
最近一轮AI之战，OpenAI、谷歌、微软都交卷了，现在，全世界的目光齐刷刷看向苹果。 全球开发者大会，就在6月上旬。选择这个时机发布新产品，苹果勇气可嘉。 被一众竞品抢尽风头后，苹果得拿出什么重大突破来，才能证明自己在AI领域还能让人兴奋？ 看起来，苹...
-
Llama 3 安装使用方法
Llama3简介： llama3是一种自回归语言模型，采用了transformer架构，目前开源了8b和70b参数的预训练和指令微调模型，400b正在训练中，性能非常强悍，并且在15万亿个标记的公开数据进行了预训练，比llama2大了7倍，距离llam...
-
一文读懂本地运行 LLM 的优秀实践方法
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM -常见的本地运行 LLM 方法。 众所周知，如今使用 ChatGPT 等大型模型工具变得异常简单，只需通过浏览器在线访问即可。然而，需要注意的是，...
-
智慧建筑：基于YOLOv7的建筑外墙缺陷检测
01 前景概要 现有的基于深度学习的方法在识别速度和模型复杂性方面面临一些挑战。为了保证建筑外墙缺陷检测的准确性和速度，我们研究了了一种改进的YOLOv7方法BFD-YOLO。首先，将YOLOv7中原有的ELAN模块替换为轻量级的MobileOne模块，...