-
如何修改大模型的位置编码 --以LLama为例
最近在看RoPE相关内容，一些方法通过简单修改位置编码就可以无需训练支持更长的文本内容。由于一些模型，已经训练好了，但是怎么修改已经训练好的模型位置编码。查了以下相关代码，记录一下。原理这里就不细讲了，贴几个相关博客。十分钟读懂旋转编码（RoPE）Tran...
-
微软、OpenAI投资1000亿美元，打造“Stargate”超级计算机
3月30日，著名科技媒体the information独家消息，微软、OpenAI正在开发一个数据中心项目，包含一台名为“Stargate”超级计算机将配备数百万个AI专用芯片，主要为OpenAI的研发、产品提供服务。 据一位曾与OpenAI联合创始人兼首...
-
台积电董事长预测：未来15年每瓦GPU性能提升1000倍，GPU晶体管数破万亿！
GTC 2024大会上，老黄祭出世界最强GPU——Blackwell B200 ，整整封装了超2080亿个晶体管。 比起上一代H100（800亿），B200晶体管数是其2倍多，而且训AI性能直接飙升5倍，运行速度提升30倍。 若是，将千亿级别晶体管数扩...
-
超快的 AI 实时语音转文字，比 OpenAI 的 Whisper 快4倍 -- 开源项目 Faster Whisper
faster-whisper 这个项目是基于 OpenAI whisper 的模型，在上面的一个重写。 使用的是 CTranslate2 的这样的一个库，CTranslate2 是用于 Transformer 模型的一个快速推理引擎。 在相同精度的情况...
-
笔记本电脑上部署LLaMA-2中文模型
尝试在macbook上部署LLaMA-2的中文模型的详细过程。 （1）环境准备 MacBook Pro(M2 Max/32G ; VMware Fusion Player 版本 13.5.1 (23298085 ; Ubuntu 22.04.2 L...
-
2024全新英特尔商用客户端AIPC产品发布会——开启AIGC的新阶段
#酷睿Ultra #AIPC #英特尔 2024年3月26日，英特尔AI PC产品发布会在北京凤凰中心成功举办，很荣幸作为受邀博主参与此次发布会。总的来说，一波新的换机热潮要开始了。 也许大家曾将Stable Di...
-
最好用的AI绘画软件！comfyui一键启动整合包来了
「 无套路！文末提供下载方式 」 如今 AI 发展也越来越快了，涉及领域也越来越广了，去接触使用 AI 是非常有必要的了。 AI创意无限，零基础到AI大神！ 其中说到 AI 绘画，大家应该都不会陌生的了，之前也是给大家带来过强大的 AI 绘画平台...
-
20240202在Ubuntu20.04.6下使用whisper.cpp的显卡模式
20240202在Ubuntu20.04.6下使用whisper.cpp的显卡模式 2024/2/2 19:43 【结论：在Ubuntu20.04.6下，确认large模式识别7分钟中文视频，需要356447.78 ms，也就是356.5秒，需要大概5...
-
【wails】（8）：发现一个用golang重写llama.cpp的llama.go项目，经测试支持f32模型，半年未更新，找到llama.cpp对应的版本，可以转换f32模型
1，项目地址 https://github.com/gotzmann/llama.go 项目最后的发布时间是2023年4月28日 项目是把 llama.cpp 的项目重写使用 golang 重写了下。 https://www.bilibili.co...
-
苹果M4芯片有望明年一季度发布：主打AI 新MacBook Pro首发
快科技3月27日消息，据名记马克古尔曼最新曝料，苹果已经在着手开发搭载M4芯片的全新MacBook Pro。 根据Canalys机构曝光的路线图，M4系列芯片有望2025年第1季度上线，将主打AI功能。 目前苹果已经宣布，将于美国太平洋时间6月10日-6月...
-
TensorFlow深度学习框架模型推理Pipeline进行人像抠图推理
概述 为了使ModelScope的用户能够快速、方便的使用平台提供的各类模型，提供了一套功能完备的Python library，其中包含了ModelScope官方模型的实现，以及使用这些模型进行推理，finetune等任务所需的数据预处理，后处理，效果...
-
AI时代CPU不老！Intel五代至强五大革新：340亿参数小意思
AI漫长的历史中，ChatGPT绝对是浓墨重彩的一笔。正是它引爆了AI大模型概念，也让以往高高在上的AI飞入了寻常百姓家，开始融入每个人的日常工作、生活，AI PC、AI手机、AI边缘也都在大踏步前进，变革千行百业。 有调研数据显示，预计到2026年，AI...
-
CUDA之通用矩阵乘法：从入门到熟练！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 通用矩阵乘法 (General Matrix Multiplication，GEMM 是各种模型和计算中的核心部分，同时也是评估计算硬件性能 (FLOPS 的标准技术。本文将通过对 GEMM 的实...
-
nginx配置详解+nginx_lua模块的使用
nginx基本配置详解 目录 nginx基本配置详解 nginx_lua模块使用方式 openresty介绍与安装 lua基本语法使用 全局配置： user：指定Nginx主进程运行的用户。在下方示例中，Nginx将以root用户身份...
-
AIGC时代下阿里云视频云媒体内容生产技术实践
编者按 AIGC时代下，媒体内容生产领域随着AI的出现也涌现出更多的变化与挑战。面对AI的巨大冲击，如何优化或重构媒体内容生产技术架构？在多样的应用场景中媒体内容生产技术又有着怎样的实践效果？LiveVideoStackCon2023...
-
【体验有奖】用 AI 画春天，函数计算搭建 Stable Diffusion WebUI
人工智能生成内容 AIGC（Artificial Intelligence Generated Content）是当下备受关注的概念之一，是继 PGC 和 UGC 之后的新型生产方式。AIGC 技术的核心思想是利用人工智能算法生成具有一定创意和质量的内容。...
-
Fastwhisper + Pyannote 实现 ASR + 说话者识别
文章目录 前言 一、faster-whisper简单介绍 二、pyannote.audio介绍 三、faster-whisper + pyannote.audio 实现语者识别 四、多说几句 前言 最近在研究ASR相关的业务，也...
-
AMD芯片使用Stable-Diffusion
AMD芯片使用Stable-Diffusion 由于A卡的Stable Diffusion工具的逐步完善，之前只能使用CPU跑，现在已支持AMD显卡进行AI绘图。 下载 官网链接：https://github.com/AUTOMATIC11...
-
Stable diffusion,AI绘画入门，秋叶大佬整合包（附网盘链接）
第一篇：SD安装和显卡要求 最近一段时间，AI绘画很火热，是不是感到对AI绘画很好奇，那么接下来介绍一下如何安装部署。让读者也能快速上手。进入AI绘画的世界。 最简单最容易入手的便是直接使用秋叶大佬的整合包，链接如下： 我用夸克网盘分享了「sd-we...
-
人工智能AI绘画，Stable Diffusion升级版comfyui一键启动器来了
「 无套路！文末提供下载方式 」 如今 AI 发展也越来越快了，涉及领域也越来越广了，去接触使用 AI 是非常有必要的了。 AI创意无限，零基础到AI大神！ 其中说到 AI 绘画，大家应该都不会陌生的了，之前也是给大家带来过强大的 AI 绘画平台...
-
为什么说GPU再火，AI平台也少不了强力的CPU
AIGC的这把火，燃起来的可不只是百模大战的热度和雨后春笋般的各式AI应用。 更是由于算力与通信需求的爆发式增长，使得底层的专用加速芯片、以及配备这些芯片的AI加速服务器再次被拉到了大众的聚光灯下。 据统计，2023年全球范围内的AI服务器市场规模已经达到...
-
旗舰同款！小米Civi 4 Pro升级影像大脑3.0：搭载Xiaomi AISP
快科技3月21日消息，小米Civi 4 Pro今日正式发布，搭载原汁原味的徕卡专业三摄，配备光影猎人800定制专业传感器。 据介绍，小米Civi 4 Pro还继承了旗舰机型的实力，搭载Xiaomi AISP。 通过小米澎湃OS深入硬件层，重构技术管线，深入...
-
【本地化部署Stable Diffusion WebUI（MACOS安装）】
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、Stable Diffusion WebUI适配三类芯片 二、安装 1.安装git、conda等 2.选定目录及下载Github远程仓库文件 3....
-
C# RAM Stable Diffusion 提示词反推 Onnx Demo
目录 介绍 效果 模型信息 项目 代码 下载 C# RAM Stable Diffusion 提示词反推 Onnx Demo 介绍 github地址：GitHub - xinyu1205/recognize-anything: Open...
-
官宣｜Apache Flink 1.19 发布公告
Apache Flink PMC（项目管理委员）很高兴地宣布发布 Apache Flink 1.19.0。与往常一样，这是一个充实的版本，包含了广泛的改进和新功能。总共有 162 人为此版本做出了贡献，完成了 33 个 FLIPs、解决了 600 多个问题...
-
亚马逊云科技与英伟达扩展合作 加速超万亿参数级大模型训练
亚马逊云科技与英伟达扩展合作，加速生成式 AI 创新。双方将在亚马逊云科技上提供 NVIDIA Blackwell 架构 GPU，包括 GB200Grace Blackwell 超级芯片和 B100Tensor Core GPU，以帮助客户解锁新的生成式...
-
解读AI通用计算芯片：GPU训练CPU推理，用最优的成本降低AI算力支出
当前，人工智能已经成为推动企业业务创新和可持续发展的核心引擎。我们知道，算力、算法和数据是人工智能的三大核心要素，缺一不可。今天，笔者就从通用计算芯片这个维度出发，跟大家详细聊聊关于算力的相关技术与市场竞争态势。 所谓AI计算芯片（也称逻辑芯片），就是指...
-
英伟达B200打破摩尔定律！老黄顺便公开GPT-4的秘密
整个AI圈最想知道的秘密，被老黄在PPT某页的小字里写出来了？ 时隔两年，英伟达官宣新一代Blackwell架构，为AI带来30倍推理加速。定位直指“新工业革命的引擎” 。 老黄PPT中拿了一个1.8万亿参数MoE的GPT系列大模型测试结果来证明。...
-
百万token上下文窗口也杀不死向量数据库？CPU笑了
“Claude 3、Gemini 1.5，是要把RAG（检索增强生成）给搞死了吗？” 随着新晋大语言模型们的上下文窗口（Context Window）变得越发得长，业界人士针对“RAG终将消亡”观点的讨论也是愈演愈烈。 之所以如此，是因为它们二者都是为...
-
Python AI 之Stable-Diffusion-WebUI
Stable-Diffusion-WebUI简介 通过Gradio库，实现Stable Diffusion web 管理接口 Windows 11 安装Stable-Diffusion-WebUI 个人认为Stable-Diffusion-We...
-
英伟达吞噬世界！新架构超级GPU问世，AI算力一步提升30倍
「这不是演唱会。你们是来参加开发者大会的！」老黄出场时，现场爆发出了巨大的欢呼声。 今天凌晨四点，加州圣何塞，全球市值第三大公司英伟达一年一度的 GTC 大会开始了。 今年的 GTC 大会伴随着生成式 AI 技术爆发，以及英伟达市值的暴涨。相对的是，算...
-
英伟达发布最强AI加速卡 大语言模型性能比H100提升30倍
英伟达在 GTC 开发者大会上发布了最强 AI 加速卡 Blackwell GB200，计划今年晚些时候发货。 GB200采用新一代 AI 图形处理器架构 Blackwell，其 AI 性能可达20petaflops，比之前的 H100提升了5倍。每个 B...
-
英伟达新核弹B200发布，一台服务器顶一个超算，万亿参数大模型30倍推理加速
AI春晚GTC开幕，皮衣老黄再次燃爆全场。 时隔两年，英伟达官宣新一代Blackwell架构，定位直指“新工业革命的引擎” ，“把AI扩展到万亿参数”。 作为架构更新大年，本次大会亮点颇多： 宣布GPU新核弹B200，超级芯片GB200 Blackw...
-
Mac电脑本地安装Stable Diffusion小白教程避开所有坑教程
CPU可为intel或M芯片。特别说明github拉取代码时需要魔法上网，所以尽量全程开启魔法上网。本教程所用系统为macOs venture 13.6.4。 启动“终端” 按下“command+空格”按钮，输入终端，如...
-
Stable Diffusion：详细版安装教程！
Stable Diffusion是一种基于扩散过程的图像生成模型，能够创造出高质量、高分辨率的图像。它通过模拟扩散过程逐渐将噪声图像转化为目标图像，具有稳定性和可控性。 这一技术不仅能够生成多样化、精美的图像，还能修复损坏的图像，提高图像的清晰度，甚至应...
-
在 Kubernetes 中优化 AI 和机器学习工作负载
Kubernetes 非常适合各种类型的容器化工作负载，从服务到作业再到有状态应用程序。但是 AI 和需要 GPU 的机器学习工作负载呢?是的，Kubernetes 也支持这些，但有很多细微差别。 译自Optimizing AI and Machine...
-
【学习笔记】：Ubuntu 22 使用模型量化工具llama.cpp部署大模型 CPU+GPU
学习笔记：Ubuntu 22 使用模型量化工具llama.cpp部署大模型 CPU+GPU 前言 1 下载并编译llama.cpp 1.1 git下载llama.cpp仓库源码 1.2 编译源码（make） 1.2.1 选择一：仅在CPU上...
-
CPU、GPU、NPU，究竟谁才是“AI PC”的主角？
众所周知，如今“AI PC”可以说是消费电子行业最为热门的话题之一。对于一些不太了解技术细节，但却对这个概念心向往之的消费者而言，他们相信“AI PC”可以更智能地帮助自己完成一些不熟练的操作，或是减轻日常工作的负担。 但对于像我们这样，对“AI PC”既...
-
2024最新版Stable Diffusion下载安装，保姆级教程指南！
2024可以称得上是Ai技术大应用的元年，目前两款Ai神器大火，一款是大名鼎鼎的Chat GPT。 另外一款大火的是本期晓晓介绍的Ai绘图软件—Stable Diffusion。 可口可乐的最新广告，据说是大量使用了 Stable Diffusio...
-
探索Kubernetes与AI的结合：PyTorch训练任务在k8s上调度实践
概述 Kubernetes的核心优势在于其能够提供一个可扩展、灵活且高度可配置的平台，使得应用程序的部署、扩展和管理变得前所未有的简单。通用计算能力方面的应用已经相对成熟，云原生化的应用程序、数据库和其他服务可以轻松部署在Kubernetes环境中，实现...
-
AIGC学习笔记——CLIP详解加推理
clip论文地址：https://arxiv.org/pdf/2103.00020.pdf clip代码地址：https://github.com/openai/CLIP 小辉问：能不能解释一下zero-shot? 小G答：零次学习（Zero...
-
LLM将成历史？开源bGPT或颠覆深度学习范式：直接模拟二进制，开启模拟数字世界新纪元！
微软亚洲研究院推出的最新成果bGPT，这种基于字节的Transformer模型，为我们探索数字世界开辟了新的大门。 与传统的基于词表的语言模型不同，bGPT的独特之处在于其对原始二进制数据的直接处理能力，不受特定格式或任务的限制，其目标是全面模拟数字世界...
-
房价预测模型代码笔记以及文心一言Q.A记录
导入库方面略过不提 第一部分：简易日期处理模块 def processdate(date : date_num = (int(date[:4] - 2014 *12 + (int(date[4:6] -5 return date_n...
-
【AI绘画·24年1月最新】Stable Diffusion整合包安装！解压即用--秋葉aaaki 大佬的作品，试用
前言 Stable Diffusion 之前费老大的劲部署安装，解决报错。搞完之后，突然发现有个现成集成包可以用，真是效率高到不行，今天搞下来试试 我电脑配置： CPU: 12th Gen Intel® Core™ i7-12700F 2.10 GHz...
-
stable diffusion使用相关
IP Adapter，我愿称之它为SD垫图 IP Adapter是腾讯lab发布的一个新的Stable Diffusion适配器，它的作用是将你输入的图像作为图像提示词，本质上就像MJ的垫图。 IP Adapter比reference的效果要好，而且会...
-
AIGC:语音克隆模型Bert-VITS2-2.3部署与实战
1 VITS2模型 1.1 摘要 单阶段文本到语音模型最近被积极研究，其结果优于两阶段管道系统。以往的单阶段模型虽然取得了较大的进展，但在间歇性非自然性、计算效率、对音素转换依赖性强等方面仍有改进的空间。本文提出VITS2，一种单阶段的文本到语音模型...
-
把字节当成token，清华和微软刚掏出来的bGPT到底什么来头
相信你或多或少对GPT有一定的了解，但我赌你没听说过bGPT。bGPT的意思是byte GPT，即字节GPT。这是一种专门设计用于处理二进制数据和模拟数字世界的深度学习模型。简单概括，bGPT突破了传统语言模型的局限，能够直接理解和操作二进制数据，拓展了深...
-
如何只用两个Python函数在几分钟内创建完整的计算机视觉应用程序
译者 | 李睿 审校 | 重楼 本文首先概述典型的计算机视觉应用程序的要求。然后，介绍Pipeless这一为嵌入式计算机视觉提供无服务器开发体验的开源框架。最后，提供一个详细的步骤指南，介绍如何创建和执行一个简单的对象检测应用程序，该应用程序只需采用几...
-
利用“meedu采集插件”提升在线教育资源整合效率的研究
在互联网快速发展的今天，大量的在线教育平台应运而生。伴随着市场竞争的加剧和教育者对内容的要求越来越严苛，怎样在这些在线教育平台中有效且高质地收集教学内容变得非常重要。"meedu 采集插件"就是这样一个可以有效解决这个问题的高效采集工具，引起了在线教育工作...
-
蔚来NOMI GPT领航版开启招募 拥有多模态感知能力
蔚来汽车官方宣布，备受瞩目的NOMI GPT领航版现已正式开启招募，标志着2024款蔚来汽车将迈入全新的体验升级阶段。 据了解，NOMI作为蔚来汽车的智能助手，在过去的迭代更新中，已经为用户带来了超过2000项实用功能。经过132次版本迭代，NOMI如今即...