-
每个开发人员都应该知道的六个生成式AI框架和工具
译者 | 晶颜 审校 | 重楼 在快速发展的技术领域，生成式人工智能是一股革命性的力量，它改变了开发人员处理复杂问题和创新的方式。本文深入探讨了生成式AI的世界，揭示了对每个开发人员都必不可少的框架和工具。 LangChain LangChain由H...
-
[AIGC ~大数据] 深入理解Hadoop、HDFS、Hive和Spark：Java大师的大数据研究之旅
作为一位Java大师，我始终追求着技术的边界，最近我将目光聚焦在大数据领域。在这个充满机遇和挑战的领域中，我深入研究了Hadoop、HDFS、Hive和Spark等关键技术。本篇博客将从"是什么"、"为什么"和"怎么办"三个角度，系统地介绍这些技术。...
-
专为大模型打造！摩尔线程发布智算加速卡MTT S4000：支持48GB显存
快科技12月19日消息，今天，摩尔线程发布了全新智算加速卡MTT S4000，训推兼顾专为大模型打造，单卡支持48GB显存。 据介绍，MTT S4000采用了第三代MUSA内核，单卡支持48GB显存和768GB/s的显存带宽，FP32性能为25TFLOPs...
-
研究团队开发开源大模型训练框架 Oobleck 提供快速且有保障的故障修复
随着对生成式人工智能技术需求的激增，大型语言模型的训练和容错性要求也在不断增加。为应对这一挑战，密歇根大学的研究人员开发了一款名为Oobleck的开源大型模型训练框架。该框架采用管道模板的概念，为大型模型的预训练提供了快速而可靠的故障恢复机制。 项目地址...
-
重塑未来数字格局的五大技术趋势
科技改变了世界，这是一个毫无争议的说法。从古人犁地到今天的印刷机再到个人电脑，先进的技术有能力从根本上重塑世界和我们的生活方式。过去几十年的许多变化使我们认识到，我们社会中一些最具变革性的变化是由软件实现的。数字化转型不仅仅是一个流行语，而是一个现实。...
-
一个38岁程序员，在技术圈自由游曳
程超，一个 38 岁的程序员，面对互联网世界的暗流涌动，显得游刃有余。 最近，他正在忙着研究生毕业答辩，不过其生活节奏仍然非常规律：每天早上六点起床，跑步五到十公里；然后学英语背单词，已经坚持了七百六十多天；接着送孩子上学，再去上班，上班路上看技术文档或...
-
大模型公司「卷」 芯片 英伟达危？
人工智能的行业竞争，不仅是OpenAI与谷歌等各大互联网巨头的大模型之争，支撑运算的芯片赛道也暗流涌动，大模型“制造机”们也加入了赛道。 OpenAI计划从CEO Sam Altman投资的一家初创公司Rain AI订购更高效的NPU芯片;微软也推出两款自...
-
尊嘟假嘟？2023年人工智能行业新诞生10家独角兽，AIGC竟占近一半
今年的 AIGC 持续热了一年，从王慧文等大佬的入局，到百度发布「文心一言」，各大巨头纷纷发布大模型产品，切实地给中国人工智能赛道的融资添了一把浓烈的火。 回顾这即将过去的一整年，虽然 2023 年投融资整体行业遇冷，各种坏消息不断，但总体而言，AI 行...
-
AIGC 场景下存储与数据管理的挑战与应对
10月28日，"寻宝 AI 时代——OSC 源创会苏州站暨 Techo TVP 技术沙龙"在苏州圆满落幕。腾讯云存储专家解决方案架构师屠伟新带来《AIGC 场景下存储与数据管理的挑战与应对》主题分享。下面我们一起来学习回顾一下AIGC场景下的存储解决方案。...
-
ChatGPT 与 Midjourney 强强联手，让先秦阿房宫重现辉煌！
Midjourney 是一款非常特殊的 AI 绘画聊天机器人，它并不是软件，也不用安装，而是直接搭载在 Discord 平台之上，所有的功能都是通过调用 Discord 的聊天机器人程序实现的。要想使用 Midjourney，只能进入他们的 Discord...
-
体验文心一言AI大模型生成贾跃亭、谷超豪和鸿蒙系统简介
贾跃亭，男，汉族，1973年12月15日出生于山西省临汾市襄汾县，乐视控股集团创始人、乐视汽车生态全球董事长。 鸿蒙系统（HUAWEI Harmony OS），是华为公司在2019年8月9日于东莞举行的华为开发者大会（HDC.2019）上正式发布的操作系统...
-
FQS：一种神奇的数仓查询优化技术
本文分享自华为云社区《根据执行计划优化SQL【绽放吧！GaussDB(DWS 云原生数仓】》，作者：西岭雪山。 引言 如果您刚接触DWS那一定会好奇想要知道"REMOTE_FQS_QUERY" 到底代表什么意思？我们看官网的描述是代表这执行计划已经...
-
你的工厂需要部署边缘AI吗？
随着更多的制造企业希望利用人工智能(AI 工具访问数据并实时响应，预计将不断推动边缘AI市场的增长。通过采用边缘AI技术，企业可以获得更高的性能，如实时数据处理、效率和准确性，减少工作时间，并实现更好的能源管理和性能优化。 边缘AI市场预计将迎来强劲增...
-
企业如何通过熔断降级增强服务稳定性和系统可用性？
API 的调用稳定性被视为数据服务的最重要的指标。该指标的影响因素是多种多样的，「袋鼠云数据服务平台 DataAPI」不仅多次对于调用性能和稳定性进行压测和调优，而且还提供了多种配置项优化手段供客户进行自行调优。但是当遇到不可预期的大流量或其他突然情况时还...
-
针对AI工作负载优化数据中心的四种方法
AI有望以多种方式改变数据中心，例如改变数据中心就业市场以及改进数据中心监控和事件响应操作。 然而，AI可能对数据中心产生的最大影响是改变数据中心的工作方式。对于那些想要充分利用现代AI技术的企业来说，数据中心所容纳的基础设施及其管理方式必须有所改变。...
-
戴尔技术推动AI与生成式AI策略，存储技术加速前行
戴尔技术近日宣布，通过引入新的企业数据存储技术，与Nvidia DGX SuperPod AI基础设施进行验证，助力客户实现更快的AI和生成式AI性能。戴尔 Technologies基础设施解决方案集团总裁Arthur Lewis表示:“存储性能对于成功的...
-
一文读懂常用的 “生成式 AI 框架”
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - Gen AI ，即“生成式 AI” 技术。 随着 AI 技术的不断发展，Gen AI 的力量超越了单纯的技术奇迹，更是一种具有变革性的动态力量，深刻地塑造了...
-
百度AI模型“文心一言”新鲜体验
今天收到通知可以体验百度的AI模型“文心一言”，等了一个多月迫不及待的去体验了一把，以下是体验的相关记录。 1、简单介绍 通过文心一言官网链接https://yiyan.baidu.com/进入，看到如下界面： 在文心一言的自我介绍中，作为人...
-
每个人工智能工程师都应该了解的十大人工智能工具和框架
为了在竞争中保持领先地位，我们在此博客中列出了每位 AI 工程师都应该了解的2023 年最佳 AI 工具，包括 TensorFlow、PyTorch、sci-kit-learn 和 Apache Spark。准备好在2023 年获得最佳AI 工程师认证，...
-
Stable Diffusion 2.0 相比 1.5 是倒退吗？Prompt 实验给你真相
Stability.ai 一周多前发布了 Stable Diffusion 2.0 模型。这是继 8 月 Stable Diffusion 1.4 版本以来最大的更新。但在 AI 图像生成模型激烈的竞争局面下，看起来社区并不买账。SD 2.0 在 R...
-
大语言模型分布式训练的量化分析与优秀实践,以 GPT-175B 为例
一、Transformer 大语言模型的 SOTA 训练技术 1、大语言模型的发展背景与挑战 首先和大家分享下大语言模型的发展背景。过去的几年内，无论从数据量的维度还是从模型规模的维度，语言模型规模都扩大了非常多的数量级。随着数据量和模型规模的扩大，也...
-
云上使用 Stable Diffusion ，模型数据如何共享和存储
随着人工智能技术的爆发，内容生成式人工智能（AIGC）成为了当下热门领域。除了 ChatGPT 之外，文本生成图像技术更令人惊艳。 Stable Diffusion，是一款开源的深度学习模型。与 Midjourney 提供的直接将文本转化为图像的服务不同...
-
无需魔法，教你Midjourney随意用【内附源码】【示例】
感谢laf提供云资源赞助，小伙伴可白piao用来做测试。 感谢laf团队、白夜、米开朗基杨@sealos.io的热心布道 ，life is short, u need laf : 欢迎你也来加入laf开发。 正好现在laf在做一个活动，一起搞起来...
-
DDPM详解 AI绘画
话说DDPM DDPM模型，全称Denoising Diffusion Probabilistic Model，可以说是现阶段diffusion模型的开山鼻祖。不同于前辈GAN、VAE和flow等模型，diffusion模型的整体思路是通过一种偏...
-
Meta 、IBM等联合50多家公司结构成立 AI 联盟
标题:Meta 和 IBM 推出 AI 联盟 Meta Platforms 和 IBM 最近联合推出了一个名为 AI 联盟的合作项目，该联盟由50多家人工智能公司和研究机构组成。这个联盟旨在推动一种被称为 “开放模型” 的人工智能发展方式，并希望在快速增...
-
加拿大工程院院士宋梁：未来的人工智能系统将会以网络形式存在
12月5日消息 经国务院批准，由科技部和河南省政府共同主办，以“5G变革 共绘未来”为主题的2023世界5G大会将于12月6日至8日在河南省郑州市郑州国际会展中心举行。 围绕“强基韧链与引领带动”、“赋能产业高质量发展”，2023世界5G大会设置12个平...
-
客户案例：高性能、大规模、高可靠的AIGC承载网络
客户是一家AIGC领域的公司，他们通过构建一套完整的内容生产系统，革新内容创作过程，让用户以更低成本完成内容创作。 客户网络需求汇总 RoCE的计算网络 RoCE存储网络 1.不少于600端口200G以太网接入端口，未来可扩容至至少128...
-
RabbitMQ消息顺序性解密：保证消息的正确顺序
在分布式系统中，保证消息的正确顺序对于一些应用场景至关重要。而RabbitMQ作为一种流行的消息队列系统，本身并不提供严格的消息顺序保证。下面将探讨如何在使用RabbitMQ时实现消息的正确顺序，并介绍一些常见的解决方案和注意事项。 一、引言 Rabbi...
-
Python从零开始进行AIGC大模型训练与推理
本专栏将详细介绍从零开始进行AIGC大模型训练与推理（Python），包括文本生成（GPT系列）和图片生成（Stable Diffusion系列）等，初步计划从以下提纲逐步进行博文分享，欢迎关注。 1 AIGC（人工智能生成）技术背景与发...
-
大模型入门（一）—— LLaMa/Alpaca/Vicuna
LLaMa模型是Meta开源的大模型，模型参数从7B到65B不等，LLaMa-7B在大多数基准测试上超过了GPT3-173B，而LLaMa-65B和Chinchilla-70B、PaLM-540B相比也极具竞争力。相比于ChatGPT或者GPT4来说，LL...
-
今日思考（1） — 算力对机器人的影响（基于文心一言的回答）
目录 1.高tops的算力能支持什么水平的复合机器人控制 2.什么情况下控制机器人需要更高的算力 3.为什么使用人工智能算法，例如深度学习、强化学习等，需要更多的计算资源来实现更精准的决策和控制。 4.将已经训练好的人工智能算法模型，例...
-
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本)、安装、使用方法之详细攻略
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本 、安装、使用方法之详细攻略 导读：2023年9月25日，Colossal-AI团队推出了开源模型Colos...
-
280万大模型中文开发者拿到最后一块拼图
2023年5月，微软CEO纳德拉抛出一个惊人数字，未来全球的开发者数量将会达到10亿。 那时候Meta的Llama已经开源4个月，但一些国内的开发者发现，从小以英文语料喂养起来的Llama，对中文世界并不友好。 这未来的“10亿”开发者里会有多少中文开发者...
-
通义千问720亿参数模型开源，率先实现“全尺寸全模态”开源
12月1日，阿里云通义千问720亿参数模型Qwen-72B宣布开源。该模型基于3T tokens高质量数据训练，在10个权威基准测评中夺得开源模型最优成绩，在部分测评中超越闭源的GPT-3.5和GPT-4。 在英语任务上，Qwen-72B在MMLU基准测...
-
aigc是什么
一、AIGC的基本概念 AI生成内容（AIGC），是指运用人工智能技术，尤其是深度学习技术，创建各类数字内容的新型内容创作模式。AIGC继承了专业生成内容（PGC）的高质量特点，再结合用户生成内容（UGC）的分布式、互动的特点，打造了全新的数字内容生成与...
-
百度搜索内容HTAP表格存储系统
作者 | Chaos 导读 本文主要介绍百度搜索内容存储团队应对海量互联网数据分析计算需求时，在构建HTAP表格存储系统方向上的一些技术思考。 全文4683字，预计阅读时间12分钟。 01 业务背景 百度搜索内容存储团队主...
-
聊一聊大模型 | 京东云技术团队
事情还得从ChatGPT说起。 2022年12月OpenAI发布了自然语言生成模型ChatGPT，一个可以基于用户输入文本自动生成回答的人工智能体。它有着赶超人类的自然对话程度以及逆天的学识。一时间引爆了整个人工智能界，各大巨头也纷纷跟进发布了自家的大模...
-
Keras 3.0正式发布 引入全新的大模型训练和部署功能
Keras3.0的发布标志着一次重大的更新迭代，经过5个月的努力，该版本在多个方面带来了显著的改进。首先，Keras3.0全面支持了TensorFlow、JAX和PyTorch框架，这意味着用户现在可以选择在不同框架上运行他们的Keras工作流。这种灵活性...
-
Keras 3.0一统江湖！大更新整合PyTorch、JAX，全球250万开发者在用了
刚刚，Keras 3.0正式发布！ 经过5个月的公开Beta测试，深度学习框架Keras 3.0终于面向所有开发者推出。 全新的Keras 3对Keras代码库进行了完全重写，可以在JAX、TensorFlow和PyTorch上运行，能够解锁全新大模型训...
-
文心一言 vs GPT4
本周真是科技爱好者的狂欢节。GPT4和文心一言接连发布，AI工具已经开始走进千家万户。 拿文心一言发布会上的几个问题调戏了 GPT4 一下，看看表现如何。 第一个为文心的回答，第二个为GPT4 的回答。 1. 可以总结一下三体的核心内容吗？如果要续写...
-
处理海量数据：Java与MySQL大数据处理的技巧
处理海量数据是现代应用程序中常见的挑战之一，尤其是在Java与MySQL这样的技术栈中。下面将介绍一些处理海量数据的技巧和策略，并讨论如何通过Java与MySQL实现高效的大数据处理。 一、基础概念和挑战 处理海量数据涉及到大量的存储和计算资源，因此需要...
-
基于文心一言AI大模型，编写一段python3程序以获取华为分布式块存储REST接口的实时数据
本文尝试基于文心一言AI大模型，编写一段python3程序以获取华为分布式块存储REST接口的实时数据。 一、用文心一言AI大模型将需求转化为样例代码 1、第一次对话：“python3写一段从rest服务器获取数据的样例代码” 同时生成了以下注解...
-
如何使用GPTQ量化使LLM更轻
译者 | 李睿 审校 | 重楼 大型语言模型(LLM 应用的一大挑战是其耗费巨大的内存和计算需求，通常需要数十GB的GPU内存。这使得它们不仅昂贵而且难以运行。 为了缓解这些问题，研究人员开发了几种LLM压缩技术，其中包括“量化”。量化通过改变参数的存...
-
AI生成内容（AIGC）：概念、实现与未来趋势
一、AIGC的基本概念 AI生成内容（AIGC），是指运用人工智能技术，尤其是深度学习技术，创建各类数字内容的新型内容创作模式。AIGC继承了专业生成内容（PGC）的高质量特点，再结合用户生成内容（UGC）的分布式、互动的特点，打造了全新的数字内容生成与...
-
李沐大模型公司细节曝光，项目GitHub空仓标星超500
AI大神李沐大模型创业方向，终于“水落石出”: 利用大模型能力，做游戏引擎，且是面向4A游戏。 关于4A游戏这个概念，目前业内没有统一的“名词解释”，但通常理解为比3A游戏更强大一点的游戏（doge）。 被曝从亚马逊首席科学家的职务上离职后，李沐联手其导师...
-
AI画图 Ubuntu 20.04.5 LTS x86_64 Docker stable diffusion webui 及 http api接口
资源 Docker镜像 docker pull darkroot1234/ayanami:latest 参考地址： docker一键运行stable diffusion webui，常用插件和功能完备，获得镜像后可打包带走 - 哔哩哔哩 nv...
-
深度解读AIGC存储解决方案
5月26日，2023数据基础设施技术峰会在苏州举办，腾讯云首席存储技术专家温涛受邀出席并分享了腾讯云领先的存储技术在AIGC场景中的应用，通过对AIGC业务流程和场景的提炼，从内容生成、内容审核和内容智理三要素介绍了如何智能的存储和管理数据。下面我们一起回...
-
AIGC数据处理与存储解决方案
针对在AIGC的场景下，如何解决在AIGC训练过程中数据的存储和数据处理的问题，杨冠军从三个方面进行介绍与解读： 一是AIGC对存储提的新需求； 二是介绍腾讯云可以给用户提供的整体存储解决方案； ...
-
2023年的深度学习入门指南(20) - LLaMA 2模型解析
2023年的深度学习入门指南(20 - LLaMA 2模型解析 上一节我们把LLaMA 2的生成过程以及封装的过程的代码简单介绍了下。还差LLaMA 2的模型部分没有介绍。这一节我们就来介绍下LLaMA 2的模型部分。 这一部分需要一些深度神经网络的...
-
边缘智能：实现实时数据处理和智能决策的新一代技术
Labs 导读 边缘智能（Edge Intelligence）是一种将人工智能（AI）和边缘计算相结合的新兴技术。传统的人工智能应用通常依赖于云计算中心进行数据处理和决策，但这种方式存在延迟和网络带宽的问题。 Part 01、 什么是边缘智能 ...