-
浅谈人工智能中的算力、算法和数据
Labs 导读 随着科技的飞速发展，人工智能（Artificial Intelligence，AI）已经成为当今最热门的话题之一。在人工智能的应用中，算力、算法和数据是三个不可或缺的要素，也是生成式人工智能（AIGC）发展的核心。通过对人工智能中算...
-
深度解读AIGC存储解决方案
5月26日，2023数据基础设施技术峰会在苏州举办，腾讯云首席存储技术专家温涛受邀出席并分享了腾讯云领先的存储技术在AIGC场景中的应用，通过对AIGC业务流程和场景的提炼，从内容生成、内容审核和内容智理三要素介绍了如何智能的存储和管理数据。下面我们一起回...
-
大模型之Bloom&LLAMA----Pre-Training(二次预训练)
0. 简介 随着chatgpt的爆火，最近也有很多大模型在不断地出现，比如说Bloom系列以及以LLAMA为基础的ziya和baichuan。这些模型相较于chatglm来说，更加具有发展前景，因为其是完全可商用，并可以不断迭代更新的。最近作者在跟着h...
-
谷歌推出免费AI编程神器Colab，欲将Copilot拉下神坛
在如今的AI编码工具领域，微软旗下的Github Copilot可以算得上是一家独大，而作为老对手的谷歌显然并不愿屈服于此。 近日，谷歌通过其官网高调发文宣布，将为研发工具Google Colaboratory（Colab）加入全新的AI编码功能，包括...
-
AIGC数据处理与存储解决方案
针对在AIGC的场景下，如何解决在AIGC训练过程中数据的存储和数据处理的问题，杨冠军从三个方面进行介绍与解读： 一是AIGC对存储提的新需求； 二是介绍腾讯云可以给用户提供的整体存储解决方案； ...
-
星火大模型AI接口Spring中项目中使用【星火、AIGC】
星火大模型AI接口使用 讯飞的星火大模型是有免费版本赠送200万个Token，就个人学习来说完全够用了。 免费申请过后，到控制台，两个红色方框是最要紧的。 星火认知大模型Web文档 | 讯飞开放平台文档中心 (xfyun.cn 这是官方文档...
-
AI加速“科技权势”集中，巨头垄断AI会造成严重后果吗？
大家有没有发现，AI技术似乎相当集中，科技巨头占尽优势。基于这一现实，许多科技高管纷纷发声预警，他们认为：科技巨头本来已经拥有相当大的权势，到了AI时代权势将会更大。 去年OpenAI推出ChatGPT，它可以根据提示给出答案，瞬间引爆了生成式AI大变革...
-
美国空军部首席数据和AI官谈领先的AI运营和战略优势
AI正在改变我们几乎做每件事的方式，包括美国如何打仗、监控威胁和维护国防。AI的作用对军事战略和能力至关重要，以至于美国空军和太空部队今年任命了第一位首席AI官。 今年春季，美国空军部（DAF）任命Eileen Vidrine为首席数据和AI官。在接受任...
-
淘天集团联合爱橙科技开源大模型训练框架Megatron-LLaMA
9月12日，淘天集团联合爱橙科技正式对外开源大模型训练框架——Megatron-LLaMA，旨在让技术开发者们能够更方便地提升大语言模型训练性能，降低训练成本，并保持和LLaMA社区的兼容性。测试显示，在32卡训练上，相比HuggingFace上直接获得的...
-
边缘智能：实现实时数据处理和智能决策的新一代技术
Labs 导读 边缘智能（Edge Intelligence）是一种将人工智能（AI）和边缘计算相结合的新兴技术。传统的人工智能应用通常依赖于云计算中心进行数据处理和决策，但这种方式存在延迟和网络带宽的问题。 Part 01、 什么是边缘智能 ...
-
腾讯披露最新大模型训练方法，可节省50%算力成本
在算力紧缺的背景下，如何提升大模型训练和推理的效率，并降低成本，成为业界关注的焦点。 11月23日，腾讯披露，腾讯混元大模型背后的自研机器学习框架Angel再次升级，大模型训练效率提升至主流开源框架的2.6倍，千亿级大模型训练可节省50%算力成本。升级后...
-
Real AI发布欧洲首个人本主义开源大语言模型项目HOMINIS
在贝尔格莱德于2023年11月23日举办的数据科学大会上，Real AI宣布成功中标ISCRA项目。Real AI将建设欧洲首个基于LEONARDO超级计算机的人本主义大语言模型（LLM）。 LEONARDO超级计算机位于博洛尼亚的CINECA数据中心，是...
-
大宗商品贸易集团数据治理实践，夯实数字基座 | 数字化标杆
某大型央企是首批全国供应链创新与应用示范企业，在“十四五”规划期内以聚焦供应链管理核心主业作为主要战略发展方向。供应链运营管理以大宗商品贸易为主，其交易往往具有交易量巨大、交易环节复杂、风险交易难识别、风险客商难管控等痛点。 随着集团数字化转型不断深化，...
-
Clarifai迎十周年庆典发布首个全栈生成AI平台
AI技术领导者Clarifai近日庆祝了其十周年，并在庆典中发布了首个全栈生成AI平台，将企业生成AI的构建能力交到了开发者手中。这标志着Clarifai在AI领域的工程创新迈出了新的一步，为更快地构建AI提供了更多可能性。 庆典上，Clarifai宣布推...
-
LLMs之Colossal-LLaMA-2：源码解读(train.py文件)基于给定数据集实现持续预训练LLaMA-2—解析命令行参数→初始化配置(分布式训练环境colossalai+训练日志+加速插
LLMs之Colossal-LLaMA-2：源码解读(train.py文件 基于给定数据集实现持续预训练LLaMA-2—解析命令行参数→初始化配置(分布式训练环境colossalai+训练日志+加速插件 →数据预处理(初始化分词器+数据处理器+数据加载器 ...
-
数据分层：打造数据资产管家
一、引言 随着企业数据规模的增长，数据的价值变得越来越重要。然而，传统的数据库在承载大量数据时面临挑战，需要高效有序的维护。因此，建立高效的数据仓库成为了企业决策和管理的基石，但现代技术的背景下，数据管理和保护仍然存在着重要挑战。 为了解决这些挑战，数...
-
美国空军的首席数据和AI官谈如何通过AI获得战略优势
AI正在改变我们做事情的方式，这包括将其应用于军事、监控威胁和保障国防。AI对军事战略和能力已变得日益重要，正因为如此，美国空军和航天部队今年任命了第一位首席AI官。 今年春天，美国空军任命Eileen Vidrine为首席数据和AI官，被任命后，V...
-
浅谈埋点及其质量保障 | 京东云技术团队
1、埋点是什么 埋点又称为事件追踪（Event Tracking），指的是针对用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。用大白话说：就是通过技术手段“监听”用户在APP、网站内的行为。 2、埋点的作用 如果我们想要收集用户行为数据...
-
NoveAI本地环境搭建、AI作画
鉴于按照别人的教程安装过程中遇到各种问题,极其痛苦,所以还是自己也整理总结一份. 1 diffusion vs GAN 所谓扩散算法diffusion是指先将一幅画面逐步加入噪点，一直到整个画面都变成白噪声。记录这个过程，然后逆转过来给AI学习。...
-
一种全新的日志异常检测评估框架：LightAD
本文分享自华为云社区《【AIOps】一种全新的日志异常检测评估框架：LightAD，相关成果已被软工顶会ICSE 2024录用》，作者： DevAI。 深度学习（DL）虽然在日志异常检测中得到了不少应用，但在实际轻量级运维模型选择中，必须仔细考虑异常检测...
-
计算机行业AIGC算力时代系列报告-ChatGPT芯片算力：研究框架
报告下载： 计算机行业AIGC算力时代系列报告-ChatGPT芯片算力：研究框架 简介 “AI算力时代已经来临，计算机行业正在经历着一场前所未有的变革！” 这是一个充满活力和兴奋的时代，人工智能（AI）已经成为了计算机行业中最为炙手可热的话题。随...
-
Stable Diffusion XL训练LoRA
主要包括SDXL模型结构，从0到1训练SDXL以及LoRA教程，从0到1搭建SDXL推理流程。 【一】SDXL训练初识 Stable Diffusion系列模型的训练主要分成一下几个步骤，Stable Diffusion XL也不例外： 训练集...
-
021-Qt 配置GitHub Copilot
Qt 配置GitHub Copilot 文章目录 Qt 配置GitHub Copilot 项目介绍 GitHub Copilot 配置 GitHub Copilot Qt 前置条件 升级Qt GitHub Copilot 前置条件...
-
揭秘人工智能行业： 访问量最高的 50 个 AI 工具及其超过 24 亿次访问行为
最新研究数据显示，ChatGPT 在 AI 工具市场中占据主导地位，市场份额高达 60%。据 WriterBuddy.ai 发布的报告，人工智能在线上已成为「无处不在的力量」，50 个基于 AI 的网站在 11 个月内吸引了超过 24 亿次访问。 202...
-
AI如何颠覆价值300亿美元的市场研究行业？
全球市场研究行业市场规模高达300亿美元。这个在传统上被视为加快所有行业业务运营的关键基石，是决定企业战略和发展路径的关键。然而，如今这个行业正站在被AI颠覆的风口浪尖。迹象表明，AI将颠覆市场研究行业，提供实时洞察，重塑行业格局。 AI具有的非凡能力...
-
GPTs应用商店有哪些比较好用 比较推荐的国内GPTs商店
GPTs应用商店在近期十分热门，用户可以借用比较简单的AI程序即可完成基础的AI功能，比如AI写作、AI作画、AI问答等，这里我们来推荐下好用的GPTs应用商店。 点击前往GPTs应用商店 AIbase产品库是一个集合了数千个最佳人工智能产品和服务的平台...
-
AI如何颠覆价值300亿美元的市场研究行业
正如Vuukle的创始人兼首席执行官Ravi Mittal所详细描述的那样，AI正在重塑市场研究行业。 市场研究行业的价值高达惊人的300亿美元，传统上被视为所有行业商业运营的关键基石，决定战略和塑造组织路径，然而，我们正站在AI带来的消费者洞察力的有...
-
文心一言官网地址入口 文心一言4.0网页版使用链接
文心一言是百度打造出来的人工智能大语言模型，具备跨模态、跨语言的深度语义理解与生成能力，文心一言有五大能力，文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成，其在搜索问答、内容创作生成、智能办公等众多领域都有更广阔的想象空间。 文心一言企业服务...
-
如何构建新一代实时湖仓？袋鼠云基于数据湖的探索升级之路
在之前的实时湖仓系列文章中，我们已经介绍了实时湖仓对于当前企业数字化转型的重要性，实时湖仓的功能架构设计，以及实时计算和数据湖结合的应用场景。 在本篇文章中，将介绍袋鼠云数栈在构建实时湖仓系统上的探索与落地实践，及未来规划。 数栈为什么选择实时湖仓...
-
如何利用人工智能释放非结构化数据的力量
随着几乎所有垂直行业都走向数字化，人们常说“数据就是新石油”。然而，人们往往没有足够重视的是，石油在经过精炼并以柴油、汽油、天然气或航空燃料等所需形式存在之前，不适合驱动我们的机器，非结构化数据的情况几乎相同。 据估计，非结构化数据约占全球组织生成和存...
-
被OpenAI带火的Agent如何解放人力？清华等发布ProAgent
项目地址：https://github.com/OpenBMB/ProAgent 论文地址：https://github.com/OpenBMB/ProAgent/blob/main/paper/paper.pdf 在历史的长河中，自动化是人类技术...
-
中国AIGC数据标注全景报告：百亿市场规模，百万就业缺口
数据标注，正迎来关键洗牌时刻。 大模型时代到来，以数据为中心的AI开发模式加速走向台前，数据的价值从未向今天这样被充分挖掘—— 大模型从训练到部署应用迭代，AIGC众多垂直场景落地，通用智能、具身智能等前沿领域探索，都与高质量、专业化的场景数据密不可分。...
-
人工智能领域如何保护数据机密性？
在不断变化的智能世界中，数据机密性和人工智能道德的融合已成为企业和社会的重大关注。这是一个需要探索的问题，技术进步应与道德原则保持一致。业界有责任应对这一挑战，并确保人工智能技术优先考虑并维护数据保密的重要性。 道德义务 数据隐私和数据的道德使用对于人...
-
LoRAShear:微软在LLM修剪和知识恢复方面的最新研究
LoRAShear是微软为优化语言模型模型(llm 和保存知识而开发的一种新方法。它可以进行结构性修剪，减少计算需求并提高效率。 LHSPG技术（ Lora Half-Space Projected Gradient）支持渐进式结构化剪枝和动态知识恢复...
-
【文末送书】AIGC时代的数据分析与可视化
欢迎关注博主 Mindtechnist 或加入【智能科技社区】一起学习和分享Linux、C、C++、Python、Matlab，机器人运动控制、多机器人协作，智能优化算法，滤波估计、多传感器信息融合，机器学习，人工智能等相关领域的知识和技术。搜索关注公粽号...
-
语言作“纽带”，拳打脚踢各模态，超越Imagebind
北大联合腾讯打造了一个多模态15边形战士！ 以语言为中心，“拳打脚踢”视频、音频、深度、红外理解等各模态。 具体来说，研究人员提出了一个叫做LanguageBind的多模态预训练框架。 用语言作为与其它模态之间的纽带，冻结语言编码器，然后用对比学习方法...
-
[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora（部分）
文章目录 LLaMA大模型及其衍生模型 1. LLaMA 2. stanford_alpaca 3. ChatDoctor 4. alpaca-lora 5. Chinese-LLaMA-Alpaca 6. BELLE 大模型综述 A Su...
-
大模型之Bloom&LLAMA----SFT(模型微调)
0. 简介 随着chatgpt的爆火，最近也有很多大模型在不断地出现，比如说Bloom系列以及以LLAMA为基础的ziya和baichuan。这些模型相较于chatglm来说，更加具有发展前景，因为其是完全可商用，并可以不断迭代更新的。最近作者在跟着h...
-
百度搜索深度学习模型业务及优化实践
作者 | Xin 导读 百度搜索架构部模型架构组，致力于将最新的人工智能技术以更低的成本被百度数亿用户体验到。这个过程中会面临非常多的系统、工程层面的问题，甚至在深度学习模型领域，我们看到越来越多的工作并不拘泥于工程本身。 本文主要分享模...
-
【云栖2023】王峰：开源大数据平台3.0技术解读
本文根据2023云栖大会演讲实录整理而成，演讲信息如下： 演讲人：王峰 | 阿里云研究员，阿里云计算平台事业部开源大数据平台负责人 演讲主题：开源大数据平台3.0技术解读 实时化与Serverless是开源大数据3.0时代的必然选择 阿里云开源...
-
昇腾CANN DVPP硬件加速训练数据预处理，友好解决Host CPU预处理瓶
本文分享自华为云社区《昇腾CANN 7.0 黑科技：DVPP硬件加速训练数据预处理，友好解决Host CPU预处理瓶颈》，作者： 昇腾CANN 。 随着人工智能的快速发展，越来越多的应用场景需要使用机器学习和深度学习模型。AI网络模型的训练一般分成...
-
LoRa模型训练教程（炼丹，Stable Diffusion）
1. lora介绍（Low Rank Adaption） 何为LoRA？LoRA并不是扩散模型专有的技术，而是从隔壁语言模型（LLM）迁移过来的，旨在解决避免将整个模型参数拷贝下来才能对模型进行调校的问题。因为大型语言模型的参数量过于恐怖，比如最近新出...
-
【云栖2023】林伟：大数据AI一体化的解读
本文根据2023云栖大会演讲实录整理而成，演讲信息如下： 演讲人：林伟 | 阿里云研究员，阿里云计算平台事业部首席架构师，阿里云人工智能平台PAI和大数据开发治理平台DataWorks负责人 演讲主题：大数据AI一体化的解读 今年是AI大爆发的一年，...
-
受八位合著者举报，引爆物理圈的室温超导论文被Nature撤稿，一作正接受调查
经历了大起大落，室温超导的喧嚣终于在 2023 年底告一段落。 11 月 7 日，《Nature》杂志宣布，撤回今年 3 月 Ranga Dias 团队发表的室温超导论文。 对于在过去一年数次引爆物理圈的室温超导领域来说，这是一次新的打击。 人们或许还...
-
【AI画画教程】无整合包使用LoRA和Dreambooth训练全流程详解（Linux）
前言 本教程遵循简单原则，不使用任何民间整合包。 目前很多AI画画训练整合包臃肿复杂，教程也是名词乱炖，容易对初学者造成理解误差和使用困难。因为许多整合包都依赖于sd-scripts库，它自身就能支持绝大多数的训练场景，学会这个后，自己也可以根据自己...
-
python爬虫入门教程(非常详细)
1、什么是爬虫 爬虫指的是一种自动化程序，能够模拟人类在互联网上的浏览行为，自动从互联网上抓取、预处理并保存所需要的信息。 爬虫运行的过程一般是先制定规则（如指定要抓取的网址、要抓取的信息的类型等），紧接着获取该网址的HTML源代码，根据规则对源代码进...
-
DirectShow流媒体数据的采集及图片的捕获
DirectShow位于应用层中。它使用一种叫Filter Graph的模型来管理整个数据流的处理过程；参与数据处理的各个功能模块叫Filter；各个Filter 在Filter Graph中按一定的顺序连接成一条“流水线”协同工作。按照功能来分，...
-
eBPF 实践 -- 网络可观测
简介 观测云采集器，是一款开源、一体式的数据采集 Agent，它提供全平台操作系统支持，拥有全面数据采集能力，涵盖基础设施、指标、日志、应用性能、用户访问以及安全巡检等各种场景。通过 eBPF 技术的引入，观测云采集器实践了网络传输层和应用层的部分协议的...
-
可观测数据采集端的管控方案的简单对比
概述 当前，主流的日志采集产品除了SLS的ilogtail，还有Elastic Agent、Fluentd、Telegraf、Sysdig、Logkit、Loggie、Flume等。详细的对比结果见下表： 备注： 集群监控：表示工具可以查看管理采集...
-
iLogtail 开源之路
2022年6月底，阿里云iLogtail代码完整开源，正式发布了完整功能的iLogtail社区版。iLogtail作为阿里云SLS官方标配的采集器，多年以来一直稳定服务阿里集团、蚂蚁集团以及众多公有云上的企业客户，目前已经有千万级的安装量，每天采集数十PB...