-
大数据存储解决方案：hdfs、s3与nosql
在当今信息爆炸的时代，大数据已成为企业运营与决策的核心资源。如何高效地存储、管理和分析这些数据，成为了技术领域的重大挑战。为此，业界发展出了多种大数据存储解决方案，其中Hadoop分布式文件系统（HDFS）、亚马逊简单存储服务（S3）以及NoSQL数据库是...
-
数据仓库性能优化与调优技巧
标题：数据仓库性能优化与调优技巧：深度解析与实践策略在当今大数据时代，数据仓库作为企业数据存储与分析的核心，其性能直接关系到数据处理的效率与业务决策的及时性。因此，数据仓库的性能优化与调优成为了企业IT部门的重要任务。本文将深入探讨数据仓库性能优化的关键要...
-
爬虫中的数据存储与备份策略
在数据抓取（即爬虫）的过程中，数据存储与备份策略是至关重要的环节。有效的存储和备份不仅能够确保数据的完整性和安全性，还能提高数据处理的效率和灵活性。本文将探讨爬虫中的数据存储与备份策略，涵盖数据存储方式、备份机制以及最佳实践。 一、数据存储方式 1. 本地...
-
大模型存储选型 & JuiceFS 在关键环节性能详解
从去年开始，LLM大语言模型领域发展迅速、如 LLaMA、ChatGLM、Baichuan、Qwen 和 yi-model 等基础模型（Foundation Models）的数量显著增加。众多企业也开始基于这些基础模型做 post-training 的相关...
-
在线体验阿里云的通义万相（AIGC）文本绘图与人像美化功能
介绍 阿里云的通义万相AIGC技术为Web服务带来了图像生成的全新境界。想象一下，仅凭一段文字描述或随手涂鸦，就能转换为专业级的图像作品，包括人像风格重塑和定制写真等。这不仅加速了创意流程，也为广告、教育、游戏等行业带来视觉升级，满足个性化视觉内容需求...
-
JuiceFS 在多云架构中加速大模型推理
在大模型的开发与应用中，数据预处理、模型开发、训练和推理构成四个关键环节。本文将重点探讨推理环节。在之前的博客中，社区用户 BentoML 和贝壳的案例提到了使用 JuiceFS 社区版来提高模型加载的效率。本文将结合我们的实际经验，详细介绍企业版在此场景...
-
C++入门基础
目录 一、命名空间 1.命名空间的作用 2.命名空间的定义 3.命名空间的使用 二、输入输出 1.输出运算符<< 2.输入运算符>> 三、缺省参数 四、函数重载 五、引用 1.引用简介 2.引用的注意...
-
小文件写入性能 5 倍于 S3FS，JuiceFS 加速生信研究
在生物信息学研究领域，NextFlow 是一款主流数据分析工具，广泛应用于多种研究项目。MemVerge，内存融合基础架构厂商，其公有云计算平台产品 Memory Machine Cloud (MMCloud 无缝集成了 NextFlow，为生物信息学家...
-
通义万相AI绘画创作评测及图文搭建教程
项目概述： 本项目旨在利用先进的AI技术为用户提供一个直观且高效的在线绘画创作平台。通过整合阿里云的多项服务，包括弹性计算服务（ECS）、对象存储服务（OSS）以及AI模型服务，我们能够为用户打造一个无缝的创作环境，使他们能够轻松地生成和编辑艺术作品。...
-
SpringBootWeb 篇-深入了解会话技术与会话跟踪三种技术（Cookie 会话跟踪、Session 会话跟踪与 JWT 令牌会话跟踪）
?博客主页： 【小扳_-CSDN博客】 ❤感谢大家点赞?收藏⭐评论✍ 文章目录 1.0 会话技术 2.0 会话跟踪 2.1 会话跟踪 - Cookie 2.1.1 客户端...
-
AIGC 训练场景下的存储特征研究
云布道师 引言：在传统块存储大行其道的时代，需要针对很多行业的工作负载（Workload）进行调研，包含块大小、随机读、读写比例等等。知道行业的 Workload 对于预估业务的 I/OPS、时延、吞吐等性能有很好的指导意义，其次，也便于制定针对行业的...
-
XSKY对象存储深度结合Alluxio分布式缓存系统，GPU利用率提高至90%以上
近日，Alluxio分布式缓存系统完成了与XSKY星辰天合的 XEOS V6.4 对象存储的兼容性测试，旨在解决数据管理和加速方面的挑战。双方进行了深度的产品对接和联合开发，将 Alluxio 分布式缓存系统与 XEOS 对象存储的众多应用特性进行结合，推...
-
腾讯云存储面向AIGC全面升级，搭载全面自研存储引擎
云厂商继续为大模型加速落地铺路架桥。 4月8日，腾讯云宣布云存储解决方案面向AIGC场景全面升级，能够针对AI大模型数据采集清洗、训练、推理、数据治理全流程提供全面、高效的云存储支持。数据显示，采用腾讯云AIGC云存储解决方案，可将大模型的数据清洗和训...
-
[AIGC ]详解MinIO：特性，Docker部署和Spring Boot集成
MinIO是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合存储大容量非结构化的数据，如图片、视频、日志文件、备份数据、容器/虚机镜像等，而且MinIO非常轻量，只有一个单独的二进制文件。它的设...
-
案例分享｜Alluxio在自动驾驶模型训练中的应用与部署
分享嘉宾： 杨林三-辉羲智能 关于辉羲智能： 辉羲智能是一家做自动驾驶芯片的初创公司，成立于2022年。致力打造创新车载智能计算平台，提供高阶智能驾驶芯片、易用开放工具链及全栈自动驾驶解决方案，助力车企实现优质高效的自动驾驶量产交付，构建低成本、大规...
-
腾讯 PCG 搜广推机器学习框架GPU 性能优化实践
一、为什么 GPU 推荐模型训练框架是刚需 1. PCG 算力集群缺点 最开始的时候，腾讯 PCG 所有的推荐模型训练都是使用 CPU。但随着业务的深入，以及深度学习模型的发展，PCG 算力集群在做下一代推荐模型时会遇到各种问题： 首先，系统网络带宽...
-
腾讯云推出AIGC云存储解决方案 专为AI大模型存储需求设计
腾讯云推出了全新的AIGC云存储解决方案，这一方案专为AI大模型在数据采集清洗、训练、推理以及数据治理等全过程中的存储需求而设计，为AI领域的各类应用提供了坚实可靠的存储保障。 AIGC，作为利用人工智能技术生成内容的工具，其应用范围已经拓展到文本、音频、...
-
大模型存储实践：性能、成本与多云
大模型应用领域的迅猛发展，也推动着基础技术领域持续探索和进步。文件存储服务在 AI 基础设施中成为不可或缺的重要部分。 在过去 18 个月的时间里，JuiceFS 团队与 MiniMax，阶跃星辰，智谱 AI，面壁智能，零一万物等大模型团队展开了交流与合...
-
数据本地性如何助力企业在云上实现高效机器学习
2.2 训练前将数据从远端拷贝到本地 另一种方案是在训练开始之前手动将数据集从远端云存储拷贝到本地磁盘/存储中。这样可以让数据位于本地，从而具备数据本地性的所有性能和成本优势。该方案的挑战主要在于数据管理。用户必须在作业完成后手动删除已拷贝的数据，为下一...
-
程序员逆袭 CEO 总共分几步？
2024年，是充满未知和挑战的一年。AI 的发展日新月异，已经有人用它来写代码了，啥时候会替代程序员，可真不好说。另一方面，程序员扎堆的 IT 互联网行业却进入了平台期甚至下行期，降本增效成为行业主流，裁员缩招的声音不绝于耳。在这种前有狼后有虎的年头，作为...
-
千卡利用率超98%，详解JuiceFS在权威AI测试中的实现策略
2023 年 9 月，AI 领域的权威基准评测 MLPerf 推出了 Storage Benchmark。该基准测试通过模拟机器学习 I/O 负载的方法，在不需要 GPU 的情况下就能进行大规模的性能压测，用以评估存储系统的在 AI 模型训练场景的适用性。...
-
极限挑战：使用 Go 打造百亿级文件系统的实践之旅
JuiceFS 企业版是一款为云环境设计的分布式文件系统，单命名空间内可稳定管理高达百亿级数量的文件。 构建这个大规模、高性能的文件系统面临众多复杂性挑战，其中最为关键的环节之一就是元数据引擎的设计。JuiceFS 企业版于 2017 年上线，经过几年的...
-
RocketMQ Copilot GA 版本全新发布！
RocketMQ Copilot 1.0.0 经过一段时间的开发迭代，终于和大家见面了！1.0.0 相比较于之前提供了更多新特性，同时也在之前版本的基础上做了不少功能增强，是 RocketMQ Copilot 的第一个 GA 版本。在新版本中，Rocket...
-
击败OpenAI，权重、数据、代码全开源，能完美复现的嵌入模型Nomic Embed来了
一周前，OpenAI 给广大用户发放福利，在下场修复 GPT-4 变懒的问题后，还顺道上新了 5 个新模型，其中就包括更小且高效的 text-embedding-3-small 嵌入模型。 我们知道，嵌入是表示自然语言或代码等内容中概念的数字序列。嵌入使...
-
云原生场景下，AIGC 模型服务的工程挑战和应对
“成本”、“性能”和 “效率”正在成为影响大模型生产和应用的三个核心因素，也是企业基础设施在面临生产、使用大模型时的全新挑战。AI 领域的快速发展不仅需要算法的突破，也需要工程的创新。 01 大模型推理对基础设施带来更多挑战 首先，AI 商业化的时代，...
-
开源一个整合了AIGC大语言模型的SpringBoot智慧医药系统
前言 哈喽兄弟们，好久不见哦～ 最近整理了一下之前写过的一些小项目/毕业设计。发现还是有很多存货的，虽然这些项目普遍都写的比较简单，但想一想既然放在电脑里面也吃灰，那么还不如开源分享出去，没准还可以帮助到一些小白新手。 本期就在其中选取了一个医...
-
买个机器人端茶倒水有希望了？Meta、纽约大学造了一个OK-Robot
「xx，去把电视柜上的遥控器帮我拿过来。」在一个家庭环境中，很多家庭成员都不免被支使干这种活儿。甚至有时候，宠物狗也难以幸免。但人总有支使不动的时候，宠物狗也并不一定都能听懂。帮人类干活儿的终极梦想还是寄托在机器人身上。 最近，纽约大学、Meta 研发出...
-
AIGC（Artificial Intelligence and Graph Computing）职业发展路径和前景如何？
目录 一、AIGC 基本概念 二、AIGC 市场规模 三、AIGC 未来发展前景 四、AIGC 职业发展路径 五、AIGC 技能要求 六、AIGC 相关公司 AIGC（Artificial Intelligence and Graph...
-
AI平台：阿里云-计算，为了无法计算的价值
阿里云-计算，为了无法计算的价值 阿里云-为了无法计算的价值 产品热门产品计算容器存储网络与CDN安全中间件数据库大数据计算人工智能与机器学习媒体服务企业服务与云通信物联网Serverless开...
-
2024年非结构化数据管理将以四种方式发生变化
如果说经济好的时候、坏的时候、不确定的时候、稳定的时候有一个不变的东西的话，那就是我们对大多数非结构化数据的依赖，以及我们从海量数据收集中得出的分析。非结构化数据是指当今公司的文档、图像、音频和视频文件、传感器数据和研究数据。 想想监控和车载摄像头视频...
-
百度AI原生应用开发工作台“千帆AppBuilder ”全面开放
百度智能云于12月20日举办的2023百度云智大会・智算大会上发布了20多款全栈产品，旨在重构云计算服务以满足大模型落地需求。会议以「大模型重构云计算，Cloud for AI」为主题，探讨大模型引发的云计算变革。百度智能云已完成从底层基础设施到大模型开发...
-
实时湖仓技术选型，企业如何借实时湖仓赢在“数据驱动”时代
在之前三期的实时湖仓系列文章中，我们从业务侧、产品侧、应用侧等几个方向，为大家介绍了实时湖仓方方面面的内容，包括实时湖仓对于企业数字化布局的重要性以及如何进行实时湖仓的落地实践等。 本文将从纯技术的角度，为大家解析实时湖仓的存储原理以及生态选型，为企业建...
-
AIGC参数量节节攀升，对存储带来的挑战如何解决？
引言 近期，AIGC 相关产品如同雨后春笋一般不断涌现。但在技术层面，大家普遍的关注点更多集中在性能方面，却经常忽略了存储对推理和训练效率的影响，以及 AIGC 内容可能带来的合规风险。我们特邀腾讯云存储的产品负责人 崔剑老师和益企研究院创始人、腾讯云 ...
-
AIGC 场景下存储与数据管理的挑战与应对
10月28日，"寻宝 AI 时代——OSC 源创会苏州站暨 Techo TVP 技术沙龙"在苏州圆满落幕。腾讯云存储专家解决方案架构师屠伟新带来《AIGC 场景下存储与数据管理的挑战与应对》主题分享。下面我们一起来学习回顾一下AIGC场景下的存储解决方案。...
-
长视频自动化摘要笔记完整工作流；腾讯云发布AIGC全链路内容安全解决方案
? AI新闻 ? 腾讯云发布AIGC全链路内容安全解决方案，助力企业护航生成式人工智能健康发展 摘要：腾讯云公布MaaS能力全景图，提供AIGC全链路内容安全解决方案，覆盖从模型训练到内容生成再到事后运营全过程的内容安全建设。解决方案包含审校、安全...
-
戴尔技术推动AI与生成式AI策略，存储技术加速前行
戴尔技术近日宣布，通过引入新的企业数据存储技术，与Nvidia DGX SuperPod AI基础设施进行验证，助力客户实现更快的AI和生成式AI性能。戴尔 Technologies基础设施解决方案集团总裁Arthur Lewis表示:“存储性能对于成功的...
-
盘点AWS re:Invent 2023大会值得关注的十大亮点
译者 | 晶颜 审校 | 重楼 “AWS re:Invent 2023”于11月27日至12月1日在拉斯维加斯举行，展示了亚马逊保持其领先云提供商地位的承诺。通过一系列战略公告，该公司展示了其在行业中树立新标准的不懈追求。以下是今年活动的十大亮点： A...
-
云上使用 Stable Diffusion ，模型数据如何共享和存储
随着人工智能技术的爆发，内容生成式人工智能（AIGC）成为了当下热门领域。除了 ChatGPT 之外，文本生成图像技术更令人惊艳。 Stable Diffusion，是一款开源的深度学习模型。与 Midjourney 提供的直接将文本转化为图像的服务不同...
-
AI作画技术实践第二期｜用腾讯云智能图片融合优化AI绘画的效果
上一篇文章《AI作画技术实践第一期》提到用腾讯云智能能力如何实现简易版的AI画画，发布后受到大量网友关注，也在思考还能不能做出更好的效果。最近发现AI绘画玩法在短视频平台也掀起了一波热潮，结合在网上看到有一些很优秀的AI画画模型，也想尝试在上一篇的基础上做...
-
深度解读AIGC存储解决方案
5月26日，2023数据基础设施技术峰会在苏州举办，腾讯云首席存储技术专家温涛受邀出席并分享了腾讯云领先的存储技术在AIGC场景中的应用，通过对AIGC业务流程和场景的提炼，从内容生成、内容审核和内容智理三要素介绍了如何智能的存储和管理数据。下面我们一起回...
-
AIGC数据处理与存储解决方案
针对在AIGC的场景下，如何解决在AIGC训练过程中数据的存储和数据处理的问题，杨冠军从三个方面进行介绍与解读： 一是AIGC对存储提的新需求； 二是介绍腾讯云可以给用户提供的整体存储解决方案； ...
-
如何构建新一代实时湖仓？袋鼠云基于数据湖的探索升级之路
在之前的实时湖仓系列文章中，我们已经介绍了实时湖仓对于当前企业数字化转型的重要性，实时湖仓的功能架构设计，以及实时计算和数据湖结合的应用场景。 在本篇文章中，将介绍袋鼠云数栈在构建实时湖仓系统上的探索与落地实践，及未来规划。 数栈为什么选择实时湖仓...
-
零基础手把手教你如何使用Laf免费玩转Midjourney
一、什么是Laf？ Laf 是一个 Serverless 框架，提供开箱即用的云函数，云数据库，对象存储等能力，是一个非常干净清爽的开发平台，不仅入门简单，还能像写博客一样写代码！最重要的是，敲重点，三分钟即可上线 ChatGPT 应用！ 若想深入了解...
-
【云栖2023】王峰：开源大数据平台3.0技术解读
本文根据2023云栖大会演讲实录整理而成，演讲信息如下： 演讲人：王峰 | 阿里云研究员，阿里云计算平台事业部开源大数据平台负责人 演讲主题：开源大数据平台3.0技术解读 实时化与Serverless是开源大数据3.0时代的必然选择 阿里云开源...
-
国内最具影响力科技创投媒体36Kr的容器化之路
本文由1月19日晚36Kr运维开发工程师田翰明在Rancher技术交流群的技术分享整理而成。微信搜索rancher2，添加Rancher小助手为好友，加入技术群，实时参加下一次分享~ 田翰明，36Kr 运维开发工程师，在 36Kr 主要负责运维...
-
快速入门手机爬虫
前言： 本人是在接触python爬虫后，萌发了“Android开发应该也能实现爬虫效果，这样用手机爬是不是会更方便”这一念想。于是兴趣使然就开始了手机爬虫的探索之旅。虽然这路已被探索无数次，但是对于未曾去过的我依旧向往。 一、整装待发： 1）爬虫工具...
-
带你动手设计一个高速公路多节点温度采集系统
本篇文章主要介绍设备上云的详细流程，介绍华为云物联网云端产品、设备创建流程，数据转存方式，应用侧开发接口等等。 硬件选型： （1）STM32开发板: STM32F103C8T6 （2）NBIOT模块--BC26 BC26模块是一款高性能、低...
-
Python进阶 │反爬虫和怎样反反爬虫
爬虫、反爬虫和反反爬虫是网络爬虫工作过程中一直伴随的问题。 在现实生活中，网络爬虫的程序并不像之前介绍的爬取博客那么简单，运行效果不如意者十有八九。首先需要理解一下“反爬虫”这个概念，其实就是“反对爬虫”。根...
-
腾讯云容器服务日志采集最佳实践
概述 本文介绍如何利用腾讯云容器服务 TKE 的日志功能对日志进行采集、存储与查询，分析各种功能用法与场景，给出一些最佳实践建议。 注: 本文仅适用于 TKE 集群。 如何快速上手 ? TKE 的日志功能入口在 集群运维-日志规则，更多关...
-
LC3视角：Kubernetes下日志采集、存储与处理技术实践
摘要： 在Kubernetes服务化、日志处理实时化以及日志集中式存储趋势下，Kubernetes日志处理上也遇到的新挑战，包括：容器动态采集、大流量性能瓶颈、日志路由管理等问题。本文介绍了“Logtail + 日志服务 + 生态”架构，介绍了：Logta...