-
爬取“weshop”数据：深入探讨爬虫技术与应用
在互联网时代，数据被誉为“新时代的石油”，其对于商业分析、市场研究乃至决策支持的重要性不言而喻。然而，数据的获取并非易事，特别是当涉及到从特定平台，如“weshop”这样的电商网站，提取有价值的信息时。这时，爬虫技术应运而生，成为了获取网络数据的强力工具。...
-
探秘“wookteam爬虫”：揭秘数据抓取背后的技术奥秘
在当今大数据时代，数据已经成为一种宝贵的资源，而爬虫技术作为获取数据的重要手段，备受各界关注。在众多爬虫工具中，“wookteam爬虫”以其高效、稳定的特点脱颖而出，成为许多数据从业者手中的得力助手。本文将深入剖析“wookteam爬虫”的工作原理、应用场...
-
腾讯云推出AIGC云存储解决方案 专为AI大模型存储需求设计
腾讯云推出了全新的AIGC云存储解决方案，这一方案专为AI大模型在数据采集清洗、训练、推理以及数据治理等全过程中的存储需求而设计，为AI领域的各类应用提供了坚实可靠的存储保障。 AIGC，作为利用人工智能技术生成内容的工具，其应用范围已经拓展到文本、音频、...
-
大模型存储实践：性能、成本与多云
大模型应用领域的迅猛发展，也推动着基础技术领域持续探索和进步。文件存储服务在 AI 基础设施中成为不可或缺的重要部分。 在过去 18 个月的时间里，JuiceFS 团队与 MiniMax，阶跃星辰，智谱 AI，面壁智能，零一万物等大模型团队展开了交流与合...
-
PC中国销量大跌44% 被华为超越无妨！戴尔股价创历史新高 发力AI服务器
快科技4月5日消息，尽管戴尔旗下PC产品在中国市场销量大幅下降，但这并没有影响到戴尔的股价表现。 截至美股收盘时，戴尔股价涨幅扩大至超过5%，创下历史新高。 据报道，公司推出了两款新的产品节点，适用于全闪存产品，分别是 Dell PowerScale F2...
-
【换模型更简单】如何用 Serverless 一键部署 Stable Diffusion_
作者｜寒斜（阿里云智能技术专家） 前文回顾 AI 作画火了，如何用 Serverless 函数计算部署 Stable Diffusion?【自己更换模型】如何用 Serverless 一键部署 Stable Diffusion？ 本篇章是阿里云函...
-
【体验有奖】用 AI 画春天，函数计算搭建 Stable Diffusion WebUI
人工智能生成内容 AIGC（Artificial Intelligence Generated Content）是当下备受关注的概念之一，是继 PGC 和 UGC 之后的新型生产方式。AIGC 技术的核心思想是利用人工智能算法生成具有一定创意和质量的内容。...
-
Python爬虫采集的数据存储到HDFS的实践与探索
随着大数据时代的来临，数据的采集、存储和处理成为了许多企业和研究机构的重要工作。在这个过程中，Python爬虫因其灵活性和易用性成为了数据采集的常用工具，而Hadoop分布式文件系统（HDFS）则以其高容错性、高吞吐量的特点成为了大数据存储的首选。本文将详...
-
基于Discuz!的原生态数据采集策略：无需插件的实现方式
在互联网高速发展的时代，数据已经成为一种极其重要的资源。对于论坛系统来说，数据采集更是关系到信息聚合、用户体验以及后续的数据分析等多个方面。Discuz!，作为一款历史悠久的论坛系统，其功能强大且易于扩展，然而，在很多情况下，我们可能并不希望通过安装额外的...
-
基于“DokuWiki采集插件”的内容管理与知识整合
在数字时代的浪潮中，信息的获取、整理与分享变得尤为重要。对于个人和组织而言，一个高效、灵活且易于使用的内容管理系统（CMS）是不可或缺的工具。DokuWiki，作为一款轻量级、开源的Wiki应用程序，因其简单易用和强大的扩展性而受到了广泛欢迎。特别是其采集...
-
dedebiz采集技术深度解析与应用实践
dedebiz采集：深度洞察数据，智能引领未来在数字化浪潮席卷全球的今天，数据已经成为推动社会进步、企业发展不可或缺的核心资源。在这一背景下，数据采集技术的重要性日益凸显。其中，“dedebiz采集”作为一种高效、智能的数据采集解决方案，正受到越来越多企业...
-
「新手向」超简单超详细！云端部署Stable Diffusion教程
我们在本地部署时,很多人会遇到部署难、显卡算力不足、显存外溢、做图慢等问题，实在是心有余而力不足......但是没有关系，阿里云为我们提供了低代码、易上手、不吃本地配置且操作便捷的部署方案。废话不多说，直接开启我们的云端部署之旅！ 第一步...
-
Stable Diffusion 云端部署详细教程 （持续更新）
阿里云篇: 一、开通服务 函数计算 FC 点击直接传送 nas 文件存储 点击直接传送 二、创建函数计算应 第七步：角色授权填写如下配置 创建应用部署 等待完成部署（大约5-15分钟）...
-
英文视频添加中英双语字幕（基于Whisper语音识别和Google翻译）
第一步：安装配置环境，这一步重要介绍安装的环境依赖，可以看完第二章再来看一遍 （1）Whisper环境配置 可以参考以下博客的内容讲显卡驱动，CUDA和cudnn的安装比较详细，我建议能用GPU加速就尽量使用，Whisper速度有点慢如何在你的电脑...
-
【自己更换模型】如何用 Serverless 一键部署 Stable Diffusion？
作者：寒斜 上一篇讲了如何使用 Serverless Devs 和函数计算快速体验部署 Stable Diffusion，本篇继续聊聊如何解决动态模型加载的问题，从玩起来到用起来。 思路 其实很简单， 我们只需要将镜像里面的动态路径映射到 NAS...
-
爬虫数据采集基础
目录 浏览器插件 极简插件 fake_useragent模块 爬虫通讯原理 HTTP 和 HTTPS 请求 响应 会话和Cookies 无状态HTTP socket介绍 七层协议： 流程图 请求报文格式 使用socke...
-
Stable Diffusion实现之 Huggingface
Stable Diffusion 以及Huggingface的安装实现 介绍： Stable Diffusion AI是指将Stable Diffusion模型应用于人工智能领域的相关技术和方法。通常情况下，Stable Diffusion AI主...
-
百度AI原生应用开发工作台“千帆AppBuilder ”全面开放
百度智能云于12月20日举办的2023百度云智大会・智算大会上发布了20多款全栈产品，旨在重构云计算服务以满足大模型落地需求。会议以「大模型重构云计算，Cloud for AI」为主题，探讨大模型引发的云计算变革。百度智能云已完成从底层基础设施到大模型开发...
-
研究发现，GPT 和其他 AI 模型无法分析 SEC 备案文件
一家名为 Patronus AI 的初创公司的研究人员发现，大型语言模型在分析美国证券交易委员会（SEC）备案文件时经常无法正确回答问题。即使是表现最佳的人工智能模型配置 OpenAI 的 GPT-4-Turbo，当给予几乎整个备案文件的阅读能力和相关问题...
-
如何在阿里云快速启动Stable Diffusion轻松玩转AI绘画
前言 AIGC最近非常火热，除了chatGPT，还有Stable Diffusion AI绘画，之前看到了一系列关于AIGC的文章，了解到很多同学都想体验下AIGC的魅力。关于Stable Diffusion部署，在网上看到了很多版本，云上最简单最快速...
-
你的工厂需要部署边缘AI吗？
随着更多的制造企业希望利用人工智能(AI 工具访问数据并实时响应，预计将不断推动边缘AI市场的增长。通过采用边缘AI技术，企业可以获得更高的性能，如实时数据处理、效率和准确性，减少工作时间，并实现更好的能源管理和性能优化。 边缘AI市场预计将迎来强劲增...
-
一文掌握Ascend C孪生调试
本文分享自华为云社区《一文掌握Ascend C孪生调试》，作者：昇腾CANN。 1 What，什么是孪生调试 Ascend C提供孪生调试方法，即CPU域模拟NPU域的行为，相同的算子代码可以在CPU域调试精度，NPU域调试性能。孪生调试的整体方案...
-
戴尔技术推动AI与生成式AI策略，存储技术加速前行
戴尔技术近日宣布，通过引入新的企业数据存储技术，与Nvidia DGX SuperPod AI基础设施进行验证，助力客户实现更快的AI和生成式AI性能。戴尔 Technologies基础设施解决方案集团总裁Arthur Lewis表示:“存储性能对于成功的...
-
Meta语言模型LLaMA解读：模型的下载部署与运行代码
文章目录 llama2 体验地址 模型下载 下载步骤 准备工作 什么是Git LFS 下载huggingface模型 模型运行代码 llama2 Meta最新语言模型LLaMA解读，LLaMA是Facebook AI Re...
-
如何用 Serverless 一键部署 Stable Diffusion？
作者 | 寒斜（阿里云智能技术专家） 思路 其实很简单， 我们只需要将镜像里面的动态路径映射到 NAS文件存储里面即可，利用 NAS 独立存储文件模型，扩展，语言包等，并且我们可以为管理 NAS 单独配置一个可视化的后台，用简单的文件上传删除的方...
-
AIGC数据处理与存储解决方案
针对在AIGC的场景下，如何解决在AIGC训练过程中数据的存储和数据处理的问题，杨冠军从三个方面进行介绍与解读： 一是AIGC对存储提的新需求； 二是介绍腾讯云可以给用户提供的整体存储解决方案； ...
-
手把手教你在云环境炼丹（部署Stable Diffusion WebUI）
前几天写了一篇《手把手教你在本机安装Stable Diffusion秋叶整合包》的文章，有些同学反映对硬件的要求太高，显卡太TM贵了。今天我再分享一个云服务器炼丹的方法，方便大家快速入门上手，这个云服务不需要特殊网络设置，能连接公网网盘，随开随用，有309...
-
在 Python 中使用 OpenAI 的新 Whisper API 进行语音转文本
您是否厌倦了手动转录数小时的录音？您想节省时间并提高工作效率吗？然后，您会很高兴听到 OpenAI 用于语音到文本转换的新 Whisper API！借助这项尖端的 AI 技术，您现在可以在 Python 程序中轻松地将音频文件转换为文本。让我们在下面...
-
AIGC繁花，绽放在精耕的算力土壤之上
2023年的春天，称得上一句AI之春。大模型成为技术力量新的爆发点，生成式AI（AIGC）应用风起云涌。 产业界争先恐后训大模型之际，广大用户最大的困惑是——发布了，但就是玩不到啊！ OpenAI有地域限制且不去说它，各种国产大模型也很...
-
零基础手把手教你如何使用Laf免费玩转Midjourney
一、什么是Laf？ Laf 是一个 Serverless 框架，提供开箱即用的云函数，云数据库，对象存储等能力，是一个非常干净清爽的开发平台，不仅入门简单，还能像写博客一样写代码！最重要的是，敲重点，三分钟即可上线 ChatGPT 应用！ 若想深入了解...
-
AIGC 爆火，浪潮信息要做大模型的数据存储大底座
AIGC 在 2023 年爆火，各类大模型层出不穷，参数动辄达到千亿数量级。这些背后，数据的类型和形式也走向复杂多样。例如大模型会采用到我们真实物理世界中的文字、视觉、音频、3D、雷达、多谱等复杂多样的不同模态信号和数据，数据则又存在结构化、半结构化、非结...
-
M1芯片Mac book pro部署stable diffusion模型
使用的电脑配置： 本文中，我的实验环境是 Apple M1CPU 的 MacBook Pro，机器内存容量为 16GB。同样还能够运行本文的设备包含： 2022 年生产的MacBook Air (M2 、13寸的 MacBook Pro (M2 、M...
-
Intrepid—总线采集测试仿真工具
ValueCAN 4-4 USB-4 CAN FD 接口 ValueCAN 4系列是英特佩斯的下一代低成本、高性能接口，适用于CAN和CAN FD 网络。ValueCAN 4 系列是四个相关产品系列，提供CAN FD支持，通过USB的供电和...
-
大数据之路——日志采集
二、数据技术篇—— 日志采集 2.1 浏览器日志采集 2.1.1 页面型的日志采集分类 2.1.2 页面访问过程 2.1.3 页面浏览日志采集流程@ 2.1.4 页面交互日志采集 2.1.5 页面交互日志清洗和预处理 2.2 无线客户端的日...
-
scrapy入门之创建爬虫项目+scrapy常用命令
windows下载安装scrapy 进入cmd模式，输入：pip install Scrapy 也可以使用：pip install scrapy==1.1.0rc3 来安装对应版本的scrapy 常见问题 pip版本需要升级 python -m...
-
元数据采集
总结总结吧。 Oracle 角色：dba,all，user。主要采集的是dba角色的视图，部分采集的是all。 dba 数据库管理员角色 user 当前用户 all 介于两者之间 主要采集了[objects, tables, tab_columns,]...