ModelArts平台打卡体验活动:MindSpore2.4.0快速入门
一、环境准备
1.进入ModelArts官网
云平台帮助用户快速创建和部署模型,管理全周期AI工作流,选择下面的云平台以开始使用昇思MindSpore,可以在昇思教程中进入ModelArts官网
创建notebook,点击【打开】启动,进入ModelArts调试环境页面。
注意选择西南-贵阳一,mindspore_2.3.0
等待环境搭建完成
下载案例notebook文件
打开官网教程页面快速入门 — MindSpore master 文档,选择想要运行的教程,下载notebook文件。
选择ModelArts Upload Files上传.ipynb文件
进入昇思MindSpore官网,点击上方的安装获取安装命令
MindSpore版本升级,镜像自带的MindSpore版本为2.3,该活动要求在MindSpore2.4.0版本体验,所以需要进行MindSpore版本升级。
命令如下:
export no_proxy='a.test.com,127.0.0.1,2.2.2.2'
pip install https://ms-release.obs.cn-north-4.myhuaweicloud.com/2.4.0/MindSpore/unified/aarch64/mindspore-2.4.0-cp39-cp39-linux_aarch64.whl --trusted-host ms-release.obs.cn-north-4.myhuaweicloud.com -i https://pypi.tuna.tsinghua.edu.cn/simple
回到Notebook中,在第一块代码前加命令
pip install --upgrade pippip install mindvisionpip install download
二、快速入门
本节通过MindSpore的API来快速实现一个简单的深度学习模型。若想要深入了解MindSpore的使用方法,请参阅各节最后提供的参考链接。
import mindspore
from mindspore import nn
from mindspore.dataset import vision, transforms
from mindspore.dataset import MnistDataset
处理数据集
MindSpore提供基于Pipeline的数据引擎,通过数据集(Dataset)实现高效的数据预处理。在本教程中,我们使用Mnist数据集,自动下载完成后,使用mindspore.dataset提供的数据变换进行预处理。
如果下载失败,直接打开链接本地下载上传
MNIST数据集目录结构如下:
MNIST_Data
└── train├── train-images-idx3-ubyte (60000个训练图片)├── train-labels-idx1-ubyte (60000个训练标签)
└── test├── t10k-images-idx3-ubyte (10000个测试图片)├── t10k-labels-idx1-ubyte (10000个测试标签)
数据下载完成后,获得数据集对象。
train_dataset = MnistDataset('MNIST_Data/train')
test_dataset = MnistDataset('MNIST_Data/test')
打印数据集中包含的数据列名,用于dataset的预处理。
print(train_dataset.get_col_names())
['image', 'label']
MindSpore的dataset使用数据处理流水线(Data Processing Pipeline),需指定map、batch、shuffle等操作。这里我们使用map对图像数据及标签进行变换处理,将输入的图像缩放为1/255,根据均值0.1307和标准差值0.3081进行归一化处理,然后将处理好的数据集打包为大小为64的batch。
可使用create_tuple_iterator 或create_dict_iterator对数据集进行迭代访问,查看数据和标签的shape和datatype。
网络构建
mindspore.nn类是构建所有网络的基类,也是网络的基本单元。当用户需要自定义网络时,可以继承nn.Cell类,并重写__init__方法和construct方法。__init__包含所有网络层的定义,construct中包含数据(Tensor)的变换过程。
模型训练
在模型训练中,一个完整的训练过程(step)需要实现以下三步:
正向计算:模型预测结果(logits),并与正确标签(label)求预测损失(loss)。
反向传播:利用自动微分机制,自动求模型参数(parameters)对于loss的梯度(gradients)。
参数优化:将梯度更新到参数上。
MindSpore使用函数式自动微分机制,因此针对上述步骤需要实现:
定义正向计算函数。
使用value_and_grad通过函数变换获得梯度计算函数。
定义训练函数,使用set_train设置为训练模式,执行正向计算、反向传播和参数优化。
除训练外,我们定义测试函数,用来评估模型的性能。
训练过程需多次迭代数据集,一次完整的迭代称为一轮(epoch)。在每一轮,遍历训练集进行训练,结束后使用测试集进行预测。打印每一轮的loss值和预测准确率(Accuracy),可以看到loss在不断下降,Accuracy在不断提高。
Epoch 1
-------------------------------
loss: 2.311627 [ 0/938]
loss: 1.666076 [100/938]
loss: 1.110389 [200/938]
loss: 0.605814 [300/938]
loss: 0.345753 [400/938]
loss: 0.378101 [500/938]
loss: 0.504920 [600/938]
loss: 0.379824 [700/938]
loss: 0.231474 [800/938]
loss: 0.344825 [900/938]
Test: Accuracy: 91.0%, Avg loss: 0.316116 Epoch 2
-------------------------------
loss: 0.598345 [ 0/938]
loss: 0.291100 [100/938]
loss: 0.311943 [200/938]
loss: 0.234684 [300/938]
loss: 0.170997 [400/938]
loss: 0.308111 [500/938]
loss: 0.355017 [600/938]
loss: 0.135616 [700/938]
loss: 0.173434 [800/938]
loss: 0.325416 [900/938]
Test: Accuracy: 92.7%, Avg loss: 0.251752 Epoch 3
-------------------------------
loss: 0.183711 [ 0/938]
loss: 0.194196 [100/938]
loss: 0.257925 [200/938]
loss: 0.237403 [300/938]
loss: 0.310123 [400/938]
loss: 0.232147 [500/938]
loss: 0.089809 [600/938]
loss: 0.289659 [700/938]
loss: 0.173989 [800/938]
loss: 0.263169 [900/938]
Test: Accuracy: 93.9%, Avg loss: 0.219952 Done!
保存模型
模型训练完成后,需要将其参数进行保存。
加载模型
加载保存的权重分为两步:
重新实例化模型对象,构造模型。
加载模型参数,并将其加载至模型上。
加载后的模型可以直接用于预测推理。
相关文章:
ModelArts平台打卡体验活动:MindSpore2.4.0快速入门
一、环境准备 1.进入ModelArts官网 云平台帮助用户快速创建和部署模型,管理全周期AI工作流,选择下面的云平台以开始使用昇思MindSpore,可以在昇思教程中进入ModelArts官网 创建notebook,点击【打开】启动,进入ModelA…...
python学习——洛谷P2010 [NOIP2016 普及组] 回文日期 三种方法
[NOIP2016 普及组] 回文日期 文章目录 [NOIP2016 普及组] 回文日期题目背景题目描述输入格式输出格式样例 #1样例输入 #1样例输出 #1 样例 #2样例输入 #2样例输出 #2 提示方法一方法二方法三 题目背景 NOIP2016 普及组 T2 题目描述 在日常生活中,通过年、月、日这…...
现代风格VUE3易支付用户控制中心
适用系统 彩虹易支付 技术栈 vitevue3elementuiplusphp 亮点 独立前端代码,扩展开发,不改动系统文件,不影响原版升级 支持功能订制 界面预览...
重生之我在异世界学智力题(9)
大家好,这里是小编的博客频道 小编的博客:就爱学编程 很高兴在CSDN这个大家庭与大家相识,希望能在这里与大家共同进步,共同收获更好的自己!!! 本文目录 引言时间旅行者的逻辑谜题题目描述&#…...
《Mycat核心技术》第05章:Mycat中文乱码解决方案
作者:冰河 星球:http://m6z.cn/6aeFbs 博客:https://binghe.gitcode.host 文章汇总:https://binghe.gitcode.host/md/all/all.html 星球项目地址:https://binghe.gitcode.host/md/zsxq/introduce.html 沉淀,…...
Flink执行模式(批和流)如何选择
DataStream API支持不同的运行时执行模式(batch/streaming),你可以根据自己的需求选择对应模式。 DataStream API的默认执行模式就是streaming,用于需要连续增量处理并且预计会一直保持在线的无界(数据源输入是无限的)作业。 而batch执行模式则用于有界(输入有限)作业…...
vue 文本域 展示的内容格式要和填写时保持一致
文本域 展示的内容格式要和填写时保持一致 <el-inputtype"textarea":rows"5"placeholder"请输入内容"v-model"formCredit.point"style"width:1010px;" > </el-input> 样式加个: white-space: pre-w…...
计算机基础知识复习12.20
B树与B树差异的点 叶子节点最底部的节点才会存放实际数据(索引记录),非叶子节点只会存放索引 所有索引都会在叶子节点出现,叶子节点之间构成一个有序链表 为什么mysql使用B树 单点查询:B树的非叶子节点不存放实际的记录数据,仅…...
Flash语音芯片相比OTP语音芯片的优势
Flash语音芯片和OTP语音芯片是两种常见的语音解决方案,在各自的应用领域中发挥着重要作用。本文将介绍Flash语音芯片相比OTP(One-Time Programmable)语音芯片的显著优势。 1.可重复擦写:Flash语音芯片的最大特点是支持多次编程和擦除,…...
深度学习模型中增加随机性可以通过多种方式实现,以下是一些可以应用到你的 `TCNAttentionLSTM`
在深度学习模型中增加随机性可以通过多种方式实现,以下是一些可以应用到你的TCNAttentionLSTM模型中的方法: ### 1. Dropout 你已经在模型中使用了dropout,这是增加随机性的一种常见方法。你可以通过调整dropout率来控制随机性的程度。 ###…...
JavaScript:一个争议与机遇并存的编程语言
JavaScript的诞生带着某种戏剧性色彩。1995年,网景公司的Brendan Eich在短短10天内设计出了这门语言。这种仓促的诞生为JavaScript埋下了许多设计缺陷的隐患,这些问题直到今天仍在困扰着开发者。然而,正是这样一个充满争议的语言,…...
后摩尔定律时代,什么将推动计算机性能优化的发展?
在摩尔定律时代,每两年芯片上的晶体管数量就会翻一番,这一看似不可避免的趋势被称为摩尔定律,它极大地促进了计算机性能的提高。然而,硅基晶体管不可能一直小下去,半导体晶体管的微型化推动了计算机性能的提升…...
台球助教平台系统开发APP和小程序信息收藏功能需求解析(第十二章)
以下是开发台球助教系统客户端(APP,小程序,H5)几端的信息收藏功能的详细需求和功能说明,内容比较详细,可以说是一个教科书式的详细说明了,这套需求说明不仅仅用在我们的台球助教系统程序上&…...
软件实验室认可|实验室比对的形式与方法
实验室比对是软件测试实验室在申请软件实验室认可必须要做的一类质量控制活动。实验室比对包括实验室间比对,和实验室内比对。实验室间比对指的是按照预先规定的条件,由两个或多个实验室对相同或类似的物品进行测量或检测的组织、实施和评价。实验室内比…...
HarmonyOS NEXT开发进阶(四):@Builder 装饰器实现UI结构复用
一、前言 当页面有多个相同的UI结构时,若每个都单独声明,同样会有大量重复的代码。为避免重复代码,可以将相同的UI结构提炼为一个自定义组件,完成UI结构的复用。 除此之外,ArkTS还提供了一种更轻量的UI结构复用机制B…...
Vivado/Vitis中自定义IP的驱动
在使用Xilinx FPGA时,很多时候都要添加自定义的IP以实现相应的功能,一些时候会通过AXI总线与软核或硬核相连,这个时候就可以在软件中对IP进行控制。 当我们打开Vitis开始软件编写时,会遇到自定义IP驱动编译不过的情况,…...
CentOS7安装Python3.9(已装python2.6)
Python下载地址:Index of /ftp/python/ 下载并解压 # 安装wgetyum -y install wget # 下载wget https://www.python.org/ftp/python/3.9.0/Python-3.9.0.tgz # 解压tar zxvf Python-3.9.0.tgz # 切换目录cd Python-3.9.0 编译并安装 # 编译 ./configure --prefix/us…...
cenos如何升级git到2以上版本
1:先卸载旧的版本: # 卸载源默认安装的git $ git --version git version 1.8.3.1 $ sudo yum remove git2: 安装新的git版本 编译 配置环境变量 下载相关依赖 并安装 [rootlocalhost /]# yum install curl-devel expat-devel openssl-devel zlib-devel gcc […...
【JetPack】Navigation知识点总结
Navigation的主要元素: 1、Navigation Graph: 一种新的XML资源文件,包含应用程序所有的页面,以及页面间的关系。 <?xml version"1.0" encoding"utf-8"?> <navigation xmlns:android"http://schemas.a…...
图文社区用户搜索关系表设计方案:空间换时间的权衡与抉择
背景 我们来聊一个解决方案:我们做了一个和抖音产品类似的图文社区,社区有一个搜索栏,通过名字搜索用户,搜索出来的用户需要体现出其与当前用户的关系:1.当前用户的粉丝。2.当前用户关注的人。3.互相关注。目前总用户…...
问题小记-达梦数据库报错“字符串转换出错”处理
最近遇到一个达梦数据库报错“-6111: 字符串转换出错”的问题,这个问题主要是涉及到一条sql语句的执行,在此分享下这个报错的处理过程。 问题表现为:一样的表结构和数据,执行相同的SQL,在Oracle数据库中执行正常&…...
空天地遥感数据识别与计算--数据分析如何助力农林牧渔、城市发展、地质灾害监测等行业革新
在科技飞速发展的时代,遥感数据的精准分析已经成为推动各行业智能决策的关键工具。从无人机监测农田到卫星数据支持气候研究,空天地遥感数据正以前所未有的方式为科研和商业带来深刻变革。然而,对于许多专业人士而言,如何高效地处…...
Cherno C++ 学习笔记 智能指针
这一篇我们会讲到一个C当中非常重要的特性,也就是智能指针smart pointer。在我们知道了new和delete两个关键字之后,我们了解了如何在堆上分配内存以及如何释放内存。但是当我们new了一个或者一堆对象之后,很多时候我们会容易忘掉delete所有需…...
C++ OpenGL学习笔记(2、绘制橙色三角形绘制、绿色随时间变化的三角形绘制)
相关文章链接 C OpenGL学习笔记(1、Hello World空窗口程序) 目录 绘制橙色三角形绘制1、主要修改内容有:1.1、在主程序的基础上增加如下3个函数1.2、另外在主程序外面新增3个全局变量1.3、编写两个shader程序文件 2、initModel()函数3、initS…...
如何创建属于自己的大语言模型:从零开始的指南
如何创建属于自己的大语言模型:从零开始的指南 为什么要创建自己的大语言模型? 随着人工智能的快速发展,大语言模型(LLM)在各种场景中表现出了卓越的能力,例如文本生成、对话交互和内容总结等。虽然市场上…...
【AIGC安全】CCF-CV企业交流会直播回顾:探寻AI安全治理,共筑可信AI未来
文章目录 一、活动背景:AI技术快速发展与安全治理需求迫切二、论坛内容金耀辉:智能共生时代:平衡生成式AI的创新与风险何延哲:人工智能安全检测评估的逻辑和要点谢洪涛:面向特定人物深度伪造视频的主动防御与被动检测技…...
win11+cuda11x+VS2019安装后没有cuda模板,贫穷版cuda环境
显卡是GTX710,挂在闲鱼200块钱一年多都没卖出去的一款。win11最开始安装了visual studio 2022,不过安装目录自定义,后续安装cuda 11.1.1,这个顺序在各种博客资料都是正确的,先VS,后cuda。但是创建项目也没有…...
四相机设计实现全向视觉感知的开源空中机器人无人机
开源空中机器人 基于深度学习的OmniNxt全向视觉算法OAK-4p-New 全景硬件同步相机 机器人的纯视觉避障定位建图一直是个难题: 系统实现复杂 纯视觉稳定性不高 很难选到实用的视觉传感器 为此多数厂家还是采用激光雷达的定位方案。 OAK-4p-New 为了弥合这一差距…...
越疆科技营收增速放缓:毛利率未恢复,持续亏损下销售费用偏高
《港湾商业观察》施子夫 12月13日,深圳市越疆科技股份有限公司(以下简称,越疆科技,02432.HK)发布全球发售公告,公司计划全球发售4000万股股份,其中3800万股国际发售,200万股香港公开…...
南城云趣:智能云平台,杜绝电动车充电安全隐患
电动自行车作为绿色低碳出行的主要方式之一,受到无数市民的推崇,而电动自行车数量的急剧上涨,也严重增加小区管理的负担。记者调查发现,目前电动自行车缺乏有效的管理,使得带车或电瓶上楼充电、乱停乱放、车辆容易被盗等安全问题日益突出,给社区消防安全和管理带来严峻的挑战。…...
uniapp对接unipush 1.0 ios/android
简介 实现方法 是uniapp官网推荐的 unipush-v1 文档配置具体看 uni-app官网 配置好了之后 代码实现 前端代码 前端的主要任务是监听 监听到title content 创建消息推送 安卓 可以收到在线消息并且自动弹出消息 IOS 可以监听到在线消息但是需要手动推送 以下代码app初始…...
Vue.js前端框架教程11:Vue监听器watch和watchEffect
文章目录 监听器(watchers)基本用法deep: trueimmediate: true总结 watchEffect基本用法自动追踪依赖停止监听与 watch 的对比性能优化总结 监听器(watchers) 在 Vue 中,监听器(watchers)是一种…...
和数集团针对元宇宙数字身份及资产验证安全性发起挑战
随着时间的推移,元宇宙的发展潜力是无限的。 但与此同时,故事中充斥着疑问、困惑和不安。马克扎克伯格声称人类在未来将生活在虚拟世界中。也许是这样,但元宇宙的应用也面临很多障碍。其中一个领域是安全。对于在元宇宙中发生的任何交易&…...
llama2中的model.py中的结构示意图
参考文章:https://zhuanlan.zhihu.com/p/679640407...
Spring事务管理详解
一、什么是事务管理 事务是一个最小的不可再分的工作单元。 一个事务对应一套完整的业务操作。事务管理是指这些操作要么全部成功执行,要么全部回滚,从而保证数据的一致性和完整性。比如银行转账,需要保证转出和转入是一个原子操作。Spring提…...
被裁20240927 --- 嵌入式硬件开发 前篇
前篇主要介绍一些相关的概念,用于常识扫盲,后篇开始上干货! 他捧着一只碗吃过百家的饭 处理器芯片处理器芯片制造商嵌入式处理器芯片制造商国内制造商国外制造商 与意法半导体对标的国产芯片制造商一、中芯国际二、华为海思三、紫光国微四、北…...
CMake的INSTALL FILES和INSTALL DIRECTORY有什么区别
在 CMake 中,install() 命令用于安装构建的目标文件、头文件、库等到指定的目标路径。install(FILES ...) 和 install(DIRECTORY ...) 都是 install() 命令的具体用法,它们的功能和适用场景不同。 以下是两者的详细区别和用法说明: 1. insta…...
提炼关键词的力量:AI驱动下的SEO优化策略
内容概要 在当今数字化营销的环境中,关键词对于提升网站的可见性和流量起着至关重要的作用。企业和个人必须重视有效的关键词策略,以便在竞争激烈的网络市场中脱颖而出。本文将深入探讨如何利用人工智能技术来优化SEO策略,特别是在关键词选择…...
springboot中Controller内文件上传到本地以及阿里云
上传文件的基本操作 <form action"/upload" method"post" enctype"multipart/form-data"> <h1>登录</h1> 姓名:<input type"text" name"username" required><br> 年龄…...
【MFC】多工具栏如何保存状态
MFC中的工具栏本来只有一个,如果想增加几个工具栏是比较简单,但现在一个重要的问题是,状态无法保存,导致每次打开,工具栏就会出现问题,要么偏移位置要么显示不出。 经过研究,发现是MFC框架中的…...
IDEA搭建SpringBoot,MyBatis,Mysql工程项目
目录 一、前言 二、项目结构 三、初始化项目 四、SpringBoot项目集成Mybatis编写接口 五、代码仓库 一、前言 构建一个基于Spring Boot框架的现代化Web应用程序,以满足[公司/组织名称]对于[业务需求描述]的需求。通过利用Spring Boot简化企业级应用开发的优势&…...
鸿蒙心路旅程:HarmonyOS NEXT 心路旅程:技术、成长与未来
HarmonyOS NEXT 心路旅程:技术、成长与未来 技术的浪潮中,总有一些瞬间让人感到心潮澎湃。作为一名HarmonyOS NEXT开发者,我有幸成为这个时代科技创新的一部分。从最初的接触到深入学习、开发,以及如今规划未来的职业方向&#x…...
【漫话机器学习系列】010.Bagging算法(Bootstrap Aggregating)
Bagging算法(Bootstrap Aggregating) Bagging(Bootstrap Aggregating 的缩写)是一种集成学习方法,通过构建多个弱学习器(例如决策树)并将它们的结果进行平均(回归)或投票…...
【信息系统项目管理师】高分论文:论信息系统项目的进度管理(人力资源管理系统)
更多内容请见: 备考信息系统项目管理师-专栏介绍和目录 文章目录 论文1、规划进度管理3、排列活动顺序4、估算活动持续时间5、制订进度计划6、控制进度论文 2022年2月,我作为项目经理参与了XX电网公司人力资源管理系统建设项目,该项目是2022年XX电网公司“十三五”信息化规…...
Go web 开发框架 Iris
背景 掌握了 Go 语言的基础后就该开始实践了,编写Web应用首先需要一个 web 开发框架。做框架选型时,处理web请求是基本功能,至于MVC是更进一步需要。现在比较流行的web架构是前后端分离,后端响应RESTful的请求,Iris 能…...
模具生产过程中的标签使用流程图
①NFC芯片嵌入周转筐,通过读卡器读取CK_Label_v3的数据,并将这些信息上传至服务器进行存储; ②服务器随后与客户的WMS(仓库管理系统)进行交互,记录和同步注塑机的原始数据; ③当周转筐内的模具…...
精准提升:从94.5%到99.4%——目标检测调优全纪录
🚀 目标检测模型调优过程记录 在进行目标检测模型的训练过程中,我们面对了许多挑战与迭代。从初始模型的训练结果到最终的调优优化,每一步的实验和调整都有其独特的思路和收获。本文记录了我在优化目标检测模型的过程中进行的几次尝试&#…...
【LC】100. 相同的树
题目描述: 给你两棵二叉树的根节点 p 和 q ,编写一个函数来检验这两棵树是否相同。 如果两个树在结构上相同,并且节点具有相同的值,则认为它们是相同的。 示例 1: 输入:p [1,2,3], q [1,2,3] 输出&…...
Midjourney参数大全
基本参数 纵横比,宽高比 --aspect,或--ar更改生成的纵横比。 混乱 --chaos <number 0–100>改变结果的变化程度。更高的数值会产生更多不寻常和意想不到的结果。 图像权重 --iw <0–2>设置相对于原始图像相识度。默认值为 1&a…...
【达梦数据库】获取对象DDL
目录 背景获取表的DDL其他 背景 在排查问题时总会遇到获取对象DDL的问题,因此做以下总结。 获取表的DDL 设置disql工具中显示LONG类型数据的最大长度,避免截断: SET LONG 9999获取DDL SELECT DBMS_METADATA.GET_DDL(TABLE,表名,模式名) …...