当前位置：首页 > news >正文

第P3周：Pytorch实现天气识别

news 来源：原创 2025/9/19 19:38:00

🍨 本文为🔗365天深度学习训练营中的学习记录博客
🍖 原作者：K同学啊

目标

读取天气图片，按文件夹分类
搭建CNN网络，保存网络模型并加载模型
使用保存的模型预测真实天气

具体实现

（一）环境

语言环境：Python 3.10
编译器: PyCharm
框架: Pytorch 2.5.1

（二）具体步骤

1. 通用文件Utils.py

import torch  # 第一步：设置GPU  
def USE_GPU():  if torch.cuda.is_available():  print('CUDA is available, will use GPU')  device = torch.device("cuda")  else:  print('CUDA is not available. Will use CPU')  device = torch.device("cpu")  return device

2. 模型代码

import os  from torchinfo import summary  from Utils import USE_GPU  
import pathlib  
from PIL import Image  
import matplotlib.pyplot as plt  
import numpy as np  
import torch  
import torch.nn as nn  
import torchvision.transforms as transforms  
import torchvision  
from torchvision import datasets  device = USE_GPU()  # 导入数据  
data_dir = './data/weather_photos/'  
data_dir = pathlib.Path(data_dir)  data_paths = list(data_dir.glob('*'))  
# print(data_paths)  
classNames = [str(path).split("\\")[2] for path in data_paths]  
print(classNames)  # 查看一下图片  
image_folder = './data/weather_photos/cloudy'  
# 获取image_folder下的所有图片  
image_files = [f for f in os.listdir(image_folder) if f.endswith((".jpg", ".png", ".jpeg"))]  
#创建matplotlib图像  
fig, axes = plt.subplots(3, 8, figsize=(16, 6))  for ax, img_file in zip(axes.flat, image_files):  img_path = os.path.join(image_folder, img_file)  img = Image.open(img_path)  ax.imshow(img)  ax.axis('off')  plt.tight_layout()  
plt.title(image_folder, loc='center')  
# plt.show()

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

train_transforms = transforms.Compose([  transforms.Resize([224, 224]),  # 将输入图片统一resize成224大小  transforms.RandomHorizontalFlip(),  transforms.RandomVerticalFlip(),  transforms.ToTensor(),  transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])  
])  total_data = datasets.ImageFolder(data_dir, transform=train_transforms)  
print(total_data)  # 划分数据集  
train_size = int(0.8 * len(total_data))  
test_size = len(total_data) - train_size  
train_dataset, test_dataset = torch.utils.data.random_split(total_data, [train_size, test_size])  
print(train_size, test_size)  
print(train_dataset, test_dataset)  # 设置dataloader  
batch_size = 32  
train_dl = torch.utils.data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True)  
test_dl = torch.utils.data.DataLoader(test_dataset, batch_size=batch_size, shuffle=False)  for X, y in test_dl:  print("Shape of X [N, C, H, W]: ", X.shape)  print("Shape of y: ", y.shape, y.dtype)  break  # 构建CNN网络  
import torch.nn.functional as F  class Network_bn(nn.Module):  def __init__(self):  super(Network_bn, self).__init__()  self.conv1 = nn.Conv2d(3, 12, 5, 1, 0)  self.bn1 = nn.BatchNorm2d(12)  self.conv2 = nn.Conv2d(12, 12, 5, 1, 0)  self.bn2 = nn.BatchNorm2d(12)  self.pool1 = nn.MaxPool2d(2, 2)  self.conv4 = nn.Conv2d(12, 24, 5, 1, 0)  self.bn4 = nn.BatchNorm2d(24)  self.conv5 = nn.Conv2d(24, 24, 5, 1, 0)  self.bn5 = nn.BatchNorm2d(24)  self.pool2 = nn.MaxPool2d(2, 2)  self.fc1 = nn.Linear(24 * 50 * 50, len(classNames))  def forward(self, x):  x = F.relu(self.bn1(self.conv1(x)))  x = F.relu(self.bn2(self.conv2(x)))  x = self.pool1(x)  x = F.relu(self.bn4(self.conv4(x)))  x = F.relu(self.bn5(self.conv5(x)))  x = self.pool2(x)  x = x.view(-1, 24 * 50 * 50)  x = self.fc1(x)  return x  model = Network_bn().to(device)  
print(model)  
summary(model)  # 训练模型  
loss_fn = nn.CrossEntropyLoss()  
learn_rate = 1e-4  
opt = torch.optim.SGD(model.parameters(), lr=learn_rate)  # 循环训练  
def train(dataloader, model, loss_fn, optimizer):  size = len(dataloader.dataset)  num_batches = len(dataloader)  train_loss, train_acc = 0, 0  for X, y in dataloader:  X, y = X.to(device), y.to(device)  pred = model(X)  loss = loss_fn(pred, y)  optimizer.zero_grad()  loss.backward()  optimizer.step()  train_acc += (pred.argmax(1) == y).type(torch.float).sum().item()  train_loss += loss.item()  train_acc /= size  train_loss /= num_batches  return  train_acc,train_loss  def test(dataloader, model, loss_fn):  size = len(dataloader.dataset)  num_batches = len(dataloader)  test_loss, test_acc = 0, 0  with torch.no_grad():  for imgs, target in dataloader:  imgs, target = imgs.to(device), target.to(device)  target_pred = model(imgs)  loss = loss_fn(target_pred, target)  test_loss += loss.item()  test_acc += (target_pred.argmax(1) == target).type(torch.float).sum().item()  test_acc /= size  test_loss /= num_batches  return test_acc, test_loss  epochs = 25  
train_loss = []  
train_acc = []  
test_loss = []  
test_acc = []  for epoch in range(epochs):  model.train()  epoch_train_acc, epoch_train_loss = train(train_dl, model, loss_fn, opt)  model.eval()  epoch_test_acc, epoch_test_loss = test(test_dl, model, loss_fn)  train_acc.append(epoch_train_acc)  train_loss.append(epoch_train_loss)  test_acc.append(epoch_test_acc)  test_loss.append(epoch_test_loss)  template = 'Epoch:{:2d}, Train_acc:{:.1f}%, Train_loss:{:.3f}, Test_acc:{:.1f}%，Test_loss:{:.3f}'  print(template.format(epoch + 1, epoch_train_acc * 100, epoch_train_loss, epoch_test_acc * 100, epoch_test_loss))  
print('Done')  # 结果可视化  
import matplotlib.pyplot as plt  
#隐藏警告  
import warnings  
warnings.filterwarnings("ignore")               #忽略警告信息  
plt.rcParams['font.sans-serif']    = ['SimHei'] # 用来正常显示中文标签  
plt.rcParams['axes.unicode_minus'] = False      # 用来正常显示负号  
plt.rcParams['figure.dpi']         = 100        #分辨率  epochs_range = range(epochs)  plt.figure(figsize=(12, 3))  
plt.subplot(1, 2, 1)  plt.plot(epochs_range, train_acc, label='Training Accuracy')  
plt.plot(epochs_range, test_acc, label='Test Accuracy')  
plt.legend(loc='lower right')  
plt.title('Training and Validation Accuracy')  plt.subplot(1, 2, 2)  
plt.plot(epochs_range, train_loss, label='Training Loss')  
plt.plot(epochs_range, test_loss, label='Test Loss')  
plt.legend(loc='upper right')  
plt.title('Training and Validation Loss')  
plt.show()  # 保存模型  
torch.save(model, "./models/cnn-weather.pth")

3. 预测真实图片：pred.py

from pydoc import classname  from PIL import Image  
from matplotlib import pyplot as plt  
from torch import nn  from Utils import USE_GPU  
import torch  
import  torchvision.transforms as transforms  
from torchvision import datasets  
import pathlib  device = USE_GPU()  # 构建CNN网络  
import torch.nn.functional as F  class Network_bn(nn.Module):  def __init__(self):  super(Network_bn, self).__init__()  self.conv1 = nn.Conv2d(3, 12, 5, 1, 0)  self.bn1 = nn.BatchNorm2d(12)  self.conv2 = nn.Conv2d(12, 12, 5, 1, 0)  self.bn2 = nn.BatchNorm2d(12)  self.pool1 = nn.MaxPool2d(2, 2)  self.conv4 = nn.Conv2d(12, 24, 5, 1, 0)  self.bn4 = nn.BatchNorm2d(24)  self.conv5 = nn.Conv2d(24, 24, 5, 1, 0)  self.bn5 = nn.BatchNorm2d(24)  self.pool2 = nn.MaxPool2d(2, 2)  self.fc1 = nn.Linear(24 * 50 * 50, 4)  def forward(self, x):  x = F.relu(self.bn1(self.conv1(x)))  x = F.relu(self.bn2(self.conv2(x)))  x = self.pool1(x)  x = F.relu(self.bn4(self.conv4(x)))  x = F.relu(self.bn5(self.conv5(x)))  x = self.pool2(x)  x = x.view(-1, 24 * 50 * 50)  x = self.fc1(x)  return x  model = torch.load('./models/cnn-weather.pth', weights_only=False)  
model.eval()  transform = transforms.Compose([  transforms.Resize([224, 224]),  # 将输入图片统一resize成224大小  transforms.RandomHorizontalFlip(),  transforms.RandomVerticalFlip(),  transforms.ToTensor(),  transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])  
])  className = ['cloudy', 'rain', 'shine', 'sunshine']  # 导入数据  
weather_data_directory = './mydata/weather'  
weather_data_directory = pathlib.Path(weather_data_directory)  
print(weather_data_directory)  
image_count = len(list(weather_data_directory.glob('*.jpg')))  
print("待识别天气图片数量：", image_count)  plt.figure(figsize=(5, 3))  
i = 0  
for path in weather_data_directory.glob('*.jpg'):  print(path) # 天气图片路径  image_source = Image.open(path)    # 打开图片转换成图片数据  image = transform(image_source)  image = image.unsqueeze(0)  # 增加维度  print(image.shape)  output = model(image.to(device))  pred = className[torch.argmax(output, dim=1).item()]  print(pred)  plt.subplot(2, 5, i+1)  plt.imshow(image_source)  plt.title(pred)  plt.xticks([])  plt.yticks([])  i += 1  
plt.show()

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
准确率80%.

（三）总结

下载一个大数据集训练一下，数据如下：

晴天：10000张
多云：10000张
雨天：10000张
大雪：10000张
薄雾：10000张
雷雨：10000张
经历漫长的几个小时训练，结果：

第P3周：Pytorch实现天气识别

🍨 本文为🔗365天深度学习训练营中的学习记录博客🍖 原作者：K同学啊目标读取天气图片，按文件夹分类搭建CNN网络，保存网络模型并加载模型使用保存的模型预测真实天气具体实现 （一&#xf…...

编程日记 2025/9/19 19:38:00

代理IP与生成式AI：携手共创未来

目录代理IP：网络世界的“隐形斗篷” 1. 隐藏真实IP，保护隐私 2. 突破网络限制，访问更多资源生成式AI：创意与效率的“超级大脑” 1. 提高创作效率 2. 个性化定制代理IP与生成式AI的协同作用 1. 网络安全 2. 内容创作与…...

编程日记 2025/9/19 19:34:52

函数式编程

Lambda表达式 1、什么时候可以使用Lambda表达式呢？一般都是在简化匿名内部类，当这个函数是一个接口，并且接口中只要一个方法时，就可以使用Lambda表达式 2、格式 (参数列表)->{方法体} 其中形参也不需要传，只需要传实参只关注参数列表和方法体不关注方法啥的东西…...

编程日记 2025/9/19 14:39:38

抖音SEO短视频矩阵源码系统开发分享

在数字营销的前沿阵地，抖音短视频平台凭借其独特的魅力和庞大的用户基础，已成为社交媒体领域一股不可小觑的力量。随着平台影响力的持续扩大，如何有效提升视频内容的可见度与流量成为了内容创作者关注的焦点。在此背景下，一套专为…...

编程日记 2025/9/19 19:33:30

常见的锁与线程安全

目录一、STL,智能指针和线程安全 STL中的容器是否是线程安全的? 智能指针是否是线程安全的? 二、其他常见的各种锁三、自旋锁四、读者写者问题读写锁接口读者优先伪代码一、STL,智能指针和线程安全 STL中的容器是否是线程安全的? 不是 . 原因是 , STL 的设…...

编程日记 2025/9/19 19:31:16

java中的List、数组和set

在Java中，List、数组（Array）和Set 是三种常用的数据结构，它们各自有不同的特性、用途和实现方式。下面我们将深入探讨这三者的特点、区别以及它们在 Java 中的常见使用场景。 1. 数组（Array） 特性&#x…...

编程日记 2025/9/19 19:31:41

NLP-Huggingface基本使用方法

NLP的网络结构大同小异，只不过训练策略可能会不同。因为与图像cv不同，文本训练数据非常的多，cv可以使用10几张就可以获得特征向量，而文本做不到学几句话就能让计算机听得懂话。因此，我们都需要使用预训练模型&#xff…...

编程日记 2025/9/19 19:33:29

Liquibase结合SpringBoot使用实现数据库管理

Liquibase概述 Liquibase 是一个开源的数据库变更管理工具，用于跟踪、版本化、和管理数据库结构（如表、字段、索引等）的变更。它的目的是使数据库变更的过程更加透明、可控制、自动化，避免开发团队在多个环境中手动执行相同的数据…...

编程日记 2025/9/19 19:31:40

高防CDN 如何防止DDoS和CC攻击？

在数字化时代，网络安全威胁日益严重，尤其是DDoS（分布式拒绝服务）攻击和CC（Challenge Collapsar）攻击，已成为企业网站和网络服务最常见且最具破坏力的攻击手段。为了有效抵御这些攻击&#xff0c…...

编程日记 2025/9/19 19:31:42

15.初始接口1.0 C#

这是一个用于实验接口的代码适合初认识接口的人【CSDN开头介绍】（文心一言AI生成） 在C#编程世界中，接口（Interface）扮演着至关重要的角色，它定义了一组方法，但不提供这些方法的实现。接口作为…...

编程日记 2025/9/19 19:34:52

一、loopLink.h #ifndef __LOOPLINK_H__ #define __LOOPLINK_H__#include <stdio.h> #include <stdlib.h>typedef int DataType;typedef struct node {union{int len;DataType data;};struct node* next; }loopLink, *loopLinkPtr;//创建 loopLinkPtr create();//…...

编程日记 2025/9/16 21:33:57

利用CNN与多尺度特征、注意力机制的融合实现低分辨率人脸表情识别，并给出模型介绍与代码实现

大家好，我是微学AI，今天给大家介绍一下利用CNN与多尺度特征、注意力机制的融合实现低分辨率人脸表情识别，并给出模型介绍与代码实现。在当今社会，人脸识别技术已广泛应用，但特定场景下的低质量图像仍是一大挑战。低分…...

编程日记 2025/9/16 7:36:17

spring RestTemplate使用说明

rest-template是spring对httpclient的逻辑封装，它底层还是基于httpclient，所以一些配置其实跟httpclient是强相关的。基本配置 rest-template可以不带参数，使用默认配置，也可以指定ClientHttpRequestFactory参数，Cl…...

编程日记 2025/9/17 12:35:20

设置HP条UI

概述设置常见的生命值条， 实现过程设置UI/image作为形状设置UI/Image作为背景设置UI/image（healthfill）作为填充图片，层数低于背景设置heathfill的imagetype为filled fillmethod为horizontal [SerializeField] private Im…...

编程日记 2025/9/19 4:56:47

常见排序算法总结 (五) - 堆排序与堆操作

堆排序（借助 API） 算法思想利用堆能够维护数组中最大值的性质，根据数组元素建立最大堆，依次弹出元素并维护堆结构，直到堆为空。稳定性分析堆排序是不稳定的，因为堆本质上是完全二叉树，排…...

编程日记 2025/9/17 16:39:16

Linux 本地编译安装 gcc9

这里演示非sudo权限的本地linux 用户安装 gcc9 下载源代码： 可以从GCC官方网站或其镜像站点下载GCC 9的源代码压缩包。使用wget或curl命令，这通常不需要额外权限 wget https://ftp.gnu.org/gnu/gcc/gcc-9.5.0/gcc-9.5.0.tar.gz tar -xf gcc-9.5.0.tar…...

编程日记 2025/9/16 8:19:01

开源FreeSWITCH大模型智能客服系统的最佳实践

开源 FreeSWITCH 大模型智能客服系统的最佳实践原作者：开源呼叫中心FreeIPCC，其Github：https://github.com/lihaiya/freeipcc 引言开源 FreeSWITCH 大模型智能客服系统因其灵活性、成本效益和技术先进性，成为众多企业提升客户…...

编程日记 2025/9/17 9:23:49

大数据技术与应用——数据可视化（山东省大数据职称考试）

大数据分析应用-初级第一部分基础知识一、大数据法律法规、政策文件、相关标准二、计算机基础知识三、信息化基础知识四、密码学五、大数据安全六、数据库系统七、数据仓库. 第二部分专业知识一、大数据技术与应用二、大数据分析模型三、数据科学数据可视化大…...

编程日记 2025/9/18 13:53:37

大数据之Hbase环境安装

Hbase软件版本下载地址： http://mirror.bit.edu.cn/apache/hbase/ 1. 集群环境 Master 172.16.11.97 Slave1 172.16.11.98 Slave2 172.16.11.99 2. 下载软件包 #Master wget http://archive.apache.org/dist/hbase/0.98.24/hbase-0.98.24-hadoop1-bin.tar.gz…...

编程日记 2025/9/18 19:59:31

Node.js day-01

01.Node.js 讲解什么是 Node.js，有什么用，为何能独立执行 JS 代码，演示安装和执行 JS 文件内代码 Node.js 是一个独立的 JavaScript 运行环境，能独立执行 JS 代码，因为这个特点，它可以用来编写服务器后端…...

编程日记 2025/9/17 6:51:36

OpenCV相机标定与3D重建(25)计算两个三维点集之间的最优仿射变换矩阵（3x4）函数estimateAffine3D()的使用

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述计算两个3D点集之间的最优仿射变换。它计算 [ x y z ] [ a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 ] [ X Y Z ] [ b 1 b 2 b 3 ] \beg…...

编程日记 2025/9/17 6:35:51

SQL 中 INNER JOIN 和 LEFT JOIN 的区别和用法

在数据库语言 SQL 中，连接 (也称进行表结合操作)是一种常见的操作，用于将多个数据表格核实关联进行查询。常见的连接类型中， INNER JOIN 和 LEFT JOIN 是最基本且最常用的。下面将给出完整的区别和用法说明。 1. 基本概念 INNER JOIN (内连…...

编程日记 2025/9/18 23:34:07

【计算机网络】lab2 Ethernet（链路层Ethernet frame结构细节）

🌈 个人主页：十二月的猫-CSDN博客 🔥 系列专栏： 🏀各种软件安装与配置_十二月的猫的博客-CSDN博客 💪🏻 十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光目录 1. …...

编程日记 2025/9/16 22:16:31

2024 年 MySQL 8.0.40 安装配置、Workbench汉化教程最简易（保姆级）

首先到官网上下载安装包：http://www.mysql.com 点击下载，拉到最下面，点击社区版下载 windows用户点击下面适用于windows的安装程序点击下载，网络条件好可以点第一个，怕下着下着断了点第二个离线下载双击下载好的安装…...

编程日记 2025/9/17 20:26:30

提升PHP技能：18个实用高级特性

掌握PHP基础知识只是第一步。深入了解这18个强大的PHP特性，将显著提升您的开发效率和代码质量。 1、超越 __construct() 的魔法方法虽然 __construct() 为大多数开发者所熟知，PHP 却提供了更多强大的魔术方法，例如： class Da…...

编程日记 2025/9/18 11:49:28

QT数据库（三）：QSqlQuery使用

QSqlQuery 简介 QSqlQuery 是能运行任何 SQL 语句的类，如 SELECT、INSERT、UPDATE、DELETE 等 SQL 语句。所以使用 QSqlQuery 几乎能进行任何操作，例如创建数据表、修改数据表的字段定义、进行数据统计等。如果运行的是 SELECT 语句，它查询…...

编程日记 2025/9/19 17:34:29

【机器学习】在向量的流光中，揽数理星河为衣，以线性代数为钥，轻启机器学习黎明的瑰丽诗章

文章目录线性代数入门：机器学习零基础小白指南前言一、向量：数据的基本单元1.1 什么是向量？1.1.1 举个例子： 1.2 向量的表示与维度1.2.1 向量的维度1.2.2 向量的表示方法 1.3 向量的基本运算1.3.1 向量加法1.3.2 向量的数乘1.3.3…...

编程日记 2025/9/10 20:46:11

设计模式详解（十一）：模板方法——Template Method

Template Method 设计模式 1. 概述 Template Method 是一种行为设计模式，它定义了一个算法的框架，并允许子类在不改变算法结构的前提下重新定义算法中的某些步骤。在 Template Method 模式中： 父类（抽象类）定义了…...

编程日记 2025/9/16 22:03:43

使用 DeepSpeed 微调 OPT 基础语言模型

文章目录 OPT 基础语言模型Using OPT with DeepSpeedmain.py 解析1、导入库和模块2、解析命令行参数3、main 函数3.1 设备与分布式初始化3.2 模型与数据准备3.3 定义评估函数3.4 优化器与学习率调度器设置3.5 使用 deepspeed 进行模型等初始化3.6 训练循环3.7 模型保存 4、dsch…...

编程日记 2025/9/16 23:43:08

DPDK用户态协议栈-TCP Posix API 2

tcp posix api send发送 ssize_t nsend(int sockfd, const void *buf, size_t len, __attribute__((unused))int flags) {ssize_t length 0;void* hostinfo get_host_fromfd(sockfd);if (hostinfo NULL) {return -1;}struct ln_tcp_stream* stream (struct ln_tcp_stream…...

编程日记 2025/9/16 23:56:43

目标