当前位置：首页 > news >正文

4-深度学习网络层

news 来源：原创 2025/6/26 2:57:10

深度学习模型

Embedding层

Embedding矩阵是可训练的参数，一般会在模型构建时随机初始化
也可以使用预训练的词向量来做初始化，此时也可以选择不训练Embedding层中的参数

输入的整数序列可以有重复，但取值不能超过Embedding矩阵的列数

核心价值：将离散值转化为向量
在nlp任务和各类特征工程中应用广泛

池化层2D

池化层1D

RNN层

归一化层 Normalization

Dropout层

如何理解其作用：
1.强迫一个神经单元，和随机挑选出来的其他神经单元共同工作，消除减弱了神经元节点间的联合适应性，增强了泛化能力
2.可以看做是一种模型平均，由于每次随机忽略的隐层节点都不同，这样就使每次训练的网络都是不一样的，每次训练都可以单做一个“新”的模型
启示：计算方式并不是越复杂就越好

案例

import torch
import torch.nn as nn
import numpy as np
import random
import json'''
构造随机包含a的字符串，使用rnn进行多分类，类别为a第一次出现在字符串中的位置。
'''
class TorchModel(nn.Module):def __init__(self, vector_dim, sentence_length, vocab):super(TorchModel, self).__init__()self.embedding = nn.Embedding(len(vocab), vector_dim, padding_idx=0)self.pool = nn.AvgPool1d(sentence_length)# 池化层self.rnn_layer = nn.RNN(vector_dim, vector_dim, bias=False, batch_first=True)self.classify = nn.Linear(vector_dim, sentence_length)self.loss = nn.CrossEntropyLoss()def forward(self, x, y=None):x = self.embedding(x) # (batchSize, sentenceLength) --> (batchSize, sentenceLength, vectorDim)# x = x.transpose(1, 2) # (batchSize, sentenceLength, vectorDim) --> (batchSize, vectorDim, sentenceLength)# x = self.pool(x) # (batchSize, vectorDim, sentenceLength) --> (batchSize, vectorDim, 1)# x = x.squeeze() # (batchSize, vectorDim, 1) --> (batchSize, vectorDim)output, h = self.rnn_layer(x)x = output[:,-1,:]# (batchSize,vectorDim)y_pred = self.classify(x)# (batchSize,sentenceLength)print(x)print(y_pred)if y is not None:return self.loss(y_pred, y)else:return torch.softmax(y_pred, dim=1)#为每个字生成一个标号
def build_vocab():chars = 'abcdefghijklmnopqrstuvwxyz'vocab = {'[pad]': 0}for i, char in enumerate(chars):vocab[char] = i+1vocab['[unk]'] = len(vocab)return vocab#随机生成一个样本
#从所有字中选取sentence_length个字
#a字符在哪个位置就为第几类
def build_sample(vocab, sentence_length):x = [random.choice(list(vocab.keys())) for _ in range(sentence_length)]if 'a' not in x:x[random.randint(0, sentence_length-1)] = 'a'y = x.index('a')x = [vocab.get(char, vocab['[unk]']) for char in x]return x, y#建立数据集
def build_dataset(batch_size, vocab, sentence_length):dataset_x = []dataset_y = []for i in range(batch_size):x, y = build_sample(vocab, sentence_length)dataset_x.append(x)dataset_y.append(y)return torch.LongTensor(dataset_x), torch.LongTensor(dataset_y)#建立模型
def build_model(vocab, char_dim, sentence_length):model = TorchModel(char_dim, sentence_length, vocab)return model#测试每轮的准确率
def evaluate(model, vocab, sentence_length):model.eval()x, y = build_dataset(200, vocab, sentence_length)correct, wrong = 0, 0with torch.no_grad():y_pred = model(x)for y_pred, y_true in zip(y_pred, y):if torch.argmax(y_pred) == y_true:correct += 1else:wrong += 1print(f'正确预测个数{correct},准确率{correct/(correct+wrong)}')return correct/(correct+wrong)def main():#配置参数epoch_num = 20 # 轮数batch_size = 50 # 每次训练样本数train_sample_num = 500 # 每轮训练样本总数char_dim = 20 # 每个字的向量维度sentence_length = 10 # 文本句子长度learning_rate = 0.005# 建立词表vocab = build_vocab()#建立模型model = build_model(vocab, char_dim, sentence_length)optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate) # 优化器log = []for epoch in range(epoch_num):model.train()loss_list = []for i in range(train_sample_num//batch_size):x, y = build_dataset(batch_size, vocab, sentence_length)loss = model(x, y)loss.backward()optimizer.step()optimizer.zero_grad()loss_list.append(loss.item())print(f'第{epoch+1}轮, 平均loss:{np.mean(loss_list)}')acc = evaluate(model, vocab, sentence_length)log.append([acc, np.mean(loss_list)])#保存模型torch.save(model.state_dict(), 'model.bin')#保存词表writer = open('vocab1.json', 'w', encoding='utf-8')writer.write(json.dumps(vocab, ensure_ascii=False))writer.close()#使用训练好的模型做预测
def predict(model_path, vocab_path, input_strings):char_dim = 20  # 每个字的维度sentence_length = 10  # 样本文本长度vocab = json.load(open(vocab_path, "r", encoding="utf8")) #加载字符表model = build_model(vocab, char_dim, sentence_length)     #建立模型model.load_state_dict(torch.load(model_path))             #加载训练好的权重x = []for input_string in input_strings:x.append([vocab.get(char, vocab['[unk]']) for char in input_string])model.eval()#测试模式with torch.no_grad():result = model.forward(torch.LongTensor(x))for i, input_string in enumerate(input_strings):print(f'输入:{input_string},预测类别:{torch.argmax(result[i])},概率值:{result[i]}')if __name__ == '__main__':main()test_strings = ["fnvfeeaiok", "wztafgulko", "arqwdegthj", "ntawwwpijn"]predict("model.bin", "vocab1.json", test_strings)

4-深度学习网络层

深度学习模型 Embedding层 Embedding矩阵是可训练的参数，一般会在模型构建时随机初始化也可以使用预训练的词向量来做初始化，此时也可以选择不训练Embedding层中的参数输入的整数序列可以有重复，但取值不能超过Embedding矩阵的列数核心…...

编程日记 2025/6/26 2:57:10

【LeetCode】用双指针解决移除元素问题、合并两个有序数组求解

🔥个人主页：艾莉丝努力练剑 ❄专栏传送门：《C语言》、《数据结构与算法》、C语言刷题12天IO强训 🍉学习方向：C/C方向 ⭐️人生格言：为天地立心，为生民立命，为往圣继绝学，…...

编程日记 2025/6/26 2:24:19

车载诊断架构协议篇 --- OBDonUDS和ZEVonUDS

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 做到欲望极简，了解自己的真实欲望，不受外在潮流的影响，不盲从&#x…...

编程日记 2025/6/24 13:05:21

医学 Agent：自带医学深度调研 deep research，优化治疗策略+药物参考

医学 Agent：自带医学深度调研deep research，优化治疗策略药物参考第一版代码输出结果，居然连不上网运行结果梳理第二版结果测试第一版代码医疗顾问AI系统 - 基于Qwen API 的智能医疗助手最终目标：构建一个能够查询疾病治疗方…...

编程日记 2025/6/24 12:02:21

硬件工程师笔试面试高频考点汇总——（2025版）

目录 1 电子器件部分 1.1 电阻 1.1.1 电阻选型时一般从哪几个方面进行考虑? 1.1.2 上拉下拉电阻的作用 1.1.3 PTC热敏电阻作为电源电路保险丝的工作原理 1.1.4 如果阻抗不匹配，有哪些后果 1.1.5 电阻、电容和电感0402、0603和0805封装的含义 1.1.6 电阻、电…...

编程日记 2025/6/26 2:50:20

春秋云镜【CVE-2017-18349】fastjson wp

知识点 fastjson反序列化将json转为java对象的过程漏洞存在版本 Fastjson<1.2.24 漏洞原理 fastjson引入的autotype功能，本来是为了区分同名同元素但是不同类型的对象序列化后内容一致无法还原的问题，但是这一操作允许了json数据中通过type来指定对…...

编程日记 2025/6/24 11:38:42

一.Reactor网络模型 ------------------- | 应用主线程 | -------------------|v ------------------- | Reactor | | (事件分发器) | -------------------|v ------------------- | 事件多路分发器 | <--- epoll/poll/select -----------------…...

编程日记 2025/6/24 11:31:05

设计模式精讲 Day 11：享元模式（Flyweight Pattern）

【设计模式精讲 Day 11】享元模式（Flyweight Pattern） 文章内容在软件开发过程中，我们常常需要处理大量相似对象的创建和管理问题。如果这些对象之间存在大量的重复信息，直接创建每一个对象会导致内存占用过高、系统性能下降。享…...

编程日记 2025/6/24 11:03:37

常用终端命令（Linux/macOS/bash 通用）分类速查表

文件与目录操作命令作用说明pwd显示当前路径ls列出当前目录内容ls -l以列表形式显示文件详细信息ls -a显示所有文件（包括隐藏文件）cd <目录名>进入指定目录cd ..返回上一级目录cd ~回到用户主目录mkdir <目录名>创建目录mkdir -p a/b/c创建…...

编程日记 2025/6/24 11:03:37

Robyn高性能Web框架系列04：事件、中间件与错误处理

请求-响应过程应用启动、关闭事件1、启动事件（Startup Events）2、关闭事件（Shutdown Events） 中间件1、前置中间件（BeforeRequest）2、后置中间件（AfterRequest）3、示例：…...

编程日记 2025/6/24 11:01:28

深入理解JavaScript设计模式之迭代器模式

文章目录深入理解JavaScript设计模式之迭代器模式定义官方翻译白话翻译实现jQuery中的each迭代器实现数组迭代器迭代器实现创建Dom元素内部迭代器和外部迭代器内部迭代器外部迭代器迭代类数组对象和字面量对象倒序迭代器中止迭代器迭代器的应用举例音乐播放器案例待输出更新…...

编程日记 2025/6/24 11:01:27

【项目管理】项目管理资料文档模板（ZIP，PPT，WORD）

项目交付文档 01项目详细调研计划编写规范V1.0.doc 03项目详细调研报告编写规范V1.0.doc 07软件需求规格说明书评审规范V1.0.doc 10.软件需求规格说明.doc 产品检查单,xls 工程评审.zip 软件标准过程集.zip 系统测试管理规程.docx 四)项目管理计划.doc 项目管理系统实施项目管理…...

编程日记 2025/6/24 11:00:04

DeepSeek中的提示库及其用法示例

《DEEPSEEK原生应用与智能体开发实践图书》【摘要书评试读】- 京东图书为了深入探索DeepSeek提示词样例的丰富内涵，充分挖掘其背后潜藏的无限可能，同时致力于为用户打造更为卓越、便捷且高效的使用体验，DeepSeek官网的API文档匠心独运地…...

编程日记 2025/6/26 2:26:03

292. Nim 游戏

292. Nim 游戏 - 力扣（LeetCode） 想法枚举问题： n 1 ~ 3 ，由于我先手，我可以直接拿走全部的石头，所以我赢n 4，由于我先手，我拿掉 1 - 3 块石头 ，剩下的可能就是 1 -…...

编程日记 2025/6/24 10:58:50

STM32 串口通信②：蓝牙模块HC-05控制单片机

一前言上一篇我们已经成功实现单片机和电脑的连接，接下来，我们学习一个有趣的板块，HC-05蓝牙模块，这个蓝牙模块，我们就要建立手机和单片机的通讯啦，还是比较有趣的一个过程，大家可以跟着多操作…...

编程日记 2025/6/26 2:48:49

艾立泰数字化重塑汽车零部件包装租赁行业

在汽车零部件包装租赁行业，资产利用率低、流转效率差、运输成本高等痛点长期困扰企业。艾立泰科技通过数字化解决方案，成为该行业降本增效的关键合作伙伴，助力企业实现从传统管理模式向智能化的跃迁。精准库存管理：告别“盲人摸…...

编程日记 2025/6/26 2:38:08

Windows电脑数据恢复终极指南：从原理到实战

Windows电脑数据恢复终极指南：从原理到实战数据丢失是每个电脑用户都可能遭遇的噩梦。本文将为您全面解析Windows平台下的数据恢复技术，从基础原理到高级技巧，帮助您在文件误删、格式化、系统崩溃等情况下找回宝贵数据。一、数据恢复基础…...

编程日记 2025/6/24 10:28:30

进入python虚拟环境的方法

首先，切换到虚拟环境所在的目录（即包含venv文件夹的目录）： Cmd cd D:\phd\phd1spring\July\pythonstduy\projecton 然后，激活虚拟环境： Cmd .\venv\Scripts\activate 如果上述方法不行，还可…...

编程日记 2025/6/24 10:28:29

大数据时代UI前端的变革：从静态展示到动态交互

hello宝子们...我们是艾斯视觉擅长ui设计、前端开发、数字孪生、大数据、三维建模、三维动画10年经验!希望我的分享能帮助到您!如需帮助可以评论关注私信我们一起探讨!致敬感谢感恩! 在大数据时代，信息以前所未有的速度和规模增长。这种数据环境的变化，深…...

编程日记 2025/6/24 10:27:27

海拔案例分享-门店业绩管理小程序

在各大电商平台和直播带货如火如荼来的当下，各行各业的门店都在积极寻求创新的管理方式，以提升业绩、优化运营。长沙的一家策划运营公司，敏锐地捕捉到这一市场需求，他们见过太多门店老板对着Excel表格叹气：美容店算错提…...

编程日记 2025/6/24 10:27:26

Python中的数据可视化：使用Matplotlib绘制图表

数据可视化是将复杂数据集转换为图形或图像表示的过程，旨在简化信息的解释和传达。Python作为一种多功能编程语言，提供了多种强大的库来实现这一目标，其中最受欢迎和广泛使用的是Matplotlib。首先，我们需要确保已经安装了必要的…...

编程日记 2025/6/24 10:26:23

【VUE】1.准备工作

一、环境准备（本机仅需一次） 安装 Node.js（推荐 LTS 版本，包含 npm） 打开 VSCode，安装插件（推荐）： Vetur 或 Volar（用于 Vue 支持） ESLint / Pr…...

编程日记 2025/6/24 10:25:15

Linux下的版本控制器Git（15）

文章目录如何理解版本控制（9-0.00.00）Git 的理解Git 的历史具体操作和用法补充细节简介：那个对Git的理解，是我用自己的话语结合故事进行阐述，可能理解的不到位，有些错误还请多多包含！说句实话…...

编程日记 2025/6/24 10:25:13

UI设计 | 审美积累 | 极繁风格（Maximalism / Complex UI）

如果极简追求“只保留必须的”，那极繁的设计思路就是“有条理地堆叠信息和情绪”。它不是无序的炫技，而是在秩序中有意识地填满视觉空间：字体层叠、图文混排、大量干扰信息并置，却又彼此克制。最终目标，是让用户在强信…...

编程日记 2025/6/24 10:06:01

MocapApi 中文文档和github下载地址 NeuronDataReader（以下简称 NDR）的下一代编程接口

以下是 MocapApi 技术文档 github https://github.com/pnmocap/MocapApi?tabreadme-ov-file 国内可以查找getcode 英文文档 https://mocap-api.noitom.com/mocap_api_en.html 概述 MocapApi 是 NeuronDataReader（以下简称 NDR）的下一代编程接口&…...

编程日记 2025/6/24 10:00:55

c++面试题每日一学记录-C++类型转换

一、C++ 类型转换体系 C++ 提供 4 种命名转换操作符，比 C 风格转换更安全、意图更明确：转换类型关键字主要用途安全检查静态转换static_cast相关类型转换（数值、类层次上行/下行）编译期动态转换dynamic_cast多态类型的安全下行转换运行时常量转换const_cast添加/移除 con…...

编程日记 2025/6/24 9:59:54

Maven 多模块项目调试与问题排查总结

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编…...

编程日记 2025/6/24 9:55:04

【C#】C#异步编程：异步延时 vs 阻塞延时深度对比

文章目录前言一、阻塞延时：Thread.Sleep1、实现方式2、工作原理3、缺点二、异步延时：Task.Delay1、实现方式2、工作原理3、优点三、深度对比四、实际应用示例对比1、阻塞延时在UI应用中的问题2、异步延时在UI应用中的正确用法3、带取消功能的…...

编程日记 2025/6/24 9:53:59

c#实现halcon的rle编码blob分析

效果展示实现功能 connection膨胀腐蚀开运算闭运算特征计算核心代码 using System; using System.Collections.Concurrent; using System.Collections.Generic; using System.Drawing; using System.Linq;namespace view3d {// 基础对象类，类似于 Halcon 的 HO…...

编程日记 2025/6/24 9:53:58

python基于微信小程序的广西文化传承系统

文章目录具体实现截图本项目支持的技术路线源码获取详细视频演示：文章底部获取博主联系方式！！！！本系统开发思路进度安排及各阶段主要任务java类核心代码部分展示主要参考文献：源码获取/详细视频演示 ##项目…...

编程日记 2025/6/24 9:53:01

Apache Flink深度解析：现代流处理引擎

好的，我来帮您写一篇关于Flink技术的详细介绍博客： Apache Flink深度解析：现代流处理引擎一、Flink简介 Apache Flink是一个开源的分布式流处理和批处理统一计算引擎。它提供了数据流上的状态计算、精确一次性语义保证、高吞吐、低延迟等特性，能够运行在所有常见的集群…...

编程日记 2025/6/24 9:52:58

跨平台后端编程ASP.NET CORE Razor新一代Web开发框架C#

asp.net core Razor动态语言编程代替asp.net .aspx更高级吗？ https://blog.csdn.net/xiaoyao961/article/details/148846065 C#Blazor应用-跨平台WEB开发VB.NET-CSDN博客 https://blog.csdn.net/xiaoyao961/article/details/148846437 Products.razor文件,Blazor和…...

编程日记 2025/6/24 9:45:52

【开源工具】一键解决使用代理后无法访问浏览器网页问题 - 基于PyQt5的智能代理开关工具开发全攻略

🌐【开源工具】一键解决使用代理后无法访问浏览器网页问题 - 基于PyQt5的智能代理开关工具开发全攻略 🌈 个人主页：创客白泽 - CSDN博客 🔥 系列专栏：🐍《Python开源项目实战》 💡 热爱不止于代…...

编程日记 2025/6/24 9:26:04

uniapp安卓GPIO电平控制

模块简介本模块为 UniApp 提供了对 Android 系统下 GPIO 的访问能力，支持导出、设置方向、读写电平值等操作。适用于 Android 架构设备（如 RK3288 平台）。支持功能功能方法名说明初始化 GPIO 方向initGpio({gpio, direction})设置 GPIO…...

编程日记 2025/6/24 9:26:03

苹果芯片macOS安装版Homebrew(亲测)

在Linux服务器上安装一个软件常用yum，apt、dnf命令，同样macOS可以使用brew命令来安装软件。 brew会自动帮你下载、解压、安装和配置，更重要的是：它还会自动处理好软件之间的依赖关系，它将所有软件都安装在独立的统一目…...

编程日记 2025/6/24 9:22:31

vue | vue-macros 插件升级以及配置

Vue Macros 是一个为 Vue.js 提供更多宏和语法糖的开源项目vue-macros/vue-macros: Explore and extend more macros and syntax sugar to Vue. 问题：npm run build-only 打包时，报错：[Vue] Load plugin failed: vue-macros/volar 排查发现…...

编程日记 2025/6/24 9:22:30

计算机网络：（六）超详细讲解数据链路层（附带图谱表格更好对比理解）

计算机网络：（六）超详细讲解数据链路层前言一、数据链路层1. 数据链路层是什么？2. 哪些设备需要数据链路层？3. 数据链路层如何工作？4. 数据链路层的俩种信道4.1 点对点信道：一对一4.2 广播信道&…...

编程日记 2025/6/24 9:21:28

智能生成分析报告系统在危化安全生产监测预警评估中的应用

一、引言在危险化学品安全生产监管中，传统的分析报告依赖人工整理与审核，效率低、响应慢，且极易受到主观判断、格式不规范、不同地区掌握尺度不一致的影响。而随着工业互联网、大数据、人工智能（AI）特别是大语言模型…...

编程日记 2025/6/24 9:21:26

微算法科技(NASDAQ：MLGO)研发可信共识算法TCA，解决区块链微服务中的数据一致性与安全挑战

随着区块链技术的不断演进和应用场景的拓展，微服务架构因其灵活性、可扩展性以及易于维护的特点，逐渐成为了构建复杂系统的首选架构模式。如何在微服务架构中有效应用区块链技术，确保数据的一致性和安全性，成为了一个亟待解决的问…...

编程日记 2025/6/24 8:53:53

UE5 开发遇到的bug整理

文章目录一、人物在挂载某个Actor之后，移动有问题，可能是Actor类的碰撞没有关闭，和人物自身发生了碰撞。一、人物在挂载某个Actor之后，移动有问题，可能是Actor类的碰撞没有关闭，和人物自身发生了碰撞。...

编程日记 2025/6/24 8:21:58

单片机——浮点数转换4位数码管显示

浮点数转换4位数码管显示 static char buffer[5]; int DecimalPlace 0; #define HideChar h void DisplayFloatOn4LED(float value) {long integer roundf(value );if (integer > 9999) //4位{integer 9999;snprintf(buffer, sizeof(buffer), "%4ld", integer…...

编程日记 2025/6/24 8:21:34

广东省专升本英语形容词与副词全梳理

一、形容词核心知识详解 （一）形容词的构成方式（附记忆技巧） 1. 后缀派生法（9 大核心后缀） ① -ly 结尾形容词（易混副词，重点记忆） ✅ 特点：虽以 - ly 结尾…...

编程日记 2025/6/24 8:16:09

GeoServer和GeoTools XML外部实体注入漏洞(CVE-2025-30220)

免责声明本文档所述漏洞详情及复现方法仅限用于合法授权的安全研究和学术教育用途。任何个人或组织不得利用本文内容从事未经许可的渗透测试、网络攻击或其他违法行为。使用者应确保其行为符合相关法律法规，并取得目标系统的明确授权。对于因不当使用本文信息而造成的任何直…...

编程日记 2025/6/24 8:16:07

Python Django全功能框架开发秘籍

本文在创作过程中借助 AI 工具辅助资料整理与内容优化。图片来源网络。文章目录引言一、Django 简介1.1 Django 的诞生与背景1.2 Django 的特点概述二、Django 的核心特性2.1 ORM 特性2.1.1 ORM 原理与优势2.1.2 ORM 在实际应用中的优势 2.2 模板引擎2.2.1 模板引擎的工作机…...

编程日记 2025/6/24 8:14:43

四核 A53+工业级存储：移远 SC200L 与 pSLC SD NAND 如何重构 T-BOX 性能边界？

博客目录一、移远 SC200L：T-BOX 的 “智慧大脑”二、米客方德 MKDN064GIL-ZA T-BOX：数据安全的坚固堡垒三、深度协同：拓展 T-BOX 应用边界在车联网浪潮席卷而来的当下，T-BOX 作为汽车与外界交互的核心枢纽，其性能优劣…...

编程日记 2025/6/24 8:14:42

docker方式启动Jenkins

docker方式启动Jenkins 1.启动命令我已经打包好了文件,如下命令即可启动 docker run -d -v jenkins_home:/var/jenkins_home -p 8088:8080 -p 50000:50000 --restarton-failure registry.cn-hangzhou.aliyuncs.com/devops_de/jenkins:lts-jdk17 还需要设置一下目录权限,要…...

编程日记 2025/6/24 8:01:00