当前位置：首页 > news >正文

半导体数据分析：玩转WM-811K Wafermap 数据集（三） AI 机器学习

news 来源：原创 2025/7/6 18:38:12

前面我们已经通过两篇文章，一起熟悉了WM-811K Wafermap 数据集，并对其中的一些数据进行了调用，生成了一些统计信息和图片。今天我们接着继续往前走。

半导体数据分析：玩转WM-811K Wafermap 数据集（二） AI 机器学习_wm811k数据集-CSDN博客

半导体数据分析：玩转WM-811K Wafermap 数据集（一） AI 机器学习_wafer dataset-CSDN博客

当我们在处理大规模的数据集的时候，很多人都会有一种束手无策的感觉，尤其是面对海量的数据和复杂的结构时，可能会感到无从下手。我的经验就是抽丝剥茧，一步步来。实际上，通过系统化的步骤和合理的策略，我们可以有效地应对这些挑战。

搞过数据分析的都知道，缺失值的检查是数据处理过程中不可忽视的一环。当我们浏览数据集时，可能会发现相当一部分数据由于缺失值而变得无用。这些缺失值可能源于数据采集过程中的误差、设备故障或其他原因。为了确保后续分析的准确性，我们需要识别并处理这些缺失值。

当然，明确分析目标也非常重要。例如，如果我们只对具有特定故障类型标签的晶圆感兴趣，那么可以删除那些没有故障类型标签的数据。这样做不仅能够减少数据集的规模，还能提高数据的质量，使分析结果更加聚焦和可靠。

下面我我们就将整个数据做一些初步的处理，我们先来处理失效形式和训练类型。

之前我们从数据集中取出过一些数据显示如下：

其中有两项 trianTestLabel和failureType，分别代表了训练测试标签，和失效标签。

我们对这两项通过下面的代码来进行处理：

import pandas as pdmp_file = "/data_disk/public_lib/wm811k_wafer_map/in/LSWMD.pkl"
df = pd.read_pickle(mp_file)df['failureNum']=df.failureType
df['trainTestNum']=df.trianTestLabel
mapping_type={'Center':0,'Donut':1,'Edge-Loc':2,'Edge-Ring':3,'Loc':4,'Random':5,'Scratch':6,'Near-full':7,'none':8}
mapping_traintest={'Training':0,'Test':1}
df=df.replace({'failureNum':mapping_type, 'trainTestNum':mapping_traintest})
tol_wafers = df.shape[0]
tol_wafers

在上面的代码中，我们抽取了 trianTestLabel 和failureNum 两列，分别重新命名为两列failureNum和trainTestNum，并通过两个字典mapping_type 和mapping_traintest进行了映射。在df.shape[0]中 返回 df 数据框的行数，即数据集中的总晶圆数量。该值存储在变量 tol_wafers 中。

总数的晶圆是811457张。

然后我们来统计一下，失效的形式：

df_withlabel = df[(df['failureNum']>=0) & (df['failureNum']<=8)]
df_withlabel =df_withlabel.reset_index()
df_withpattern = df[(df['failureNum']>=0) & (df['failureNum']<=7)]
df_withpattern = df_withpattern.reset_index()
df_nonpattern = df[(df['failureNum']==8)]
df_withlabel.shape[0], df_withpattern.shape[0], df_nonpattern.shape[0]

上面的代码列出了三种标签全部标签（0-8），有标记的标签（0-7），和无标记的标签（8）。

并且每次取出标签的时候，都进行了重新索引：reset_index()。这里对这个重新索引稍微解释一下：

重置索引通常是数据处理中的一个重要步骤，特别是在筛选数据或进行某些操作后。下面是重置索引的几个常见原因：

1. 确保索引连续

当你对 DataFrame 进行筛选或过滤后，原始数据的索引可能会变得不连续。例如，假设你从一个 DataFrame 中删除了一些行，结果就是剩余的行的索引会留下“空隙”。重置索引可以让你重新生成连续的索引，通常是从 0 开始递增的整数。

2. 方便后续操作

使用连续的整数索引使得后续的操作更简单。例如，在进一步分析或可视化数据时，连续的索引能避免因为跳跃的索引导致的潜在错误。它还可以帮助在合并（merge）或连接（concat）时避免索引冲突。

3. 删除旧的索引列

在使用 reset_index() 时，如果你不指定参数，原来的索引会被添加为一个新列。例如，如果你过滤掉了 DataFrame 的一些行，原索引列可能仍然包含那些被删除行的索引。重置索引不仅让索引连续，而且会去掉原始的索引列（除非你选择保留它）。

4. 避免潜在的错误

如果后续的操作需要基于索引进行一些处理（比如索引与行数的关联），不连续的索引可能会导致逻辑错误或不一致。重置索引确保了数据的索引一致性，减少了潜在的错误发生。

5. 保持代码整洁

有时，重置索引是为了保证代码简洁和易于阅读。尤其是当数据已经过多次筛选、过滤、分组等操作后，重新整洁的索引可以让分析过程更加清晰，避免在后续处理中迷失。

6. 去除层次索引（如果有）

如果在处理过程中曾经使用过多级索引（MultiIndex），可以通过 reset_index() 来降级到简单的单级索引，使得数据的访问和管理更为直观。

在 pandas 中，重新索引（reset index） 的主要目的是为数据框的索引（下标）重新分配连续的整数值，同时可以选择是否保留旧索引作为新列。

上面代码的最终运行结果是：

(172950, 25519, 147431)

这意味着172950片晶圆有标签，其中25519片晶圆被标记了失效形式，147431片晶圆没有标记失效形式。这个统计数据对我们后面用ai进行数据分析有参考作用。

然后我们来做一个统计图：

#创建图形和子图：
fig = plt.figure(figsize=(20, 4.5)) 
gs = gridspec.GridSpec(1, 2, width_ratios=[1, 2.5]) 
ax1 = plt.subplot(gs[0])
ax2 = plt.subplot(gs[1])#饼图：展示晶圆的标签分类
no_wafers = [tol_wafers - df_withlabel.shape[0], df_withpattern.shape[0], df_nonpattern.shape[0]]colors = ['silver', 'orange', 'gold']
explode = (0.1, 0, 0) 
labels = ['no-label', 'label&pattern', 'label&non-pattern']
ax1.pie(no_wafers, explode=explode, labels=labels, colors=colors, autopct='%1.1f%%', shadow=True, startangle=140)#条形图：显示不同故障类型的分布
uni_pattern = np.unique(df_withpattern.failureNum, return_counts=True)
labels2 = ['', 'Center', 'Donut', 'Edge-Loc', 'Edge-Ring', 'Loc', 'Random', 'Scratch', 'Near-full']ax2.bar(uni_pattern[0], uni_pattern[1] / df_withpattern.shape[0], color='gold', align='center', alpha=0.9)
ax2.set_title("Failure Type Frequency")
ax2.set_ylabel("% of Pattern Wafers")plt.show()

运行结果如下：

根据failureType变量过滤，172950片晶圆有标签，而78.7%的晶圆没有标签。在贴有标签的晶圆片中，只有3.1%（25,519片）的晶圆片存在真正的失效模式，而147,431片晶圆片仍贴有“无”标签。因此，我们只关注这25,519个实例，这大大减少了我们工作的计算量。从上面的第二张图中，数据集显示出，失效形式呈现出了高度的不平衡分布。

图片展示数据是一种最佳数据展示的方式之一，因此观察原始数据的最好方法是进行数据可视化。接下来我们用数据集中标记的模式显示前100个样本。

fig, ax = plt.subplots(nrows = 10, ncols = 10, figsize=(20, 20))
ax = ax.ravel(order='C')
for i in range(100):img = df_withpattern.waferMap[i]ax[i].imshow(img)ax[i].set_title(df_withpattern.failureType[i][0][0], fontsize=10)ax[i].set_xlabel(df_withpattern.index[i], fontsize=8)ax[i].set_xticks([])ax[i].set_yticks([])
plt.tight_layout()
plt.show()

我们同样也可以通过失效形式分别来绘制晶圆图：

x = [0,1,2,3,4,5,6,7]
labels2 = ['Center','Donut','Edge-Loc','Edge-Ring','Loc','Random','Scratch','Near-full']for k in x:fig, ax = plt.subplots(nrows = 1, ncols = 10, figsize=(18, 12))ax = ax.ravel(order='C')for j in [k]:img = df_withpattern.waferMap[df_withpattern.failureType==labels2[j]]for i in range(10):ax[i].imshow(img[img.index[i]])ax[i].set_title(df_withpattern.failureType[img.index[i]][0][0], fontsize=10)ax[i].set_xlabel(df_withpattern.index[img.index[i]], fontsize=10)ax[i].set_xticks([])ax[i].set_yticks([])plt.tight_layout()plt.show()

然后我们从上面选取几种来进行放大可视：

根据上面的编号选取： [12,340, 8, 14, 13, 66, 15, 189]

x = [12, 340, 8, 14, 13, 66, 15, 189]
labels2 = ['Center','Donut','Edge-Loc','Edge-Ring','Loc','Random','Scratch','Near-full']#ind_def = {'Center': 9, 'Donut': 340, 'Edge-Loc': 3, 'Edge-Ring': 16, 'Loc': 0, 'Random': 25,  'Scratch': 84, 'Near-full': 37}
fig, ax = plt.subplots(nrows = 2, ncols = 4, figsize=(20, 10))
ax = ax.ravel(order='C')
for i in range(8):img = df_withpattern.waferMap[x[i]]ax[i].imshow(img)ax[i].set_title(df_withpattern.failureType[x[i]][0][0],fontsize=24)ax[i].set_xticks([])ax[i].set_yticks([])
plt.tight_layout()
plt.show()

经过上面的可视化，我们进一步加深了对这个数据集的了解，后面我们将对数据进行转换：通过使用缩放、属性分解和属性聚合的工程特征，转换为机器学习准备的预处理数据。

半导体数据分析：玩转WM-811K Wafermap 数据集（三） AI 机器学习

前面我们已经通过两篇文章，一起熟悉了WM-811K Wafermap 数据集，并对其中的一些数据进行了调用，生成了一些统计信息和图片。今天我们接着继续往前走。半导体数据分析： 玩转WM-811K Wafermap 数据集（二） AI…...

编程日记 2025/7/6 18:38:12

逐笔成交逐笔委托Level2高频数据下载和分析：20250102

level2逐笔成交逐笔委托下载链接: https://pan.baidu.com/s/1p7OOj5p-QGFrWkt6KKoYng?pwd7f4g 提取码: 7f4g Level2逐笔成交逐笔委托数据分享下载通过Level2逐笔成交和逐笔委托这种每一笔的毫秒级别的数据可以分析出很多有用的点，包括主力意图，虚假动…...

编程日记 2025/7/6 18:15:26

python3GUI--大屏可视化-XX产业大数据指挥舱（附下载地址） By:PyQt5

文章目录一．前言二．预览三．软件开发心得1.使用方法2.UI设计3.代码架构4.项目结构四．代码片段分享1.图片平滑缩放组件2.滚动日志组件五．心得体会大小：35.0 M，软件安装包放在了这里! 本软件未…...

编程日记 2025/7/6 18:26:45

PHP 循环控制结构深度剖析：从基础到实战应用

PHP 循环控制结构深度剖析：从基础到实战应用 PHP提供了多种控制结构，其中循环控制结构是最常见的结构之一。它们使得我们能够高效地重复执行一段代码，直到满足某个条件为止。本文将从PHP循环的基础知识出发，逐步分析其在实际项目…...

编程日记 2025/7/5 17:29:10

【数据库】二、关系数据库

文章目录二、关系数据库1 关系2 关系数据库3 完整性约束4 关系运算二、关系数据库 1 关系域：一组具有相同数据类型的值的集合。笛卡尔积：所有域（域可相同）中所有取值的组合例如：D1{1,2,3}，D2{A,b}&…...

编程日记 2025/7/1 19:02:35

【cuda学习日记】2.2 使用2维网络（grid）和2维块（block）对矩阵进行求和

在2.0中进行了用一维网格和块对一维向量进行了求和。在2.1中例化了二维的网格和块。接下来进行2维网络（grid）和2维块（block）对矩阵进行求和。 #include <stdio.h> #include <stdlib.h> #include <time.h> #i…...

编程日记 2025/6/30 16:13:28

【13】制作镜像以及重启实例

制作镜像 k8s集群有两个镜像需要制作，一个是master节点，一个是node节点。在master节点上成功部署了k8s的控制平面，在node节点上部署了worker节点的配置，不知道打包镜像重启之后集群的状态是什么样的。确认集群在运行&#…...

编程日记 2025/7/2 19:21:40

省级-农业科技创新（农业科技专利）数据（2010-2022年）-社科数据

省级-农业科技创新（农业科技专利）数据（2010-2022年）-社科数据https://download.csdn.net/download/paofuluolijiang/90028570 https://download.csdn.net/download/paofuluolijiang/90028570 数据年份、省份、农业科技专利数量…...

编程日记 2025/6/28 15:09:21

Vue2+OpenLayers接入天地图API实现搜索定位和点击获取经纬度及地址功能（提供Gitee源码）

目录一、案例截图二、安装OpenLayers库三、安装Element-UI 四、完整代码五、天地图地名搜索API文档六、Gitee源码一、案例截图输入框搜索需要查询的大概地址，可以获取到经纬度和地址信息。二、安装OpenLayers库 npm install ol 三、安装Element-UI…...

编程日记 2025/7/2 16:57:14

CrossFormer实战：使用CrossFormer实现图像分类任务（一）

摘要 CrossFormer是一种新型的视觉Transformer架构，旨在通过引入跨尺度注意力机制来提升计算机视觉任务的性能。该模型特别关注不同尺度特征之间的交互，解决了现有视觉Transformer在处理多尺度特征时的不足。研究背景在计算机视觉中，特征…...

编程日记 2025/7/4 19:41:41

性能测试工具Jmeter中的FTP脚本开发

FTP文件传输协议是TCP/IP协议组织中的常用协议之一，主要用在internet上双向传输文件。FTP协议具有客户端和服务器端两个部分组成部分，具有上传与下载两种功能。Jmeter也提供了FTP请求的测试支持，实现了上传和下载功能测试。对于上图的FTP请求…...

编程日记 2025/7/4 1:13:30

探索微软 M365 安全：全方位守护数字世界

在当今这个科技呈井喷式飞速发展，数字化浪潮以汹涌澎湃、锐不可当之势席卷全球的时代，企业与个人仿若置身于一片浩瀚无垠、信息奔涌的海洋之中，尽情畅享着技术革新所带来的无穷无尽便利。然而，恰如平静海面下潜藏着暗礁与汹涌暗流，网络安全问题恰似隐匿在暗处、随时可能给…...

编程日记 2025/7/2 21:44:18

Qt C++读写NFC标签NDEF网址URI

本示例使用的发卡器：https://item.taobao.com/item.htm?spma21dvs.23580594.0.0.1d292c1biFgjSs&ftt&id615391857885 #include "mainwindow.h" #include "ui_mainwindow.h" #include <QDebug> #include "QLibrary" …...

编程日记 2025/7/6 6:49:07

[SMARTFORMS] 自定义SMARTFORMS表单页格式

在SMARTFORMS表单开发过程中，用户打印的纸张有可能不是标准的页格式，需要我自定义页格式具体操作步骤如下所示 1.定义页格式事务码SPAD，点击"完全管理" 点击"设备类型"中的页格式的"显示"按钮点击创建按…...

编程日记 2025/7/2 20:00:59

大模型笔记：KV cache

1 为什么要使用KV cache 假设模型最终生成了四个token 对于第一个token，他的attention的计算方法为： 有了第一个token之后，生成第二个token的时候： sottmaxed表示已经逐行softmax后的结果同理，对于第三个token&…...

编程日记 2025/7/6 5:09:50

Android车机DIY开发之学习篇(三)替换Logo以正点原子为例

Android车机DIY开发之学习篇(三)替换Logo以正点原子为例启动 logo 包括 u-boot 阶段 logo 内核阶段 logo /sdk/kernel-5.10 目录下替换 logo.bmp 654270 logo_kernel.bmp 654270 编译 Linux 内核...

编程日记 2025/7/2 19:42:06

系统：Albaba Cloud Linux release 3 （OpenAnolis Editon）即 Centos 平替异常提示： cc: fatal error: ** signal terminated program cc1 compilation terminated. make: *** [Makefile:211: libmagic/apprentice.lo] Error 1搜…...

编程日记 2025/7/2 21:04:51

机器学习数据预处理preprocessing

预处理方法预处理方法预处理方法BinarizerFunctionTransformerKBinsDiscretizerKernelCentererLabelBinarizerLabelEncoderMaxAbsScalerMinMaxScalerMultiLabelBinarizer sklearn.preprocessing.Binarizer 设定一个阈值（threshold），对于每个…...

编程日记 2025/7/4 15:37:41

网络安全 | 什么是Bot防护？

关注：CodingTechWork Bot防护介绍随着互联网服务的普及和发展，越来越多的网站和应用遭遇了自动化攻击（Bot攻击）。Bot防护是一种安全技术，旨在检测和阻止自动化程序（即“机器人”或“bot”）对网…...

编程日记 2025/7/4 20:54:02

Qt学习笔记第81到90讲

第81讲串口调试助手实现自动发送为这个名叫“定时发送”的QCheckBox编写槽函数。想要做出定时发送的效果，必须引入QT框架下的毫秒级定时器QTimer，查阅手册了解详情。在widget.h内添加新的私有成员变量： QTimer *timer; 在widget类的构造…...

编程日记 2025/7/2 20:16:17

如何在本地部署大模型并实现接口访问（ Llama3、Qwen、DeepSeek等）

如何在本地部署大模型并实现接口访问（ Llama3、Qwen、DeepSeek等） 如何在本地部署大模型并实现接口访问（ Llama3、Qwen、DeepSeek等）模型地址模型下载模型部署指定显卡运行app.py 运行环境requirements 调用接口代码调用结语如何…...

编程日记 2025/7/2 13:50:32

使用 Linux tracepoint、perf 和 eBPF 跟踪数据包

大家读完觉得有帮助记得关注和点赞！！！ 目录 1 破局 1.1 逃离迷宫：上帝视角 1.2 网络跟踪：渴求利器 1.3 巨人肩膀：perf/eBPF 2 Perf 2.1 安装 perf 2.2 测试环境 2.3 初体验：跟踪 ping …...

编程日记 2025/7/2 21:14:19

给DevOps加点料：融入安全性的DevSecOps

从前，安全防护只是特定团队的责任，在开发的最后阶段才会介入。当开发周期长达数月、甚至数年时，这样做没什么问题；但是现在，这种做法现在已经行不通了。采用 DevOps 可以有效推进快速频繁的开发周期（有时…...

编程日记 2025/7/2 20:46:19

MySQL视图笔记

视图的理解 ①视图是一种虚拟表 ，本身是不具有数据的，占用很少的内存空间，它是 SQL 中的一个重要概念。 ②视图建立在已有表的基础上, 视图赖以建立的这些表称为基表。 ③对视图中的数据进行增加删除和修改，对应的数据表&a…...

编程日记 2025/7/4 22:41:16

【Ubuntu与Linux操作系统：十、C/C++编程】

第10章 C/C编程 10.1 Linux编程基础 Linux编程基础涵盖了C/C语言在Linux环境中的特点和使用方法。Linux以其高性能和开源特性成为系统编程的重要平台。 1. C语言与Linux的关系 Linux内核主要是用C语言编写的，因此学习C语言是理解Linux底层机制的必要前提。C语言的…...

编程日记 2025/7/6 11:39:11

豆包MarsCode：可以在线用的智能AI编程助手

大家好，今天我想和大家分享一个我最近发现的宝藏工具——豆包MarsCode。作为一个程序员，我一直在寻找能够提高工作效率、快捷、优化代码质量的在线编程工具。豆包MarsCode IDE，这个由字节跳动推出的智能编程助手，让我眼前一亮&…...

编程日记 2025/7/2 21:25:34

RabbitMQ基础（简单易懂）

RabbitMQ高级篇请看： RabbitMQ高级篇-CSDN博客目录什么是RabbitMQ？ MQ 的核心概念 1. RabbitMQ 的核心组件 2. Exchange 的类型 3. 数据流向说明如何安装RabbitQueue？ WorkQueue（工作队列）： Fa…...

编程日记 2025/7/5 20:31:08

UE5 使用内置组件进行网格切割

UE引擎非常强大，直接内置了网格切割功能并封装为蓝图节点，这项功能在UE4中就存在，并且无需使用Chaos等模块。那么就来学习下如何使用内置组件实现网格切割。 1.配置测试用StaticMesh 对于被切割的模型，需要配置一些参数。以UE5…...

编程日记 2025/7/4 1:09:18

【面试题】技术场景 6、Java 生产环境 bug 排查

生产环境 bug 排查思路分析日志：首先通过分析日志查看是否存在错误信息，利用之前讲过的 elk 及查看日志的命令缩小查找错误范围，方便定位问题。远程 debug 适用环境：一般公司正式生产环境不允许远程 debug，多在测试环…...

编程日记 2025/7/5 15:33:39

macOS 安装tomcat9

macOS 安装tomcat9 URL：https://tomcat.apache.org/download-90.cgi 解压之后放到指定目录 /Users/lanren/install/tomcat-9 自己取个名字就行给权限： ① 先进行权限修改：终端输入sudo chmod 755 /Users/lanren/install/tomcat-9/bin/…...

编程日记 2025/7/4 20:52:44

多线程之旅：属性及其基本操作

上次分享到了，多线程中是是如何创建的，那么接下来，小编继续分享下多线程的相关知识。多线程中的一些基本属性。基本属性属性获取方法IDgetId()名称getName()状态getState()优先级getPriority()是否后台线程isDemo()是否存活isAlive()是…...

编程日记 2025/7/2 21:08:47

隧道网络：为数据传输开辟安全通道

什么是隧道网络？ 想象一下，你正在一个陌生的城市旅行，并且想要访问家里的电脑。但是，直接连接是不可能的，因为家庭网络通常受到防火墙或路由器的保护，不允许外部直接访问。这时候，隧道网络&…...

编程日记 2025/7/6 13:21:41

Python爬虫-汽车之家各车系周销量榜数据

前言本文是该专栏的第43篇，后面会持续分享python爬虫干货知识，记得关注。在本专栏之前，笔者在文章《Python爬虫-汽车之家各车系月销量榜数据》中，有详细介绍，如何爬取“各车系车型的月销量榜单数据”的方法以及完整代码教学教程。而本文，笔者同样以汽车之家平台为例，…...

编程日记 2025/7/2 20:44:15

【机器学习】时序数据与序列建模：理论与实践的全面指南

云边有个稻草人-CSDN博客目录云边有个稻草人-CSDN博客引言一、时序数据的特点与挑战 1.1 时序数据的特点 1.2 序列建模的挑战二、传统方法概览 2.1 ARIMA 模型 2.2 Prophet 三、深度学习方法 3.1 RNN 和 LSTM 3.2 Attention 和 Transformer 3.3 自监督学习四、…...

编程日记 2025/7/4 11:15:39

java.net.SocketException: Connection reset 异常原因分析和解决方法

导致此异常的原因，总结下来有三种情况： 一、服务器端偶尔出现了异常，导致连接关闭解决方法： 采用出错重试机制二、服务器端和客户端使用的连接方式不一致解决方法： 服务器端和客户端使用相同的连接方式&#xff…...

编程日记 2025/7/2 20:35:25

【华为OD-E卷 - 恢复数字序列 100分（python、java、c++、js、c）】

【华为OD-E卷 - 恢复数字序列 100分（python、java、c、js、c）】题目对于一个连续正整数组成的序列，可以将其拼接成一个字符串，再将字符串里的部分字符打乱顺序。如序列8 9 10 11 12，拼接成的字符串为89101112&…...

编程日记 2025/7/2 20:45:38

05、Redis持久化

Redis是在内存中操作的，我们服器关闭重启机器后，正常是之前在redis中操作的数据都不存在了，但是实际上我们开机后重新启动redis服务，一样可以看到之前操作的数据。这是为什么呢？ 我们在redis的安装目录下可以看到有一…...

编程日记 2025/7/6 8:14:40

Python爬虫基础——selenium模块进阶（模拟鼠标操作）

主要内容包括：模拟鼠标操作。常用的鼠标操作有单击、双击、右击、长按、拖动、移动等，模拟这些操作需要用到selenium模块中的ActionChains类。该类的基本使用方法是将实例化好的WebDriver对象作参数传到该类中，实例化成一个ActionChains对象&…...

编程日记 2025/7/5 6:14:11

C++ macro: The # operator

C macro: The # operator 1. The # operator2. Stringizing (字符串化)References 1. The # operator The # operator converts a parameter of a function-like macro into a character string literal. #define STR(x) #xAll subsequent invocations of the macro STR woul…...

编程日记 2025/7/2 20:45:37