RFM模型-数据清洗
在进行数据清洗时，主要的目标是确保数据质量良好，以便后续的分析和建模工作能够顺利进行。针对你使用粒子群优化算法改进RFM模型来对电商数据进行用户群像划分的实验，数据清洗环节尤其重要，因为不干净的数据会影响模型的精度和效果。
1. 缺失值处理
在电商数据中，缺失值是一个常见问题。你需要检查各列是否存在缺失值，并决定如何处理它们。
• 检查缺失值：
df.isnull().sum()• 处理缺失值：
• 删除缺失值：如果缺失值的比例很小且不重要，可以删除。
df.dropna(inplace=True)• 填补缺失值：如果某些列的重要性较高，可以考虑填补缺失值，常用的填补方法有：
• 用均值或中位数填补数值型数据。
• 用最频繁值填补分类数据。
df['column_name'].fillna(df['column_name'].mean(), inplace=True) # 数值型
df['column_name'].fillna(df['column_name'].mode()[0], inplace=True) # 类别型2. 重复数据处理
重复数据可能会影响模型的训练，特别是当相同的用户记录出现多次时。
• 检查重复值：
df.duplicated().sum()• 删除重复值：
df.drop_duplicates(inplace=True)3. 数据类型转换
确保每列的数据类型符合其实际意义，特别是在RFM模型中，通常需要确保Recency、Frequency、Monetary等数值型数据列为数值类型。
• 查看数据类型：
df.dtypes• 转换数据类型：
df['Recency'] = df['Recency'].astype(int) # 将Recency转换为整数类型
df['Monetary'] = df['Monetary'].astype(float) # 将Monetary转换为浮动类型4. 异常值处理
异常值可能会干扰模型的训练，特别是RFM模型中的Monetary（消费金额）或Frequency（购买频率）列。
• 检测异常值：
你可以使用箱型图（boxplot）来可视化数据中的异常值。
import seaborn as sns
sns.boxplot(x=df['Monetary'])• 处理异常值：
• 删除异常值：可以删除异常值或用适当的值替代它们（例如用上四分位数或下四分位数）。
• 裁剪异常值：
Q1 = df['Monetary'].quantile(0.25)
Q3 = df['Monetary'].quantile(0.75)
IQR = Q3 - Q1
df = df[(df['Monetary'] >= (Q1 - 1.5 * IQR)) & (df['Monetary'] <= (Q3 + 1.5 * IQR))]5. 日期格式处理
RFM模型中的Recency（最近购买时间）是一个日期字段，因此需要确保日期格式正确。
• 转换为日期格式：
df['LastPurchaseDate'] = pd.to_datetime(df['LastPurchaseDate'])• 计算Recency：你可以计算用户的最近购买时间距离当前的天数。
today = pd.to_datetime('today')
df['Recency'] = (today - df['LastPurchaseDate']).dt.days6. 分类数据编码
如果数据集中有类别型特征（如用户所在城市、性别等），你可能需要对它们进行编码，以便将其输入到模型中。
• Label Encoding：将类别转换为整数。
from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
df['Gender'] = le.fit_transform(df['Gender'])• One-Hot Encoding：将类别数据转化为虚拟变量（0和1）。
df = pd.get_dummies(df, columns=['City'], drop_first=True)7. 特征缩放（Standardization/Normalization）
RFM模型中的Recency、Frequency和Monetary列通常有不同的量纲，可能需要对这些特征进行标准化或归一化处理，以便后续算法（如粒子群优化算法）更好地处理它们。
• 标准化：将数据转换为均值为0、标准差为1的分布。
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
df[['Recency', 'Frequency', 'Monetary']] = scaler.fit_transform(df[['Recency', 'Frequency', 'Monetary']])• 归一化：将数据转换到0到1的范围。
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
df[['Recency', 'Frequency', 'Monetary']] = scaler.fit_transform(df[['Recency', 'Frequency', 'Monetary']])8. 生成新特征
在RFM模型中，你可以根据现有的数据生成一些新的特征。例如：
• 创建“高价值用户”标签：基于Monetary，Frequency和Recency来标记哪些用户是高价值用户。
df['HighValue'] = df['Monetary'] > df['Monetary'].quantile(0.75)• 合成RFM特征：有时我们可以将Recency、Frequency和Monetary合并成一个新的综合特征，用于进一步分析。
9. 数据验证
最后，确保数据中没有出现逻辑错误。例如，Recency不应该为负值，Frequency不应该为0等。
# 确保Recency为正
df = df[df['Recency'] >= 0]# 确保Frequency大于0
df = df[df['Frequency'] > 0]总结：主要的数据清洗步骤：
1. 处理缺失值。
2. 删除重复数据。
3. 检查和修正数据类型。
4. 异常值检测与处理。
5. 处理日期格式，计算Recency。
6. 对分类变量进行编码。
7. 特征缩放，确保数据标准化或归一化。
8. 生成额外特征（如高价值用户标签等）。
9. 验证数据逻辑。
相关文章：
RFM模型-数据清洗
在进行数据清洗时，主要的目标是确保数据质量良好，以便后续的分析和建模工作能够顺利进行。针对你使用粒子群优化算法改进RFM模型来对电商数据进行用户群像划分的实验，数据清洗环节尤其重要，因为不干净的数据会影响模型的精度和效果…...
文件系统惹（细）
目录 块概念 分区 inode ext2文件系统 Boot Sector Super Block GDP（group descriptor table） Block Bitmap（块位图） Inode Bitmap （inode位图） Data Block inode和Datablock映射 目录和文件名 …...
中望CAD c#二次开发 ——VS环境配置
新建类库项目：下一步 下一步 下一步： 或直接： 改为： <Project Sdk"Microsoft.NET.Sdk"> <PropertyGroup> <TargetFramework>NET48</TargetFramework> <LangVersion>pr…...
Centos7安装Clickhouse单节点部署
部署流程 1、关闭防火墙&沙盒 关闭防火墙并关闭开机自启动 systemctl stop firewalld && systemctl disable firewalld查看selinux状态是否为disabled，否则修改 [rootlocalhost ~]# getenforce Enforcing修改为disabled vim /etc/selinux/config…...
4.SpringSecurity在分布式环境下的使用
参考 来源于黑马程序员： 手把手教你精通新版SpringSecurity 分布式认证概念说明 分布式认证，即我们常说的单点登录，简称SSO，指的是在多应用系统的项目中，用户只需要登录一次，就可以访 问所有互相信任的应…...
使用 Notepad++ 编辑显示 MarkDown
Notepad 是一款免费的开源文本编辑器，专为 Windows 用户设计。它是替代记事本（Notepad）的最佳选择之一，因为它功能强大且轻量级。Notepad 支持多种编程语言和文件格式，并可以通过插件扩展其功能。 Notepad 是一款功能…...
Spring 框架数据库操作常见问题深度剖析与解决方案
Spring 框架数据库操作常见问题深度剖析与解决方案 在 Java 开发的广阔天地中，Spring 框架无疑是开发者们的得力助手，尤其在数据库操作方面，它提供了丰富且强大的功能。然而，就像任何技术一样，在实际项目开发过程中&a…...
第一天：爬虫介绍
每天上午9点左右更新一到两篇文章到专栏《Python爬虫训练营》中，对于爬虫有兴趣的伙伴可以订阅专栏一起学习，完全免费。 键盘为桨，代码作帆。这趟为期30天左右的Python爬虫特训即将启航，每日解锁新海域：从Requests库的…...
ECP在Successfactors中paylisp越南语乱码问题
导读 pyalisp:ECP中显示工资单有两种方式，一种是PE51，一种是hrform，PE51就是划线的那种， 海外使用的比较多，国内基本没人使用，hrform就是pdf，可以编辑pdf，这个国内相对使用的人 比…...
Express 中间件分类
一、 按功能用途分类 1. 应用级中间件 这类中间件应用于整个 Express 应用程序，会对每个进入应用的请求进行处理。通过 app.use() 方法挂载，可用于执行一些全局性的任务，像日志记录、请求预处理、设置响应头这类操作。 const express req…...
基于Multi-Runtime的云原生多态微服务：解耦基础设施与业务逻辑的革命性实践
引言：当微服务遭遇复杂性爆炸 在分布式系统复杂度指数级增长的今天，一线开发者平均需要处理27种不同的基础设施组件配置。CNCF最新研究报告指出，采用Multi-Runtime架构可减少83%的非功能性代码编写量，同时使分布式原语࿰…...
flutter isolate到底是啥
在 Flutter 中，Isolate 是一种实现多线程编程的机制，下面从概念、工作原理、使用场景、使用示例几个方面详细介绍： 概念 在 Dart 语言（Flutter 开发使用的编程语言）里，每个 Dart 程序至少运行在一个 Isol…...
Http connect timed out
客户向云端服务请求时，连接云端域名显示连接超时，为什么呢，偶尔会有。 java.net.SocketTimeoutException: connect timed out at java.net.PlainSocketImpl.socketConnect(Native Method) at java.net.AbstractPlainSocketI…...
Flutter 异步编程利器：Future 与 Stream 深度解析
目录 一、Future：处理单次异步操作 1. 概念解读 2. 使用场景 3. 基本用法 3.1 创建 Future 3.2 使用 then 消费 Future 3.3 特性 二、Stream：处理连续异步事件流 1. 概念解读 2. 使用场景 3. 基本用法 3.1 创建 Stream 3.2 监听 Stream 3.…...
langchain实现的内部问答系统及本地化替代方案
主旨：问答系统搭建使用langchain要token，本文目的在于一、解析langchain调用过程，二、不使用langchain规避token，而使用本地化部署的方案方向。主要是本地向量化库的建立。 文章目录 主旨：问答系统搭建使用langchain要…...
“新旗手”三星Galaxy S25系列，再次定义了AI手机的进化方向
一年多前，三星Galaxy S24系列正式发布，作为首款由Galaxy AI赋能的AI手机，带来了即圈即搜、通话实时翻译、AI扩图等“神奇能力”。 彼时AI手机还是一个新物种，没有明确的产品定义，体验上也没有“标准答案”。三星Galax…...
JVM的类加载器
什么是类加载器？ 类加载器：JVM只会运行二进制文件，类加载器的作用就是将字节码文件加载到JVM中，从而Java 程序能够启动起来。 类加载器有哪些？ 启动类加载器(BootStrap ClassLoader):加载JAVA HOME/jre/lib目录下的库…...
Node.js中的模块化：从原理到实践
目录 一、为什么需要模块化？ 二、Node.js模块类型解析 2.1 核心模块 2.2 文件模块 2.3 第三方模块 三、CommonJS规范深度解析 3.1 模块加载原理 3.2 模块缓存机制 3.3 循环依赖处理 四、ES Modules新特性 4.1 基本用法 4.2 与CommonJS的差异比较 五、模…...
LLM论文笔记 6: Training Compute-Optimal Large Language Models
Arxiv日期：2022.3.29机构：Google DeepMind 关键词 scaling lawpower law参数量FLOPStokes 核心结论 1. 当前大多数大语言模型（如 GPT-3 和 Gopher）在计算预算分配上存在问题，模型参数过大而训练数据不足 2. 计算预算…...
,数仓建模方法(星型模型,雪花模型,星座模型)和步骤)
数仓:核心概念,数仓系统(ETL,数仓分层,数仓建模),数仓建模方法(星型模型,雪花模型,星座模型)和步骤
数仓建模的核心概念 事实表（Fact Table）： 存储业务过程的度量值（如销售额、订单数量等）。 通常包含外键，用于关联维度表。 维度表（Dimension Table）： 存储描述性信息&…...
markdown|mermaid|typora绘制流程图的连接线类型怎么修改？
1、使用typora绘制流程图。别人例子里面的连线是圆弧，我的画出来就是带折线的 这是卖家秀： 这是买家秀： 无语了有没有？ 犹豫了片刻我决定一探究竟（死磕）。 Typora --> 文件 --> 偏好设置 --》 mar…...
理解WebGPU 中的 GPUDevice ：与 GPU 交互的核心接口
在 WebGPU 开发中， GPUDevice 是一个至关重要的对象，它是与 GPU 进行交互的核心接口。通过 GPUDevice ，开发者可以创建和管理 GPU 资源（如缓冲区、纹理、管线等），并提交命令缓冲区以执行渲染和计算任…...
庞氏骗局（Ponzi Scheme）：金融投资与公司经营中的隐形陷阱（中英双语）
庞氏骗局：金融投资与公司经营中的隐形陷阱 庞氏骗局（Ponzi Scheme），这个词在金融史上屡见不鲜。从投资骗局到企业经营中的资本运作，庞氏骗局的核心逻辑始终如一：用后来的资金填补前面的缺口，营…...
【黑马点评】 使用RabbitMQ实现消息队列——3.批量获取1k个用户token，使用jmeter压力测试
【黑马点评】 使用RabbitMQ实现消息队列——3.批量获取用户token，使用jmeter压力测试 3.1 需求3.2 实现3.2.1 环境配置3.2.2 修改登录接口UserController和实现类3.2.3 测试类 3.3 使用jmeter进行测试3.4 测试结果3.5 将用户登录逻辑修改回去3.6 批量删除生成的用户…...
前端调用串口通信
项目录结构 node项目 1） 安装serialport npm install serialport 2）编写index.js 1 const SerialPort require(serialport); 2 var senddata [0x02];//串口索要发送的数据源 3 var port new SerialPort(COM3);//连接串口COM3 4 port.on(open, fun…...
微信小程序请求大模型监听数据块onChunkReceived方法把数据解析成json
自己写的真是案例，onChunkReceived监听到的数据块发现监听到的内容不只是一个块，有时候会是多块，所以自己加了一个循环解析的过程，不知道大家监听到的数据情况是否一致。 在网上翻阅大量资料有的说引入js文件，亲测无效…...
SQL Server STUFF 函数的用法及应用场景
在 SQL Server 中，STUFF 函数是一种强大的字符串处理工具，常用于删除指定位置的字符并插入新的字符。通过这个函数，开发者能够灵活地修改字符串，从而在数据处理、字符串拼接和格式化等方面大显身手。本文将深入探讨 STUFF 函数的语…...
Qt使用CipherSqlite插件访问加密的sqllite数据库
1.下载 git clone https://github.com/devbean/QtCipherSqlitePlugin.git 2.编译CipherSqlite插件 使用qt打开QtCipherSqlitePlugin项目，并构建插件 3.将构建的插件复制到安装目录 4.使用DB Browser (SQLCipher)创建数据库并加密 5.qt使用Ciphe…...
 A200S 203560)
美国哈美顿零件号A203560 HAMILTON 10µl 1701 N CTC (22S/3) A200S 203560
零件号a61092-01 hamilton ml600 电源 110-220 vac 61092-01 零件号a81322 hamilton 1001 tll 1ml 注射器带塞子 81322 零件号a61710-01 hamilton ml600 探头支架 管架 61710-01 零件号a61614-01 hamilton ml600 填充管 12 ga 1219mm 4.57ml 61614-01 零件号a61615-01 ham…...
深入理解 Rust 的迭代器：从基础到高级
1. 迭代器的基础概念 1.1 什么是迭代器？ 迭代器是一种设计模式，允许我们逐个访问集合中的元素，而无需暴露集合的内部结构。在 Rust 中，迭代器通过实现 Iterator trait 来定义。该 trait 主要包含一个方法： pub trai…...
聊聊 IP 地址和端口号的区别
在计算机网络中，两个基本概念对于理解设备如何通过网络进行通信至关重要。IP 地址和端口号是 TCP/IP 的典型特征，其定义如下：IP 地址是分配给连接到网络的每台机器的唯一地址，用于定位机器并与其通信。相反，端口号用于…...
地图打包注意事项
地图打包 （注意不能大写 后缀也不能） 需要文件 objects_n 文件夹 （内部大量png文件和plist文件）.map.png 小地图tiles_n_n.plist 和tiles_n_n.png 文件sceneAtlasSplitConfigs合并.txt 文件放入 objects_n文件夹 内部(.png文件…...
代码随想录算法营Day38 ｜ 62. 不同路径，63. 不同路径 II，343. 整数拆分，96. 不同的二叉搜索树
62. 不同路径 这题的限制是机器人在m x n的网格的左上角，每次只能向下走一格或者向右走一格。问到右下角有多少条不同路径。这个动态规划的初始状态是第一行和第一列的格子的值都是1，因为机器人只能向右走一格或者向下走一格，所以第一行和第…...
科普：数据仓库中的“指标”和“维度”
在数据仓库中，指标和维度是两个核心概念，它们对于数据分析和业务决策至关重要。以下是对这两个概念的分析及举例说明： 一、指标 定义： 指标是用于衡量业务绩效的关键数据点，通常用于监控、分析和优化企业的运营状况。…...
`Pinia` + `Formily` + `useTable` 实现搜索条件缓存方案
Pinia + Formily + useTable 实现搜索条件缓存方案 背景 在当前的应用体验中，每当用户刷新页面或退出系统时，之前的搜索条件就会消失不见。为了进一步提升工作效率并增强用户体验，希望能够实现这样一个功能：即使用户进行了页面刷新或是暂时离开了平台，再次返回时也能自动…...
Trader Joe‘s EDI 需求分析
Trader Joes成立于1967年，总部位于美国加利福尼亚州，是一家独特的零售商，专注于提供高质量且价格合理的食品。公司经营范围涵盖了各类杂货、冷冻食品、健康食品以及独特的本地特色商品。 EDI需求分析 电子数据交换（EDIÿ…...
【BUG】conda虚拟环境下，pip install安装直接到全局python目录中
问题描述 conda虚拟环境下，有的虚拟环境的python不能使用（which python时直接使用全局路径下的python），且pip install也会安装到全局路径中，无法安装到conda虚拟环境中。 解决方案 查看虚拟环境的PIP缓存默认路径&…...
用Shader glsl实现一个简单的PBR光照模型
PBR模型定义了各种光照属性，如基础颜色、金属度、粗糙度等，就像给物体设定各种 “性格特点”。顶点着色器负责把顶点从模型空间转换到裁剪空间，同时计算一些用于光照计算的参数，就像给顶点 “搬家” 并准备好 “行李”。而片段着色…...
Linux系统使用ollama本地安装部署DeepSeekR1 + open-webui
Linux系统使用ollama本地安装部署DeepSeekR1 open-webui 1. 首先，下载安装ollama #下载安装脚本并执行 curl -fsSL https://ollama.com/install.sh | sh #安装完成后查看ollama版本 ollama --version2. 使用ollama下载deepseek #不同的参数规格对硬件有不同的要…...
学习星开源在线考试教育系统
学习星开源考试系统 项目介绍 项目概述： 学习星在线考试系统是一款基于Java和Vue.js构建的前后端分离的在线考试解决方案。它旨在为教育机构、企业和个人提供一个高效、便捷的在线测试平台，支持多种题型，包括但不限于单选题、多选题、判断…...
树莓派通过手机热点，无线连接PC端电脑，进行远程操作
树莓派通过手机热点实现无线连接具有以下几点优势： 1.该方式能够联网，方便在项目开发时下载一些数据包。 2.该方式能够通过手机端查看树莓派IP地址(有些情况树莓派ip地址会发生改变) 借鉴链接如下： 树莓派的使用网线及无线连接方法及手机…...
【工业安全】-CVE-2022-35561- Tenda W6路由器 栈溢出漏洞
文章目录 1.漏洞描述 2.环境搭建 3.漏洞复现 4.漏洞分析 4.1：代码分析 4.2：流量分析 5.poc代码： 1.漏洞描述 漏洞编号：CVE-2022-35561 漏洞名称：Tenda W6 栈溢出漏洞 威胁等级：高危 漏洞详情࿱…...
Windows环境管理多个node版本
前言 在实际工作中，如果我们基于Windows系统开发，同时需要维护老项目，又要开发新项目，且不同项目依赖的node版本又不同时，那么就需要根据项目切换不同的版本。本文使用Node Version Manager（nvm࿰…...
git 沙盒 下（二）
url ：Learn Git Branching 高级git 多次Rebase 最开始我先把bugFix分支先rebase到main上，之后再把c7合并到c6 ，之后就差合并为一个分支了，但是无论移动c7还是another分支都无法合并，都会在原地停留 后来根据提示最…...
基于JavaSpringmvc+myabtis+html的鲜花商城系统设计和实现
基于JavaSpringmvcmyabtishtml的鲜花商城系统设计和实现 🍅 作者主页 网顺技术团队 🍅 欢迎点赞 👍 收藏 ⭐留言 📝 🍅 文末获取源码联系方式 📝 🍅 查看下方微信号获取联系方式 承接各种定制系…...
vue-plugin-hiprint （vue2
页面效果 <template><div><div class"d-flex flex-column mt5"><div class"d-flex flex-row " style"margin-bottom: 10px;justify-content: center;"><!-- 纸张大小 A3、A4 等 --><div class"paper&quo…...
网站地址栏怎么变成HTTPS开头？
在当今的数字世界中，网络安全已成为不可或缺的一部分。对于网站管理员和所有者来说，确保访问者数据的安全和隐私至关重要。HTTPS是一种加密的通信协议，通过在客户端和服务器之间建立安全连接来保护数据传输。将网站从HTTP升级到HTTPS不仅提升…...
手机用流量怎样设置代理ip?
互联网各领域资料分享专区(不定期更新)： Sheet...
Web渗透实战--XSS 常用语句以及绕过思路
Web渗透实战–XSS 常用语句以及绕过思路 0x01：干货 - XSS 测试常用标签语句 0x0101： 标签 <!-- 点击链接触发 - JavaScript 伪协议 --><a hrefjavascript:console.log(1)>XSS1</a> <!-- 字符编码绕过 - JavaScript 伪协议 -->&…...
哈希表-两个数的交集
代码随想录-刷题笔记 349. 两个数组的交集 - 力扣（LeetCode） 内容: 集合的使用 , 重复的数剔除掉，剩下的即为交集，最后加入数组即可。 class Solution {public int[] intersection(int[] nums1, int[] nums2) {Set<Integer…...