当前位置：首页 > news >正文

大规模多准则决策模型构建详细方案

news 来源：原创 2025/4/19 7:03:25

第二阶段：大规模多准则决策模型构建详细方案

目标

基于消费者群体偏好和个体交互数据，构建动态、可扩展的多准则决策模型，实现实时个性化产品排序。

一、技术架构设计

1. 系统架构图

[用户交互层] → (React前端)  ↓  
[API服务层] → (Django后端 + RESTful API)  ↓  
[决策引擎层] → (Spark MLlib聚类 + NSGA-II优化 + Flink实时计算)  ↓  
[数据存储层] → (Redis缓存 + HBase持久化)

2. 核心组件功能

用户交互层：提供滑块界面供用户调整偏好权重，实时展示推荐结果。
API服务层：处理用户请求，调用决策引擎生成排序。
决策引擎层：完成群体聚类、多目标优化及动态更新。
数据存储层：缓存热点数据（如群体偏好模板），持久化用户行为日志。

二、模型构建详细步骤

1. 群体偏好建模

输入：第一阶段生成的用户-属性偏好矩阵（格式：用户ID, 属性1权重, 属性2权重, ..., 属性N权重）。
工具：Apache Spark MLlib（分布式聚类）、PCA（降维）。

步骤：

数据预处理
- 降维：对高维偏好数据（如100+属性）进行PCA处理，保留90%方差的主成分。
- 归一化：对权重进行Min-Max归一化，消除量纲差异。
分布式聚类
- 算法选择：K-means（需预定义簇数K）。
- K值确定：
  - 肘部法则：计算不同K值的SSE（簇内平方和），选择拐点。
  - 轮廓系数：评估聚类紧密度，取最大值对应的K。
- Spark实现：
```
from pyspark.ml.clustering import KMeans
kmeans = KMeans(k=5, seed=42)
model = kmeans.fit(preference_df)
clusters = model.transform(preference_df)
```

群体偏好模板生成

计算每个簇的均值权重向量，存储至Redis：

{"cluster_id": "C1","preferences": {"屏幕": 0.35, "续航": 0.45, "价格": 0.20},"user_count": 15000
}

2. 个体偏好交互与优化

输入：用户初始群体偏好模板 + 实时交互调整的权重。
工具：NSGA-II（多目标遗传算法）、Django REST Framework（API开发）。

步骤：

偏好初始化

用户首次访问时，根据其历史行为匹配最相似群体模板（余弦相似度）。

示例匹配逻辑：

def match_cluster(user_vector, clusters):similarities = [cosine(user_vector, cluster.center) for cluster in clusters]return clusters[np.argmax(similarities)]

交互式权重调整
- 前端实现：React滑块组件，允许用户调整属性权重（如“价格”从0.2拖至0.4）。
- 数据传输：通过REST API将调整后的权重发送至后端：
```
POST /api/preference
{"user_id": "U001","weights": {"屏幕": 0.3, "续航": 0.5, "价格": 0.2}
}
```
多目标优化排序
- 目标函数定义：
  [
  \begin{cases}
  \text{Maximize } \sum_{i=1}^n w_i \cdot s_i & \text{（综合效用）} \
  \text{Minimize } \text{price} & \text{（价格最低）}
  \end{cases}
  ]
  - (w_i)：用户调整后的属性权重
  - (s_i)：产品在属性i上的得分（来自第一阶段情感分析）
- NSGA-II实现：
  - 种群初始化：随机生成1000个候选产品排序。
  - 交叉与变异：单点交叉（概率0.8）、均匀变异（概率0.1）。
  - 帕累托前沿选择：保留非支配解集，剔除重复解。
  - 代码示例（DEAP库）：
```
from deap import algorithms, base, creator, tools
creator.create("FitnessMulti", base.Fitness, weights=(1.0, -1.0))
creator.create("Individual", list, fitness=creator.FitnessMulti)
toolbox = base.Toolbox()
toolbox.register("evaluate", evaluate_individual)  # 自定义评估函数
```

3. 动态更新与实时处理

输入：用户实时行为数据（点击、购买）。
工具：Apache Flink（流式计算）、River（增量学习）。

步骤：

实时数据流处理

Flink作业设计：

DataStream<UserEvent> stream = env.addSource(new KafkaSource<>("user_behavior_topic")).keyBy(UserEvent::getUserId).window(TumblingEventTimeWindows.of(Time.hours(6))).process(new PreferenceUpdater());

更新逻辑：
- 用户点击某产品后，提取其属性偏好，按时间衰减更新权重：

增量学习优化模型

在线更新NSGA-II参数：

from river import optim
optimizer = optim.SGD(learning_rate=0.01)
for new_data in stream:model = model.partial_fit(new_data)

三、性能优化与容错设计

1. 计算效率提升

分布式排序生成：将候选产品分片至Spark Executor并行计算。
近似算法：对长尾产品使用Top-K剪枝（如仅保留评分前20%的产品）。

2. 容错与一致性

Spark Checkpoint：每10分钟保存聚类模型状态至HDFS。
Flink Exactly-Once语义：通过Kafka事务保证数据不丢失。

四、评估与验证

1. 离线评估

指标：
- NDCG@10：衡量排序结果与用户真实偏好的相关性。
- 帕累托解覆盖率：非支配解占总候选解的比例（目标>30%）。

2. 在线A/B测试

分组：
- 对照组：基于协同过滤的推荐。
- 实验组：MCDM模型推荐。
指标对比：
指标对照组实验组提升率
CTR 2.1% 3.5% +66%
转化率 1.2% 1.8% +50%

指标	对照组	实验组	提升率
CTR	2.1%	3.5%	+66%
转化率	1.2%	1.8%	+50%

五、挑战与解决方案

挑战	解决方案
高维数据聚类效果差	先通过XGBoost筛选Top 30属性，再使用t-SNE降维至3D空间聚类。
实时推荐延迟高	预计算80%高频用户群体的排序结果，缓存至Redis。
用户交互数据稀疏	引入默认权重填充策略（如使用群体均值补全缺失属性）。

总结

该方案通过分布式聚类、多目标优化与实时计算，实现了大规模多准则决策模型的构建，显著提升了电商推荐的个性化和实时性。实际部署时需结合业务需求调整参数（如聚类数K、权重衰减因子），并通过持续监控优化系统性能。

大规模多准则决策模型构建详细方案

第二阶段：大规模多准则决策模型构建详细方案目标基于消费者群体偏好和个体交互数据，构建动态、可扩展的多准则决策模型，实现实时个性化产品排序。一、技术架构设计 1. 系统架构图 [用户交互层] → (React前端) ↓ [API服务层] → (…...

编程日记 2025/4/19 7:03:25

Rust 语言：变革关键任务软件的新力量

软件无处不在，从手表、烤箱、汽车，甚至可能是牙刷中都有它的身影。更重要的是，软件控制着关乎生死的系统，如飞机、医疗设备、电网系统和银行基础设施等。如果软件工程师稍有疏忽，软件缺陷和漏洞可能导致数十亿美元的损…...

编程日记 2025/4/15 7:06:12

Linux特权组全解析：识别GID带来的权限提升风险

组ID（Group ID，简称 GID）是Linux系统中用来标识不同用户组的唯一数字标识符。每个用户组都有一个对应的 GID，通过 GID，系统能够区分并管理不同的用户组。在Linux系统中，系统用户和组的配置文件通常包括以…...

编程日记 2025/4/19 5:46:32

安卓/ios脚本开发按键精灵经验小分享

1. 程序的切换我们经常碰到这样的需求：打开最近的应用列表，选取我们想要的程序。但是每个手机为了自己的风格，样式都有区别，甚至连列表的滑动方向都不一样，我们很难通过模拟操作来识别点击，那么我们做的只…...

编程日记 2025/4/18 13:36:31

机器学习在癌症分子亚型分类中的应用

学习笔记：机器学习在癌症分子亚型分类中的应用——Cancer Cell 研究解析 1. 文章基本信息标题：Classification of non-TCGA cancer samples to TCGA molecular subtypes using machine learning发表期刊：Cancer Cell发表时间：20…...

编程日记 2025/4/17 6:09:25

DeepSeek本地部署保姆级教程

由于DeepSeek近期遭受攻击，又加上用户访问量较大，导致总是服务不可用，让人十分窝火。有没有好的解决办法呢？答案是自己在电脑端部署一套，这样就不用和别人抢着用了。另外本地部署的好处还有保护隐私与减少延迟。如果…...

编程日记 2025/4/18 7:02:31

无惧户外复杂环境，安科瑞 AKH-0.66/K-HW 开口式互感器准确测流

安科瑞吕梦怡 18706162527 1.产品特点 AKH-0.66/K-HW 系列互感器具有防水功能，可在户外使用，切面端口采用橡胶垫环绕可有效阻止雨水进入。互感器采用注塑技术，将互感器线圈直接在模具中进行注塑，同时二次侧引线采用防水端子…...

编程日记 2025/4/16 19:04:13

玩转Docker | 使用Docker部署httpd服务

玩转Docker | 使用Docker部署httpd服务前言一、准备工作环境确认检查操作系统准备网站目录和配置文件二、拉取httpd镜像三、运行httpd容器运行容器命令检查容器状态四、验证httpd服务浏览器访问测试错误排查五、容器管理与维护查看容器状态停止和启动容器更新网站内容和配置六…...

编程日记 2025/4/17 9:39:38

MacOS 安装NVM

MacOS 安装NVM 方法一：使用Homebrew安装nvm 打开终端（Terminal），输入以下命令安装Homebrew： /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"安装nvm…...

编程日记 2025/4/19 5:55:24

Qt 数据库SQLite 使用【01】基本功能

1.开发背景 Qt 开发过程中难免需要存储数据，可以选择保存到本地文件，但是查找比较麻烦，所以就有了数据库，主要是方便查找数据，增删改查等操作，而 SqLite 属于数据库中轻量级的存在，适合本地数据…...

编程日记 2025/4/14 1:57:02

http状态码：请说说 503 Service Unavailable（服务不可用）的原因以及排查问题的思路

503 Service Unavailable（服务不可用） 是一种HTTP状态码，表示服务器当前无法处理请求，通常是由于临时性原因导致服务中断。以下是它的常见原因和排查思路： 一、503错误的常见原因 1. 服务器过载场景：服务…...

编程日记 2025/4/14 17:54:21

58页PPT学习华为面向业务价值的数据治理实践

目录 1. 正文解读... 1 2. 华为数据质量管控的质量度量框架是怎样的？... 2 3. 如何在企业中实施类似华为的数据质量管控...

编程日记 2025/4/19 4:31:46

电脑开机提示按f1原因分析及终极解决方法来了

经常有网友问到一个问题，我电脑开机后提示按f1怎么解决？不管理是台式电脑，还是笔记本，都有可能会遇到开机需要按F1，才能进入系统的问题，引起这个问题的原因比较多，今天小编在这里给大家列举了比…...

编程日记 2025/4/19 6:16:26

DeepSeek模型构建与训练

在完成数据预处理之后，下一步就是构建和训练深度学习模型。DeepSeek提供了简洁而强大的API，使得模型构建和训练变得非常直观。无论是简单的全连接网络，还是复杂的卷积神经网络（CNN）或循环神经网络（RNN），DeepSeek都能轻松应对。本文将带你一步步构建一个深度学习模型，并…...

编程日记 2025/4/16 15:51:05

ProxySQL实现mysql8主从同步读写分离

一、ProxySQL基本介绍 ProxySQL是 MySQL 的高性能、高可用性、协议感知代理。简单介绍下ProxySQL及其功能和配置，主要包括： 最基本的读/写分离，且方式有多种；可定制基于用户、基于schema、基于语句的规则对SQL语句进行路由&…...

编程日记 2025/4/17 7:39:41

Day38-【13003】短文，树的基本概念，用广义表表示树

文章目录第五章树与二叉树第一节树的基本概念用广义表，也就是集合表示发，来表示树第五章树与二叉树第一节树的基本概念因为树是一种层次结构，所以它是一种非线性结构，在实际应用中具有广泛的用途。日常生活中&#xff…...

编程日记 2025/4/19 5:06:42

LabVIEW与PLC交互

一、写法写命令立即读出写命令后立即读出，在同一时间不能有多个地方写入，因此需要在整个写入后读出过程加锁项目中会存在多个循环并行执行该VI，轮询PLC指令在锁内耗时，就是TCP读写的实际耗时为5-8ms，在主VI六个…...

编程日记 2025/4/17 18:03:48

MySQL第四次作业

新建数据库新建表 student表 2.course表 3.sc表修改Student 表中年龄(sage)字段属性，数据类型由int 改变为smallint alter table student modify sage smallint; 为Course表中Cno 课程号字段设置索引，并查看索引 create index index_cno on cou…...

编程日记 2025/4/16 0:41:44

栈和队列的实现（C语言）

1：栈 1：概念和结构栈：一种特殊的线性表，其只运行在固定的一段进行插入和删除元素操作。进行数据插入和删除操作的一端称为栈顶，另一端称为栈底。栈中的数据元素遵守先进后出的原则。压栈：在栈里面插入…...

编程日记 2025/4/19 6:01:16

（四）QT——QMainWindow——界面菜单设计

目录前言 QMainWindow 结构菜单栏工具栏状态栏停靠部件核心部件 UI 文件创建窗口总结前言 QMainWindow 是 Qt 框架中的一个类，主要用于创建桌面应用程序的主窗口。它提供了一个标准的窗口布局，包含菜单、工具栏、状态栏和中心小部件等功…...

编程日记 2025/4/16 0:34:45

MySQL InnoDB引擎脏读、不可重复读和幻读

在 MySQL 的 InnoDB 存储引擎中，脏读、不可重复读和幻读是并发事务操作时可能出现的数据不一致问题，不同的事务隔离级别对这些问题有不同的处理方式。 1、脏读（Dirty Read） 定义：一个尚未提交的数据变更的事务&#…...

编程日记 2025/4/17 4:23:36

初阶数据结构：树---堆

目录一、树的概念二、树的构成 （一）、树的基本组成成分 （二）、树的实现方法三、树的特殊结构------二叉树 （一）、二叉树的概念 （二）、二叉树的性质 （三&#…...

编程日记 2025/4/18 14:36:21

判断192.168.1.0/24网络中，当前在线的ip有哪些

需求：判断192.168.1.0/24网络中，当前在线的ip有哪些，并编写脚本打印出来。 [rootopenEuler ~]# cat 1.sh #!/bin/bash for ip in $(seq 1 254); do ping -c 1 -W 1 "192.168.1.$ip" > /dev/null 2>&1 if [ $? …...

编程日记 2025/4/17 17:33:24

初始JavaEE篇 —— Spring Web MVC入门（上）

找往期文章包括但不限于本期文章中不懂的知识点： 个人主页：我要学编程程(ಥ_ಥ)-CSDN博客所属专栏：JavaEE 目录 RequestMappingg 注解介绍 Postman的介绍与使用 PostMapping 与 GetMapping 注解构造并接收请求接收简单参数接收对象…...

编程日记 2025/4/18 14:38:35

STM32的HAL库开发-通用定时器输入捕获实验

一、通用定时器输入捕获部分框图介绍 1、捕获/比较通道的输入部分(通道1) 首先设置 TIM_CCMR1的CC1S[1:0]位，设置成01，那么IC1来自于TI1，也就是说连接到TI1FP1上边。设置成10，那个IC1来自于TI2，连接到TI2FP1上。设置成…...

编程日记 2025/4/18 8:30:56

nodejs：express + js-mdict 网页查询英汉词典，能播放.spx 声音

向 DeepSeek R1 提问： 我想写一个Web 前端网页，后台用 nodejs js-mdict , 实现在线查询英语单词，并能播放.spx 声音文件 1. 项目结构首先，创建一个项目目录，结构如下： mydict-app/ ├── public/ │ …...

编程日记 2025/4/17 17:32:28

【蓝桥杯嵌入式】5_PWM

全部代码网盘自取链接：https://pan.baidu.com/s/1PX2NCQxnADxYBQx5CsOgPA?pwd3ii2 提取码：3ii2 1、PWM占空比可调以往届的赛题举例将PA6、PA7分别设置为TIM16_CH1和TIM17_CH1 打开TIM16和TIM17，并设置PWM输出模式及其频率设置占空比初…...

编程日记 2025/4/18 14:38:04

ESM-IF1：从AF2的预测结构中学习逆折叠

作者研究了从蛋白质骨干原子坐标预测蛋白质序列的问题。迄今为止，机器学习解决此问题的方法一直受限于可用的实验测定蛋白质结构的数量。作者使用AlphaFold2为1200万个蛋白质序列预测的结构，从而将训练数据扩充了近三个数量级。相比现有方法，…...

编程日记 2025/4/18 7:23:56

kafka服务端之控制器

文章目录概述控制器的选举与故障恢复控制器的选举故障恢复优雅关闭分区leader的选举概述在Kafka集群中会有一个或多个broker，其中有一个broker会被选举为控制器（Kafka Controler），它负责管理整个集群中所有分区和副本的状态。…...

编程日记 2025/4/18 14:36:51

Redis双写一致性（数据库与redis数据一致性）

一什么是双写一致性？ 当修改了数据库（MySQL）中的数据，也要同时更新缓存（redis）中的数据，缓存中的数据要和数据库中的数据保持一致双写一致性，根据业务对时间上的要求，…...

编程日记 2025/4/18 14:34:10

feign Api接口中注解问题：not annotated with HTTP method type (ex. GET, POST)

Bug Description 在调用Feign api时，出现如下异常： java.lang.IllegalStateException: Method PayFeignSentinelApi#getPayByOrderNo(String) not annotated with HTTPReproduciton Steps 1.启动nacos-pay-provider服务，并启动nacos-pay-c…...

编程日记 2025/4/18 14:35:11

开源2+1链动模式AI智能名片S2B2C商城小程序：突破流量与创意困境的新路径

摘要：本文深入剖析当前互联网行业中流量集中于巨头以及创意边际效应递减的困境，并探讨开源21链动模式AI智能名片S2B2C商城小程序在应对这些困境时所展现的独特优势与应用策略。通过对行业现状的分析以及该小程序功能特点的研究，旨在为企业在艰…...

编程日记 2025/4/19 6:32:39

python编程-内置函数compile()，exec()，complex()，eval()详解

1. compile() 函数 ‌用途‌：将一个字符串源代码编译为字节码对象，这样可以直接被Python解释器执行，或者通过exec()或eval()函数来执行。 ‌参数‌： source：一个字符串或AST（抽象语法树）对象&am…...

编程日记 2025/4/18 12:46:14

websocket自动重连封装

websocket自动重连封装前端代码封装 import { ref, onUnmounted } from vue;interface WebSocketOptions {url: string;protocols?: string | string[];reconnectTimeout?: number; }class WebSocketService {private ws: WebSocket | null null;private callbacks: { [k…...

编程日记 2025/4/18 12:48:23

解锁C/C++：链表数据结构的奇幻之旅

目录一、引言二、链表基础概念2.1 链表是什么2.2 链表的类型三、C 语言实现链表3.1 定义链表节点3.2 创建链表3.3 链表操作3.3.1 遍历链表3.3.2 插入节点3.3.3 删除节点3.3.4 查找节点3.4 完整示例代码四、C++ 实现链表4.1 定义链表节点类4.2 创建链表4.3 链表操作4.3.1 遍历链…...

编程日记 2025/4/18 12:47:13

x64、aarch64、arm与RISC-V64：详解四种处理器架构

x64、aarch64、arm与RISC-V64：详解四种处理器架构 x64架构aarch64架构ARM架构RISC-V64架构总结与展望在计算机科学领域，处理器架构是构建计算机系统的基石，它决定了计算机如何执行指令、管理内存和处理数据。x64、aarch64、arm与RISC-V64是当前主流的四种处理器架构，它们在…...

编程日记 2025/4/18 12:47:50

nuxt3中报错： `setInterval` should not be used on the server.

那是因为在后端渲染没有浏览器的执行环境，一些浏览器环境提供的对象和方法都无法使用，代码判断下就行。 if (import.meta.client) {setInterval(() > {}, 1000) }Import meta Nuxt API...

编程日记 2025/4/18 12:48:06

python编程-集合内置函数和filter(),集合常见操作

在Python中，列表、集合、字典是三种常用的数据结构，它们各自拥有一些内置函数，用于执行各种操作。一、列表的常用内置函数 #‌1、append(obj)‌: 在列表末尾添加新的对象。list_a [1, 2, 3] list_a.append(4) print(list_a) # 输出: [1,…...

编程日记 2025/4/18 12:46:52

三极管的截止、放大、饱和区

三极管的几个区，都有什么用： 截止区：晶体管不导通，用于开关电路的“关”状态。放大区：晶体管用于信号放大，集电极电流与基极电流成正比。饱和区：晶体管完全导通，用于开关电路的“…...

编程日记 2025/4/18 12:47:31

python爬虫--简单登录

1，使用flask框架搭建一个简易网站后端代码app.py from flask import Flask, render_template, request, redirect, url_for, sessionapp Flask(__name__) app.secret_key 123456789 # 用于加密会话数据# 模拟用户数据库 users {user1: {password: password1}…...

编程日记 2025/4/18 12:46:33

苹果公司宣布正式开源 Xcode 引擎 Swift Build145

2025 年 2 月 1 日，苹果公司宣布正式开源 Xcode 引擎 Swift Build145。 Swift 是苹果公司于 2014 年推出的一种开源编程语言，用于开发 iOS、iPadOS、macOS、watchOS 和 tvOS 等平台的应用程序。发展历程诞生：2014 年，苹果在全球…...

编程日记 2025/4/17 10:03:44

齿轮减速机和平行轴减速机有何区别？

减速机是传动系统中重要的组成部分，常用的减速机有四大系列，分别是平行轴减速机、同轴减速机、直角减速机和齿轮减速机。那么大家知道齿轮减速机和平行轴减速机投什么区别吗？ 齿轮减速机的轴不一定是平行的，还可能存在相交轴或交错…...

编程日记 2025/4/18 11:42:15

基于Hexo实现一个静态的博客网站

原文首发：https://blog.liuzijian.com/post/8iu7g5e3r6y.html 目录引言1.初始化Hexo2.整合主题Fluid3.部署评论系统Waline4.采用Nginx部署引言 Hexo是中国台湾开发者Charlie在2012年创建的一个开源项目，旨在提供一个简单、快速且易于扩展的静态博客生…...

编程日记 2025/4/18 11:41:03

MIT6.824 Lecture 1-Introduction

balance：性能和容错 Faulty tolerance： Availablity、Recoverability、NV storage（非易失性存储，比较贵）、Replication（多个数据副本） consistency： Put（key，…...

编程日记 2025/4/18 11:43:30

【Redis实战】投票功能

1. 前言现在就来实践一下如何使用 Redis 来解决实际问题，市面上很多网站都提供了投票功能，比如 Stack OverFlow 以及 Reddit 网站都提供了根据文章的发布时间以及投票数计算出一个评分，然后根据这个评分进行文章的展示顺序。本文就简单演示…...

编程日记 2025/4/18 0:49:45

1Panel应用推荐：WordPress开源博客软件和内容管理系统

1Panel（github.com/1Panel-dev/1Panel）是一款现代化、开源的Linux服务器运维管理面板，它致力于通过开源的方式，帮助用户简化建站与运维管理流程。为了方便广大用户快捷安装部署相关软件应用，1Panel特别开通应用商店&am…...

编程日记 2025/4/18 11:42:52

GGML、GGUF、GPTQ 都是啥?

GGML、GGUF和GPTQ是三种与大型语言模型（LLM）量化和优化相关的技术和格式。它们各自有不同的特点和应用场景，下面将详细解释： 1. GGML（GPT-Generated Model Language）定义：GGML是一种专为机器学习设计的张量库，由Georgi Gerganov创建。它最初的目标是通过单一文件格式…...

编程日记 2025/4/18 11:43:11