当前位置：首页 > news >正文

推荐算法实践：movielens数据集

news 来源：原创 2025/5/18 3:45:24

MovieLens 数据集介绍

MovieLens 数据集是由明尼苏达大学的GroupLens研究小组维护的一个广泛使用的电影评分数据集，主要用于推荐系统的研究。该数据集包含用户对电影的评分、标签以及其他相关信息，是电影推荐系统开发与研究的常用数据源。

数据集版本

MovieLens 数据集有多个版本，不同版本的数据集规模和内容有所不同：
MovieLens 100k 数据集：包含943位用户对1682部电影的100,000条评分数据，评分范围为1到5分。
MovieLens 1M 数据集：包含1000名用户对3900部电影的100万条评分数据。
MovieLens 10M 数据集：包含71,567名用户对10,681部电影的1000万条评分数据。
MovieLens 20M 数据集：包含138,000名用户对27,000部电影的2000万条评分数据。
MovieLens 25M 数据集：是目前最新发布的版本，包含更多的用户和电影数据。

数据集结构

数据集通常包含以下主要文件：

用户信息文件（Users.dat），包含用户的基本信息，如用户ID、性别、年龄、职业等。

UserID：用户唯一标识。从1~6040，代表了6040个MovieLens用户
Gender：性别（M表示男性，F表示女性）。
Age：用户年龄，分成了7组
- 1: “Under 18”
- 18: “18-24”
- 25: “25-34”
- 35: “35-44”
- 45: “45-49”
- 50: “50-55”
- 56: “56+”
Occupation：用户职业，如学生、教师、工程师等。
- 0: “other” or not specified
- 1: “academic/educator”
- 2: “artist”
- 3: “clerical/admin”
- 4: “college/grad student”
- 5: “customer service”
- 6: “doctor/health care”
- 7: “executive/managerial”
- 8: “farmer”
- 9: “homemaker”
- 10: “K-12 student”
- 11: “lawyer”
- 12: “programmer”
- 13: “retired”
- 14: “sales/marketing”
- 15: “scientist”
- 16: “self-employed”
- 17: “technician/engineer”
- 18: “tradesman/craftsman”
- 19: “unemployed”
- 20: “writer”
Zip-code：用户所在地区的邮政编码。

电影信息文件（Movies.dat），MovieID::Title::Genres。

MovieID：电影唯一标识。从1~3952，代表了3952部电影
Title：电影标题，通常包含电影名称和发行年份。
Genres：电影题材由竖线分开，包括动作喜剧等18种电影类型，如“Action|Comedy”。
- Action
- Adventure
- Animation
- Children’s
- Comedy
- Crime
- Documentary
- Drama
- Fantasy
- Film-Noir
- Horror
- Musical
- Mystery
- Romance
- Sci-Fi
- Thriller
- War
- Western

评分文件（Ratings.dat），UserID::MovieID::Rating::Timestamp

UserID：用户唯一标识。
MovieID：电影唯一标识。
Rating：用户对电影的评分，通常为1到5的整数。
Timestamp：评分的时间戳，表示自1970年1月1日以来的秒数。

标签文件（Tags.dat）包含用户为电影添加的标签。

UserID：用户唯一标识。
MovieID：电影唯一标识。
Tag：用户为电影添加的标签内容。
Timestamp：标签添加的时间戳。

数据集下载

https://files.grouplens.org/datasets/movielens/
https://grouplens.org/datasets/movielens/

数据集解析

以下是一个基于Python和Pandas库的MovieLens数据集解析代码示例，适用于常见的MovieLens数据集（如ml-100k或ml-1m）：

import pandas as pd# 定义数据集文件路径
user_file = 'users.dat'  # 用户信息文件
movie_file = 'movies.dat'  # 电影信息文件
rating_file = 'ratings.dat'  # 评分信息文件# 定义数据集的列名
user_columns = ['user_id', 'gender', 'age', 'occupation', 'zip']
movie_columns = ['movie_id', 'title', 'genres']
rating_columns = ['user_id', 'movie_id', 'rating', 'timestamp']# 读取数据
user_df = pd.read_csv(user_file, sep='::', header=None, names=user_columns, engine='python')
movie_df = pd.read_csv(movie_file, sep='::', header=None, names=movie_columns, engine='python', encoding='ISO-8859-1')
rating_df = pd.read_csv(rating_file, sep='::', header=None, names=rating_columns, engine='python')# 查看数据的前几行
print("用户数据前几行：")
print(user_df.head())
print("\n电影数据前几行：")
print(movie_df.head())
print("\n评分数据前几行：")
print(rating_df.head())

推荐算法实践：movielens数据集

MovieLens 数据集介绍 MovieLens 数据集是由明尼苏达大学的GroupLens研究小组维护的一个广泛使用的电影评分数据集，主要用于推荐系统的研究。该数据集包含用户对电影的评分、标签以及其他相关信息，是电影推荐系统开发与研究的常用数据源。数据集版本 …...

编程日记 2025/5/18 3:45:24

基于 PyTorch 的树叶分类任务：从数据准备到模型训练与测试

基于 PyTorch 的树叶分类任务：从数据准备到模型训练与测试 1. 引言在计算机视觉领域，图像分类是一个经典的任务。本文将详细介绍如何使用 PyTorch 实现一个树叶分类任务。我们将从数据准备开始，逐步构建模型、训练模型，并在测试…...

编程日记 2025/5/16 7:13:58

生成式语言模型技术全解析

一、引言在人工智能领域，生成式语言模型（Generative Language Models，GLMs）无疑是近年来最为耀眼的明星。从早期的简单语言模型到如今如DeepSeek、Qwen 2.5 Max等具有强大能力的先进模型，它们在自然语言处理的各个方…...

编程日记 2025/4/9 14:58:08

香港中文大学 Adobe 推出 MotionCanvas：开启用户掌控的电影级图像视频创意之旅。

简介： 亮点直击将电影镜头设计引入图像到视频的合成过程中。推出了MotionCanvas，这是一种简化的视频合成系统，用于电影镜头设计，提供整体运动控制，以场景感知的方式联合操控相机和对象的运动。设计了专门的运动条…...

编程日记 2025/5/12 11:23:51

bazel 小白理解

Bazel命令是用于构建和测试软件项目的一个强大工具，尤其适用于大规模和多语言的软件项目。对于小白来说，可以这样理解Bazel及其命令： Bazel的基本概念构建系统：Bazel是一个构建系统，它的主要任务是自动化地编译和链…...

编程日记 2025/5/16 8:05:23

基于Python深度学习的【蘑菇识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能

一、介绍蘑菇识别系统，本系统使用Python作为主要开发语言，基于TensorFlow搭建卷积神经网络算法，并收集了9种常见的蘑菇种类数据集【“香菇（Agaricus）”, “毒鹅膏菌（Amanita）”, “牛肝菌&…...

编程日记 2025/5/16 21:04:14

基于 STM32 平台的音频特征提取与歌曲风格智能识别系统

标题:基于 STM32 平台的音频特征提取与歌曲风格智能识别系统内容:1.摘要摘要：本文介绍了一种基于 STM32 平台的音频特征提取与歌曲风格智能识别系统。该系统通过对音频信号进行特征提取和分析，实现了对歌曲风格的自动识别。在特征提取方面&#xff0c…...

编程日记 2025/5/13 9:34:10

AUTOGPT:基于GPT模型开发的实验性开源应用程序；目标设定与分解；；自主思考与决策；；信息交互与执行

目录 AUTOGPT是一款基于GPT模型开发的实验性开源应用程序目标设定与分解自主思考与决策信息交互与执行AUTOGPT是一款基于GPT模型开发的实验性开源应用程序目标设定与分解自主思考与决策信息交互与执行 AUTOGPT是一款基于GPT模型开发的实验性开源应用程序，它能让大语言模…...

编程日记 2025/5/17 19:43:27

DeepSeek底层揭秘——知识图谱与语料库的联邦学习架构

目录 1. 知识图谱与语料库的联邦学习架构 2. 技术要素 3. 技术难点与挑战 4. 技术路径 5. 应用场景 6. 最新研究与技术进展 7. 未来趋势 8. 实际案例猫哥说 1. 知识图谱与语料库的联邦学习架构 (1) 定义 “知识图谱与语料库的联邦学习架构”是一种结合知识图谱&…...

编程日记 2025/5/18 3:39:47

MVVM设计模式

‌MVVM（Model-View-ViewModel）是一种软件设计模式,MVVM模式由三个主要部分组成： ‌Model（模型）‌：负责管理应用程序的业务逻辑和数据。它不关心UI如何展示数据，主要负责与服务器通信和数据处处…...

编程日记 2025/5/18 3:41:31

5.实时推荐系统的设计与实现

接下来我们将学习实时推荐系统的设计与实现。实时推荐系统需要处理大规模数据，并在用户交互时提供即时的推荐结果。这一课我们将介绍以下内容： 实时推荐系统的基本概念实时推荐系统的架构设计实时推荐系统的关键技术实践示例 1. 实时推荐系统的基本概念…...

编程日记 2025/5/14 9:00:21

分层解耦-ioc引入

内聚: 软件中各个功能模块内部的功能联系。耦合: 衡量软件中各个层/模块之间的依赖、关联的程度。软件设计原则: 高内聚低耦合。...

编程日记 2025/5/1 6:47:20

Docker安装常用软件说明

1.总体步骤 2.安装tomcat docker run -d -p 8080:8080 --name tomcat1 tomcat:11.0.8 访问tomcat猫首页出现404 这是正常情况 Docker 默认采用的是 NAT 网络模式，所以会自动创建 IPtable 规则并自动开放端口，所以无需考虑防火墙问题新版Tomcat已经…...

编程日记 2025/5/17 22:05:37

陶氏环面包络减速机：为工业视觉检测注入“精准动力”！

在工业4.0时代，视觉检测技术已成为智能制造的核心环节。无论是精密电子元件的检测，还是汽车零部件的质量把控，视觉检测系统都需要极高的精度、稳定性和响应速度。而这一切，离不开一颗强大的“心脏”——陶氏环面包络减速机。一、…...

编程日记 2025/5/16 10:36:42

标准日本语导学

新版标准日本语-初级结构初级上初级下每章结构教学方法...

编程日记 2025/4/8 22:19:42

vscode怎么更新github代码

vscode怎么更新github代码打开终端： 在 VS Code 中，使用快捷键 Ctrl (Mac 上是 Cmd) 打开终端。导航到项目目录： 确保你当前所在的终端目录是你的项目目录。如果不是，可以使用 cd 命令导航到项目目录，例如&#xf…...

编程日记 2025/5/17 12:23:26

【转载】开源鸿蒙OpenHarmony社区运营报告（2025年1月）

●截至2025年1月31日，开放原子开源鸿蒙（OpenAtom OpenHarmony，简称“开源鸿蒙”或“OpenHarmony”）社区累计超过8200名贡献者，共63家成员单位，产生51.2万多个PR、2.9万多个Star、10.5万多个Fork、68个SIG。…...

编程日记 2025/5/15 0:12:22

Pdf手册阅读（1）--数字签名篇

原文阅读摘要 PDF支持的数字签名， 不仅仅是公私钥签名，还可以是指纹、手写、虹膜等生物识别签名。PDF签名的计算方式，可以基于字节范围进行计算，也可以基于Pdf 对象（pdf object）进行计算。 PDF文件可能包…...

编程日记 2025/5/15 14:59:44

【C#】任务调度的实现原理与组件应用Quartz.Net

Quartz 是一个流行的开源作业调度库，最初由 Terracotta 开发，现在由 Terracotta 的一部分 Oracle 所有。它主要用于在 Java 应用程序中调度作业的执行。Quartz 使用了一种复杂的底层算法来管理任务调度，其中包括任务触发、执行、持久化以及集…...

编程日记 2025/5/16 18:38:03

HTML之JavaScript函数声明

HTML之JavaScript函数声明 1. function 函数名(){}2. var 函数名 function(){}<!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1…...

编程日记 2025/5/17 6:58:26

如何在 Qt 中添加和使用系统托盘图标

在 Qt 中实现系统托盘图标是一个常见的需求，尤其是在桌面应用程序中。系统托盘图标可以让应用程序在后台运行时仍然具有可见性，同时避免占用过多的桌面空间。本文将详细介绍如何在 Qt 项目中添加托盘图标，并通过资源系统（.qrc 文件…...

编程日记 2025/5/16 7:16:52

Widget.cpp #include "widget.h" #include "ui_widget.h"Widget::Widget(QWidget *parent): QWidget(parent), ui(new Ui::Widget) {ui->setupUi(this);objtimer new QTimer (this);//连接定时器的timeout信号到启动的槽函数//connect(objtimer,&…...

编程日记 2025/5/17 17:36:54

JVM速成=。=

JVM跨平台原理跨平台：一次编译，到处运行本质：不同操作系统上运行的JVM不一样，只需要把java程序编译成一份字节码文件，JVM执行不同的字节码文件。 Java是高级语言，提前编译一下（变成字节码文件…...

编程日记 2025/5/17 17:46:29

操作系统中的任务调度算法

在多任务操作系统中，任务调度算法（Task Scheduling Algorithm）是决定CPU资源如何分配给进程或线程的核心机制。优秀的调度算法需要平衡响应时间、吞吐量和公平性，同时适应不同的应用场景。任务调度的核心目标 CPU利用率最大化&a…...

编程日记 2025/5/14 21:14:31

第七节文件与流

基本的输入输出（iostream） C标准库提供了一组丰富的输入/输出功能，C的I/O发生在流中，流是字节序列。如果字节流是从设备（键盘、磁盘驱动器、网络连接等）流向内存，叫做输入操作。如果字节流是从…...

编程日记 2025/5/15 12:27:17

回首2024，展望2025

2024年，是个充满挑战与惊喜的年份。在这366个日夜里，我站在编程与博客的交汇点，穿越了无数的风景与挑战，也迎来了自我成长的丰收时刻。作为开发者的第十年，我依然步伐坚定，心中始终带着对知识的渴望与对自我…...

编程日记 2025/5/17 12:28:28

Ubuntu指令学习(个人记录、偶尔更新)

Ubuntu指令学习 0、一点常用指令列表一、Ubuntu下复制与移动，cp/mv二、Ubuntu下echo 与重定向>,>>三、Ubuntu下chmod,用户权限四、Ubuntu下的tar打包，gzip压缩五、Ubuntu(22.04)下系统语言为中文，切换主目录文件名为英文。六、Ubun…...

编程日记 2025/5/17 10:37:58

【牛客】动态规划专题一：斐波那契数列

文章目录 DP1 斐波那契数列法1：递归法2：动态规划法3：优化空间复杂度 2.分割连接字符串3. 给定一个字符串s和一组单词dict，在s中添加空格将s变成一个句子 DP1 斐波那契数列法1：递归 // 递归 #include <iostream>…...

编程日记 2025/5/12 23:09:00

HCIA-Access V2.5_13_1_1_VLAN类型

VLAN类型（1）Standard VLAN VLAN类型（1）-Smart VLAN Smart可以包含多个上行口，和多个业务虚端口(Service Port)，以太网端口在同一下VLAN中是互通的，但是业务虚端口，在同一个VLAN之间是…...

编程日记 2025/5/18 2:07:14

【动态规划】风扫枯杨，满地堆黄叶 - 9. 完全背包问题

本篇博客给大家带来的是完全背包问题之动态规划解法技巧. 🐎文章专栏: 动态规划 🚀若有问题评论区见 ❤ 欢迎大家点赞评论收藏分享如果你不知道分享给谁,那就分享给薯条. 你们的支持是我不断创作的动力 . 王子,公主请阅🚀 要开心要快乐顺…...

编程日记 2025/5/14 17:46:19

Android ndk兼容 64bit so报错

1、报错logcat如下 2025-01-13 11:34:41.963 4687-4687 DEBUG pid-4687 A #01 pc 00000000000063b8 /system/lib64/liblog.so (__android_log_default_aborter16) (BuildId: 467c2038cdfa767245f9280e657fdb85) 2025…...

编程日记 2025/5/12 23:11:07

极狐GitLab 17.8 正式发布，多项 DevOps 重点功能解读【一】

GitLab 是一个全球知名的一体化 DevOps 平台，很多人都通过私有化部署 GitLab 来进行源代码托管。极狐GitLab 是 GitLab 在中国的发行版，专门为中国程序员服务。可以一键式部署极狐GitLab。学习极狐GitLab 的相关资料： 极狐GitLab 官网极狐…...

编程日记 2025/5/14 17:17:42

java面试题

以下是一些Java面试题：一、基础概念 Java中的基本数据类型有哪些？它们的默认值是什么？答案：基本数据类型有byte（字节型，默认值为0）、short（短整型，默认值为0）、int（整型，默认值为0）、long（长整型，默认值为0L）、float（浮点型，默认值为0.0f）、double（双精…...

编程日记 2025/5/13 2:03:14

C语言蓝桥杯1003: [编程入门]密码破译

要将"China"译成密码，译码规律是：用原来字母后面的第4个字母代替原来的字母． 例如，字母"A"后面第4个字母是"E"．"E"代替"A"。因此，"China"应译…...

编程日记 2025/5/11 19:55:29

react实例与总结(一)

目录一、简单认识 1.1、特点 1.2、JSX语法规则 1.3、函数组件和类式组件 1.4、类组件三大属性state、props、refs 1.4.1、state 1.4.2、props 1.4.3、refs 1.5、事件处理 1.6、收集表单数据—非受控组件和受控组件 1.7、高阶函数—函数柯里化 1.8、生命周期—新旧…...

编程日记 2025/5/14 13:18:17

科技赋能直播！DeepSeek大模型+智享AI直播第三代plus版本，未来直播将更加智能化！

科技赋能直播！DeepSeek大模型智享AI直播第三代plus版本，未来直播将更加智能化！ 能成事的人，都是懂得整合资源的高手。要学会“万物不为我所有，万物皆为我所用。”的思维方式。一个人的成就高低，在于他的…...

编程日记 2025/5/15 17:31:30

几种3D 旋转的参数化形式

在 3D 空间中，旋转是 3 自由度的，刚体变换是 6 自由度的（3自由度旋转3自由度平移）。 3x3 的旋转矩阵有 9 个量，表达了 3自由度的旋转。旋转矩阵是有自约束的，即一个旋转矩阵是一个正交矩阵，…...

编程日记 2025/5/14 8:18:43

【kubernetes组件合集】深入解析Kubernetes组件之三：client-go

深入解析Kubernetes组件之三：client-go 目录深入解析Kubernetes组件之三：client-go 引言 1. client-go简介 2. client-go的功能 2.1 资源操作 2.2 资源监听 2.3 认证和授权 2.4 错误处理和重试 2.5 扩展性和定制化 3. 使用client-go与Kubern…...

编程日记 2025/5/17 13:32:00

强化学习概念入门

1 概述强化学习，英文名为reinforcement learning，简称RL，是机器学习的一个分支，其想要解决的问题是智能体（agent）如何在复杂环境（environment）下最大化其能获得的奖励。一般来说…...

编程日记 2025/5/17 15:19:37

自动控制视频讲解

本视频几乎包含了所有《自动控制原理》（胡寿松）所有重点章节。针对于考研都能满足。视频内容包括但不限于：时域分析、信号流图、结构图绘制、跟轨迹、幅相曲线、稳定裕度、z变换、离散传递函数、数字控制器、稳定判据、相平面法、描述函数法…...

编程日记 2025/5/9 13:26:08

【Mastering Vim 2_01】开篇词：在 AI 时代持续深耕底层技术，做长期主义的坚定捍卫者

【最新版《Mastering Vim》封面，涵盖 Vim 9.0 版特性】文章目录 1 背景：AI 时代的底层技术觉醒2 Vim：一款被严重低估的文本编辑神器3 聊聊 IT 人士的职业病4 进阶之道：构建完整的知识体系5 从 AI 时代的深耕与精进再谈长期主义 1…...

编程日记 2025/5/17 11:25:49

zsh: command not found: conda

场景描述在 Linux 服务器上使用 zsh 时，如果出现 zsh: command not found: conda 错误，说明你的系统未正确配置 conda 命令，或者你尚未安装 Anaconda/Miniconda。解决方案确保已安装 Anaconda 或 Miniconda conda 是 Anaconda 或 Minico…...

编程日记 2025/5/16 17:29:30

Unity中使用Best MQTT v3插件实现MQTT通信功能，进行模块拆分

概述本文将详细介绍如何在Unity中使用Best MQTT v3插件实现MQTT通信功能。将通过模块化设计实现配置加载、连接管理、订阅/发布等功能，并提供完整的代码实现。重连说明：当意外断开连接的时候，会进行重新连接，重连上之后会再次订…...

编程日记 2025/5/12 8:54:49

NO.14十六届蓝桥杯备战|switch语句|break|default|2道练习(C++)

switch语句除了 if 语句外，C语⾔还提供了 switch 语句来实现分⽀结构。 switch 语句是⼀种特殊形式的 if…else 结构，⽤于判断条件有多个结果的情况。它把多重的 else if 改成更易⽤、可读性更好的形式。 switch (expression) { case value1: stat…...

编程日记 2025/5/17 23:26:24

探索B-树系列

🌈前言🌈 本文将讲解B树系列，包含 B-树，B树，B*树，其中主要讲解B树底层原理，为什么用B树作为外查询的数据结构，以及B-树插入操作并用代码实现；介绍B树、B*树。 &#x1f4…...

编程日记 2025/5/17 9:20:53

【SpringBoot实现全局API限频】最佳实践

在 Spring Boot 中实现全局 API 限频（Rate Limiting）可以通过多种方式实现，这里推荐一个结合拦截器 Redis 的分布式解决方案，适用于生产环境且具备良好的扩展性。方案设计思路核心目标：基于客户端标识&#xff08…...

编程日记 2025/5/15 20:02:51

esxi添加内存条因为资源不足虚拟机无法开机——避坑

exsi8.0我加了6根内存条，然后将里面的ubuntu的内存增加 haTask-2-vim.VirtualMachine.powerOn-919 描述打开该虚拟机电源虚拟机 ub22 状况失败 - 模块“MonitorLoop”打开电源失败。错误模块“MonitorLoop”打开电源失败。无法将交换文件 /vmfs/volumes…...

编程日记 2025/5/12 23:27:31

实验8 配置标准访问控制列表IPv4 ACL

实验8 配置标准访问控制列表IPv4 ACL 一．实验目的 1、掌握IPv4 ACL工作方式和工作过程。 2、掌握定义编号和命名的标准 IPv4 ACL 的方法。 3、掌握接口和VTY下应用标准IPv4 ACL的方法。二．实验内容配置IPv4 ACL的实验拓扑如下图所示。图1 实验拓扑…...

编程日记 2025/5/15 17:25:06

5.7.2 进度管理

文章目录进度管理Gantt图PERT图进度管理进度安排：通过将项目分解成多个活动，分析活动间的依赖关系，估算工作量，分配资源，制定活动时序。 Gantt图 Gantt图横坐标表示时间，纵坐标表示不同任务。使用一条条…...

编程日记 2025/5/15 17:22:58

Android新版高斯模糊(毛玻璃)官方实现，Kotlin

Android新版高斯模糊(毛玻璃)官方实现，Kotlin 从Android 12开始，Android官方API支持高斯模糊(毛玻璃)效果。关键是通过RenderEffect实现。 https://developer.android.com/reference/android/graphics/RenderEffecthttps://developer.android.com/refer…...

编程日记 2025/5/17 3:11:08

MovieLens 数据集介绍

数据集版本

数据集结构

数据集下载

数据集解析

相关文章：