当前位置：首页 > news >正文

MapReduce 入门实战：WordCount 程序

news 来源：原创 2025/7/14 15:35:21

一、引言

在大数据处理领域，MapReduce 是一种开创性的编程模型和处理框架，它使得我们能够高效地在大规模分布式系统上处理海量数据。而 WordCount 程序作为 MapReduce 的经典入门案例，堪称大数据领域的 “Hello World”，帮助无数开发者初步了解和掌握 MapReduce 的核心思想与基本编程模式。本文将带您深入浅出地剖析 MapReduce 中的 WordCount 程序，从原理到实现，再到运行与结果分析，全方位为您呈现这一基础却关键的应用。

二、MapReduce 基础简介

MapReduce 主要包含两个核心阶段：Map 阶段和 Reduce 阶段。

Map 阶段 ：输入数据会被分割成多个片段，每个片段由一个 Map 任务处理。Map 任务对输入数据进行逐条记录的处理，将每条记录转换为键值对形式的中间结果，并输出这些中间结果。例如，在 WordCount 中，输入文本文件的每一行会被拆分成单词，Map 任务会为每个单词生成一个键值对，其中键是单词本身，值是 1，表示该单词出现了一次。
Reduce 阶段 ：对 Map 阶段产生的中间结果进行聚合操作。系统会根据中间结果的键对数据进行分组，相同的键会被归为一组，然后每个 Reduce 任务会对一组数据中的值进行累加等聚合计算，最终得到最终的输出结果。在 WordCount 中，Reduce 任务会将每个单词对应的多个 1 进行累加，得到每个单词的总出现次数。

这两个阶段之间还有一个 Shuffle 和 Sort 阶段，负责将 Map 阶段的输出按照键进行排序和分区，然后将相同键的数据发送到同一个 Reduce 任务中进行处理。

三、WordCount 程序的需求与场景

当处理大量文本数据时，统计每个单词的出现频率是一个常见的需求。例如，在文本挖掘、自然语言处理、搜索引擎等领域，了解单词的频率分布有助于分析文本的主题、重要性以及构建索引等。WordCount 程序能够快速、高效地对海量文本数据进行单词统计，为后续的复杂数据分析任务提供基础数据支持。

四、MapReduce 版本 WordCount 程序实现

1. 环境搭建

Hadoop 环境 ：确保已经正确安装和配置了 Hadoop 集群环境，包括 HDFS（Hadoop Distributed File System）和 MapReduce 框架。HDFS 用于存储输入数据和保存输出结果，MapReduce 框架负责调度和运行 Map 和 Reduce 任务。
开发工具 ：配置 Java 开发环境（MapReduce 程序通常使用 Java 编写），并安装 Eclipse、IntelliJ IDEA 等集成开发环境，用于编写和调试 WordCount 程序。

2. 程序代码

以下是使用 Java 编写的 MapReduce 版本的 WordCount 程序：

import java.io.IOException;
import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public class WordCount {// Map 类public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {private final static IntWritable one = new IntWritable(1);private Text word = new Text();public void map(Object key, Text value, Context context) throws IOException, InterruptedException {StringTokenizer itr = new StringTokenizer(value.toString());while (itr.hasMoreTokens()) {word.set(itr.nextToken());context.write(word, one);}}}// Reduce 类public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {private IntWritable result = new IntWritable();public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {int sum = 0;for (IntWritable val : values) {sum += val.get();}result.set(sum);context.write(key, result);}}public static void main(String[] args) throws Exception {Configuration conf = new Configuration();Job job = Job.getInstance(conf, "word count");job.setJarByClass(WordCount.class);job.setMapperClass(TokenizerMapper.class);job.setCombinerClass(IntSumReducer.class);job.setReducerClass(IntSumReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);FileInputFormat.addInputPath(job, new Path(args[0]));FileOutputFormat.setOutputPath(job, new Path(args[1]));System.exit(job.waitForCompletion(true) ? 0 : 1);}
}

3. 代码解析

Map 类（TokenizerMapper） ：继承自 Mapper 类，泛型参数 <Object, Text, Text, IntWritable> 分别表示输入的键类型、输入的值类型、输出的键类型和输出的值类型。在 map 方法中，输入的键是文本行的偏移量（通常用不到），输入的值是文本行的内容。通过 StringTokenizer 将每一行文本拆分成单词，然后对每个单词，输出一个键值对，键是单词（Text 类型），值是 1（IntWritable 类型）。
Reduce 类（IntSumReducer） ：继承自 Reducer 类，泛型参数 <Text, IntWritable, Text, IntWritable> 分别表示输入的键类型、输入的值类型、输出的键类型和输出的值类型。在 reduce 方法中，输入的键是单词，输入的值是一个迭代器，包含该单词对应的多个 1 值。通过遍历这些值并累加，得到该单词的总出现次数，然后输出键值对，键是单词，值是总出现次数。
主类（main 方法） ：配置作业的各种参数，包括作业名称、作业的主类、Map 类、Combiner 类（可选，用于在 Map 端进行本地聚合优化）、Reduce 类、输出键值对的类型等。通过 FileInputFormat.addInputPath 方法指定输入文件路径，FileOutputFormat.setOutputPath 方法指定输出文件路径。最后，调用 job.waitForCompletion(true) 方法提交作业并等待作业完成。

4. 编译与运行程序

编译：使用 Maven 或 Ant 等构建工具编译 WordCount 程序，生成一个包含程序及其依赖的 JAR 包。例如，在项目根目录下执行 mvn package 命令，生成 JAR 包存放在 target 目录下。
运行：将输入文本文件上传到 HDFS 中的指定目录，例如 hdfs://namenode:8020/user/hadoop/wordcount_input。然后通过命令行提交 MapReduce 作业：

hadoop jar /path/to/your/wordcount.jar WordCount /user/hadoop/wordcount_input /user/hadoop/wordcount_output

其中，/path/to/your/wordcount.jar 是编译生成的 JAR 包路径，/user/hadoop/wordcount_input 是输入文件目录，/user/hadoop/wordcount_output 是输出结果目录。

5. 查看运行结果

作业运行完成后，输出结果会保存在指定的 HDFS 输出目录中。可以通过 HDFS 命令查看输出文件内容：

hdfs dfs -cat /user/hadoop/wordcount_output/part - r - 00000

输出结果是一系列键值对，每个键值对表示一个单词及其对应的出现次数，例如：

Hello 2
Hadoop 1
MapReduce 3
WordCount 2
...

五、案例拓展与优化

1. 处理大小写敏感问题

默认情况下，WordCount 程序区分单词的大小写，即 “Hello” 和 “hello” 会被视为两个不同的单词。如果希望忽略大小写，可以在 map 方法中对单词进行统一转换为小写或大写，例如：

word.set(itr.nextToken().toLowerCase());

这样，所有单词都会以小写形式进行统计，避免因大小写不同而导致的单词重复计数。

2. 自定义分隔符

在某些情况下，文本中的单词可能不是以空格分隔，而是以其他字符（如逗号、句号等）分隔。可以通过修改 map 方法中的分词逻辑，使用正则表达式等自定义分隔符来拆分单词。例如，使用 Pattern 和 Matcher 类来处理更复杂的分隔符情况：

import java.util.regex.Pattern;
import java.util.regex.Matcher;public void map(Object key, Text value, Context context) throws IOException, InterruptedException {String line = value.toString();Pattern pattern = Pattern.compile("[a-zA-Z]+");Matcher matcher = pattern.matcher(line);while (matcher.find()) {word.set(matcher.group().toLowerCase());context.write(word, one);}
}

在这个例子中，使用正则表达式 "[a-zA-Z]+" 匹配由字母组成的单词，并忽略其他非字母字符。

3. 使用 Combiner 优化性能

Combiner 是 MapReduce 中的一种优化机制，它在 Map 端对中间结果进行本地聚合，减少从 Map 端传递到 Reduce 端的数据量。在 WordCount 程序中，Combiner 的作用是对每个 Map 任务产生的中间结果中相同单词的 1 值进行累加，然后再将累加后的结果传递给 Reduce 端。通过在 main 方法中设置 job.setCombinerClass(IntSumReducer.class)，将 Reduce 类同时用作 Combiner 类，从而实现性能优化。

4. 处理大规模数据

当处理大规模文本数据时，可以考虑对数据进行分区处理，将输入数据分割成多个较小的片段，以便更好地利用集群的分布式计算资源。Hadoop 默认会根据输入文件的大小和集群的配置自动对数据进行分区，但也可以通过自定义分区类（Partitioner）来进一步优化分区策略，确保数据在 Map 和 Reduce 任务之间均衡分布。

六、总结

WordCount 程序作为 MapReduce 的经典入门案例，虽然简单，但却蕴含了 MapReduce 编程模型的核心思想和基本架构。通过本文的详细讲解，相信读者已经对 MapReduce 版本的 WordCount 程序有了深入的理解。从程序的编写、编译、运行到结果分析，以及对案例的各种拓展与优化，我们不仅掌握了 WordCount 程序的基本实现，还学习了如何根据实际需求对程序进行定制化改造，以应对更复杂的数据处理场景。

在大数据技术不断发展的今天，MapReduce 作为分布式计算的基石之一，仍然在许多实际应用中发挥着重要作用。掌握 WordCount 程序的实现原理和优化技巧，将为读者深入学习和应用更高级的大数据处理框架和算法奠定坚实的基础。希望本文能够帮助读者开启大数据处理的探索之旅，在 MapReduce 的世界中不断前行，挖掘数据背后的价值。

MapReduce 入门实战：WordCount 程序

一、引言在大数据处理领域，MapReduce 是一种开创性的编程模型和处理框架，它使得我们能够高效地在大规模分布式系统上处理海量数据。而 WordCount 程序作为 MapReduce 的经典入门案例，堪称大数据领域的 “Hello World”，帮助无数…...

编程日记 2025/7/14 15:35:21

深度剖析：Vue2 项目兼容第三方库模块格式的终极解决方案

当我们为 Vue2 项目引入某些现代 JavaScript 库时，常常会遇到这样的报错： error in ./node_modules/some-lib/lib/index.mjs Cant import the named export xxx from non EcmaScript module这类问题的本质是模块格式的世纪之争 —— ES Module&#xff…...

编程日记 2025/7/11 15:56:07

5.11作业

拓扑图： 需求分析： 要求五台路由器的环回地址均可以相互访问配置： r1 int g 0/0/0 i…...

编程日记 2025/7/14 14:45:03

MyBatis 批量新增与删除功能完整教程

一、功能概述通过 MyBatis 动态 SQL 实现以下功能：批量新增：一次性插入多条员工记录，支持自增主键回填。批量删除：根据 ID 数组一次性删除多条记录。二、代码逐行解析 1. Mapper 接口定义 // 批量新增：传入员工对象集合 void insertAll(List<Emp> empList);// …...

编程日记 2025/7/14 15:27:44

Spark，RDD中的行动算子

RDD中的行动算子 collect算子格式：def collect(): Array[T] 参数说明：该算子没有参数。并以数组的形式返回统计个数 reduce算子格式：def reduce(func: (T, T) > T): T 返回值：返回一个单一的值，其类型与…...

编程日记 2025/7/14 14:24:40

Linux：进程控制2

一：进程程序替换 1. 一旦程序替换成功，就去执行新代码了，原始代码的后半部分已经不存在了 2. exec*系列的函数，没有成功返回值，只有失败返回值-1 在程序替换的过程中，并没有创建新的进程，只是…...

编程日记 2025/7/14 15:00:50

Java jar包程序启动停止脚本 shell bash

启动启动时可指定前缀（名称） start.sh #!/bin/bash # 使用时直接运行# 寻找当前目录下后缀为 .jar 的文件 #options($(find . -maxdepth 1 -type f -name "*.jar")) # 寻找当前目录下后缀为 .jar 的文件，并按时间倒序排序 opt…...

编程日记 2025/7/14 15:21:19

【Linux】进程通信管道

🌻个人主页：路飞雪吖~ 🌠专栏：Linux 目录一、👑进程间通信分类二、👑管道 🌟什么是管道？ 🌟匿名管道 🎉原理： 🔥站在文件描述…...

编程日记 2025/7/14 14:56:14

基于智能家居项目解析DHT11温湿度传感器

一、模块简介 DHT11 是一款数字式温湿度传感器，内部集成了温度传感元件、湿度传感元件以及一个 8 位单片机芯片，用于采集数据和通信。。测量范围：湿度 20%～90% RH，温度 0～50℃ 精度：湿度 5% …...

编程日记 2025/7/14 14:36:49

3.1 泰勒公式出发点

第一步：引入背景与动机首先，泰勒公式（Taylor Series）是数学分析中的一个重要工具，它允许我们将复杂的函数近似为多项式形式。这不仅简化了计算，还帮助我们更好地理解函数的行为。那么为什么我们需要这样一…...

编程日记 2025/7/14 13:57:31

裸机开发的核心技术：轮询、中断与DMA

一、裸机开发的核心技术：轮询、中断与DMA 1. 轮询（Polling） 定义：程序主动、周期性地检查硬件状态或数据。应用场景：适用于简单、实时性要求不高的任务。示例： C while (1) { if (GPIO_ReadPin(SENSOR_P…...

编程日记 2025/7/14 14:31:09

从零开始：使用 Vue-ECharts 实现数据可视化图表功能

目录前言为什么选择 Vue-ECharts案例：Vue-Echart开发一个分组柱状图安装依赖引入全局引入按需引入编写组件总结前言你好，小二！很高兴你愿意分享关于 Vue-ECharts 的使用经验。 📊 Vue-ECharts：让你在 Vue 项…...

编程日记 2025/7/14 14:50:56

Antd中Form详解:

1.获取Form表单值的方式: ① 使用Form.useForm()钩子（推荐方式） const [form] Form.useForm();const getFormValues () > {const values form.getFieldsValue();};<Form form{form}>...<Form.Item label{null}><Button onClick{ge…...

编程日记 2025/7/14 14:53:39

（2）python开发经验

文章目录 1 pyside6加载ui文件2 使用pyinstaller打包更多精彩内容👉内容导航 👈👉Qt开发 👈👉python开发 👈 1 pyside6加载ui文件方法1： 直接加载ui文件 from PySide6.QtWidgets import QAp…...

编程日记 2025/7/14 14:44:17

Landsat 5介绍

USGS Landsat 5 Level 2, Collection 2, Tier 1 数据集可用性：1984-03-16T16:18:01Z–2012-05-05T17:54:06Z 数据集提供程序 USGS Earth Engine 代码段 ee.ImageCollection("LANDSAT/LT05/C02/T1_L2") open_in_new 重新访问间隔：16 天说…...

编程日记 2025/6/29 0:50:45

PowerShell 实现 conda 懒加载

问题执行命令conda init powershell会在 profile.ps1中添加conda初始化的命令。即使用户不需要用到conda，也会初始化conda环境，拖慢PowerShell的启动速度。解决方案本文展示了如何实现conda的懒加载，默认不加载conda环境，只…...

编程日记 2025/7/14 14:15:26

解锁ozon运营新路径：自养号测评技术如何实现降本增效

OZON测评自养号技术在跨境电商运营中具有显著的技术优势，主要体现在环境安全、账号控制、成本效率及风险规避等方面。以下是具体分析： 一：安全可控的测评环境搭建通过模拟俄罗斯本地物理环境和家庭住宅IP，自养号测评可规避平台风…...

编程日记 2025/7/14 14:11:33

算法第十七天｜654. 最大二叉树、617.合并二叉树、700.二叉搜索树中的搜索、98.验证二叉搜索树

654. 最大二叉树题目思路与解法 # Definition for a binary tree node. # class TreeNode: # def __init__(self, val0, leftNone, rightNone): # self.val val # self.left left # self.right right class Solution:def constructMaximumB…...

编程日记 2025/7/14 14:57:16

Spring Boot 的自动配置为 Spring MVC 做了哪些事情？

Spring Boot 的自动配置为 Spring MVC 做了大量的工作，极大的简化了我们开发时的配置负担，我们可以快速启动并运行一个基于 Spring MVC 的 Web 应用。以下是 Spring Boot 自动配置为 Spring MVC 所做的主要事情： DispatcherServlet 的自动注册…...

编程日记 2025/7/14 15:14:35

【python】—conda新建python3.11的环境报错

1.报错 conda create -n py3.11 python3.11 --channel https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ Collecting package metadata: done Solving environment: failed PackagesNotFoundError: The following packages are not available from current channel…...

编程日记 2025/7/14 14:24:40

桑德拉精神与开源链动2+1模式AI智能名片S2B2C商城小程序的协同价值研究

摘要：本文深入剖析桑德拉无私奉献精神在商业领域的映射价值，结合开源链动21模式、AI智能名片及S2B2C商城小程序的技术特性，系统探讨其在用户赋能、资源协同与价值共创中的协同效应。研究表明，该技术组合通过去中心化激励、智能需求…...

编程日记 2025/7/14 14:34:02

JavaEE--初识网络

目录一、IP地址二、端口号三、认识协议四、五元组五、协议分层 1. OSI七层模型 2. TCP/IP五层（或四层）模型 3. 网络设备所在分层 4. 封装和分用一、IP地址 IP地址（Internet Protocol Address）是用于标识设备在网络…...

编程日记 2025/7/14 13:49:00

2.7/Q2，Charls最新文章解读

文章题目：Climate risks, multi-tier medical insurance systems, and health inequality: evidence from Chinas middle-aged and elderly populations DOI：10.1186/s12913-025-12648-2 中文标题：气候风险、多层次医疗保险制度和健康不平等—…...

编程日记 2025/7/14 14:49:53

Mac显卡的工作原理及特殊之处

目录 🧠 一、显卡的基本工作原理（适用于所有平台） 🍏 二、Mac 显卡的工作机制 1. Mac 使用的显卡类型 Intel 架构时代（Intel CPU Intel/AMD 显卡） Apple Silicon 时代（M1/M2/M3 芯片&…...

编程日记 2025/7/13 15:56:43

MUSE Pi Pro 编译kernel内核及创建自动化脚本进行环境配置

视频讲解： MUSE Pi Pro 编译kernel内核及创建自动化脚本进行环境配置今天分享的主题为创建自动化脚本编译MUSE Pi Pro的kernel内核，脚本已经上传到中 GitHub - LitchiCheng/MUSE-Pi-Pro-Learning: MUSE-Pi-Pro-Learning ，有需要可以自行clon…...

编程日记 2025/7/14 14:18:57

flink的TaskManager 内存模型

Flink TaskManager 的内存模型是一个多层管理体系，从 JVM 进程到具体任务的内存分配均有明确的逻辑划分和配置策略。以下是其核心构成及运行机制： 一、内存模型总览‌ TaskManager 内存整体分为 ‌JVM 特有内存‌ 和 ‌Flink 管理内存‌ 两大层级&…...

编程日记 2025/7/14 13:53:55

【NLP 72、Prompt、Agent、MCP、function calling】

命运把我们带到哪里，就是哪里 —— 25.5.13 一、Prompt 1.User Prompt 用户提示词当我们与大模型进行对话时，我们向大模型发送的消息，称作User Prompt，也就是用户提示词，一般就是我们提出的问题或者想说的话但是我们…...

编程日记 2025/7/14 14:26:16

无人机俯视风光摄影Lr调色预设，手机滤镜PS+Lightroom预设下载！

调色详情无人机俯视风光摄影 Lr 调色是利用 Adobe Lightroom 软件，对无人机从俯视角度拍摄的风光照片进行后期处理的调色方式。通过调整色彩、对比度、光影等多种参数，能够充分挖掘并强化画面独特视角下的壮美与细节之美，让原本平凡的航拍风…...

编程日记 2025/6/28 23:19:56

【HTML5】【AJAX的几种封装方法详解】

【HTML5】【AJAX的几种封装方法详解】 AJAX (Asynchronous JavaScript and XML) 封装是为了简化重复的异步请求代码，提高开发效率和代码复用性。下面我将介绍几种常见的 AJAX 封装方式。方法1. 基于原生 XMLHttpRequest 的封装 XMLHttpRequest。其主要特点如下…...

编程日记 2025/7/6 10:00:41

STM32 __rt_entry

STM32中__rt_entry函数的深度解析在STM32的启动流程中，__rt_entry是一个由ARM C库提供的核心函数，负责在__main完成基础初始化后，搭建完整的C语言运行环境。以下是其核心功能及工作机制的详细分析： 一、__rt_entry的核心作用 …...

编程日记 2025/6/28 23:26:07

YOLOv11融合[AAAI2025]的PConv模块

YOLOv11v10v8使用教程： YOLOv11入门到入土使用教程 YOLOv11改进汇总贴：YOLOv11及自研模型更新汇总《Pinwheel-shaped Convolution and Scale-based Dynamic Loss for Infrared Small Target Detection》一、模块介绍论文链接：https://…...

编程日记 2025/7/4 14:38:02

point3d 视野朝向设置

这里写自定义目录标题 point3d 视野朝向设置三维相机朝向的直观理解 point3d 视野朝向设置 open3d.visualization.Visualizer 中的 get_view_control() 方法返回一个 ViewControl 对象，用来控制 3D 可视化窗口中的相机视角。通过这个对象可以设置视角朝向&#xff…...

编程日记 2025/6/28 23:38:35

基于大模型的腰椎管狭窄术前、术中、术后全流程预测与治疗方案研究报告

目录一、引言 1.1 研究背景与意义 1.2 研究目的与创新点二、腰椎管狭窄概述 2.1 定义与分类 2.2 发病原因与机制 2.3 临床表现与诊断方法三、大模型技术原理与应用现状 3.1 大模型的基本原理 3.2 在医疗领域的应用案例 3.3 选择大模型预测腰椎管狭窄的依据四、…...

编程日记 2025/6/29 0:58:08

Matlab基于SSA-MVMD麻雀算法优化多元变分模态分解

Matlab基于SSA-MVMD麻雀算法优化多元变分模态分解目录 Matlab基于SSA-MVMD麻雀算法优化多元变分模态分解效果一览基本介绍程序设计参考资料效果一览基本介绍 Matlab基于SSA-MVMD麻雀算法优化多元变分模态分解可直接运行分解效果好适合作为创新点（Matlab完整源码和数据)，…...

编程日记 2025/6/29 0:10:05

工程师必读！ 3 个最常被忽略的 TDR 测试关键细节与原理

TDR真的是一个用来看阻抗跟Delay的好工具，通过一个Port的测试就可以看到通道各个位置的阻抗变化。可是使用上其实没这么单纯，有很多细节需要非常地小心，才可以真正地看到您想看的信息！ 就让我们整理3个极为重要的TDR使用小细节&…...

编程日记 2025/7/13 5:21:12

Spring Boot 项目中什么时候会抛出 FeignException?

在 Spring Boot 项目中使用 Feign 时，FeignException 是 Feign 客户端在执行 HTTP 请求过程中可能抛出的基础异常。它有很多子类，分别对应不同类型的错误。以下是一些常见的会抛出 FeignException (或其子类) 的情况： 网络连接问题 (Network …...

编程日记 2025/7/11 9:53:35

Spring Boot Swagger 安全防护全解析：从旧版实践到官方规范

摘要本文系统梳理 Swagger 安全防护的核心方案，涵盖旧版 Swagger（SpringFox）的swagger.basic配置实践、官方推荐的 Spring Security 方案，以及多环境管理、反向代理过滤等全链路技术。结合权威文档，明确不同方案的适…...

编程日记 2025/7/12 16:44:46

基于 PLC 的轮式服务机器人研究

标题:基于 PLC 的轮式服务机器人研究内容:1.摘要本文以轮式服务机器人为研究对象，探讨基于可编程逻辑控制器（PLC）的设计与实现。在智能化服务需求不断增长的背景下，旨在开发一种具备稳定运动控制和高效服务功能的轮式服务机器人…...

编程日记 2025/7/4 11:15:24

emed64_20.9.2.msi 安装步骤（超简单版）

找到安装包首先，先下载安装包链接：https://pan.quark.cn/s/2efb908815a4（可能在下载文件夹或者别人发给你的位置），双击它就行。如果双击没反应，就右键点它，选“安装”。弹出安装向导这时候会…...

编程日记 2025/7/5 14:08:52

HTML、CSS 和 JavaScript 基础知识点

HTML、CSS 和 JavaScript 基础知识点一、HTML 基础 1. HTML 文档结构 <!DOCTYPE html> <html lang"zh-CN"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.…...

编程日记 2025/6/29 0:32:09

直接在Excel中用Python Matplotlib/Seaborn/Plotly......

本次分享如何利用pyxll包，实现直接在Excel中使用Python Matplotlib/Seaborn/Plotly等强大可视化工具。 pyxll配置 pyxll安装 pip install pyxll pyxll install pyxll自定义方法例如，自定义一个计算斐波那契数的方法fib，并使用pyxll装饰器…...

编程日记 2025/6/29 1:16:23

互联网大厂Java求职面试：优惠券服务架构设计与AI增强实践-5

互联网大厂Java求职面试：优惠券服务架构设计与AI增强实践-5 第一轮面试：业务场景切入面试官（技术总监）： 欢迎郑薪苦参与今天的面试。我们先从一个实际业务场景谈起——假设你正在设计一个电商平台的优惠券服务系统&…...

编程日记 2025/6/28 23:46:49

KV cache 缓存与量化：加速大型语言模型推理的关键技术

引言在大型语言模型（LLM）的推理过程中，KV 缓存（Key-Value Cache） 是一项至关重要的优化技术。自回归生成（如逐 token 生成文本）的特性决定了模型需要反复利用历史token的注意力计算结果&#…...

编程日记 2025/7/13 2:46:27

[250512] Node.js 24 发布：ClangCL 构建，升级 V8 引擎、集成 npm 11

目录 Node.js 24 版本发布：Windows 平台构建工具链转向 ClangCL Node.js 24 版本发布：Windows 平台构建工具链转向 ClangCL 流行的开源跨平台 JavaScript 运行时环境 Node.js 近日发布了 24.0 版本。此版本带来了多项性能提升、安全增强和开发体验的改进…...

编程日记 2025/6/28 23:42:53

Linux常用命令39——free显示系统内存使用量情况

在使用Linux或macOS日常开发中，熟悉一些基本的命令有助于提高工作效率，free命令的功能是显示系统内存使用量情况，包含物理内存和交换内存的总量、使用量、空闲量情况。本篇学习记录free命令的基本使用。首先查看帮助文档： 语法格…...

编程日记 2025/6/29 0:12:30

4. 文字效果/2D-3D转换 - 3D翻转卡片

4. 文字效果/2D-3D转换 - 3D翻转卡片案例：3D产品展示卡片 <!DOCTYPE html> <html><head><meta charset"utf-8"><title></title></head><style type"text/css">.scene {width: 300px;height…...

编程日记 2025/6/28 23:32:13

游戏引擎学习第276天:调整身体动画

运行游戏，演示我们遇到的拉伸问题，看起来不太好，并考虑切换到更顶视角的视角我们开始讨论游戏开发中的一些美学决策，特别是在处理动画方面。虽然我们是游戏程序员，通常不负责设计或艺术部分，但因为这是一…...

编程日记 2025/7/13 17:28:38

Java线程池性能优化全解析：从配置到实践

一、线程池配置原则 1.1 核心参数设定线程池的性能优化始于合理配置，关键参数包括：核心线程数（corePoolSize） CPU密集型任务：设为Runtime.getRuntime().availableProcessors()（通常为CPU核心数）IO密集型任务：设为CPU核心数 * 2（或更高，根据IO等待时间调整）最大线…...

编程日记 2025/7/11 17:02:40

【入门】歌德巴赫猜想

描述任一个大于等于4的偶数都可以拆分为两个素数之和。输入描述一个整数n( 4 < n < 200 ） 输出描述将小于等于n的偶数拆分为2个质数之和，列出所有方案！ 用例输入 1 10 用例输出 1 422 633 835 1037 1055 #include<b…...

编程日记 2025/7/7 17:46:17

kafka----初步安装与配置

目录标题 ⭐kafka 与 zookeeper间的关系一.集群部署二.修改配置文件三.分发安装包四.启动与关闭 kafka 与 zookeeper 相同，是以集群的形式使用 ⭐kafka 与 zookeeper间的关系 kafka 的使用要在 zookeeper 集群配置好的基础上使用要想启动kafka 要先启动 zookeep…...

编程日记 2025/6/29 1:14:19