当前位置：首页 > news >正文

搭建大数据学习的平台

news 来源：原创 2025/7/15 22:46:16

一、基础环境准备

1. 硬件配置

物理机：建议 16GB 内存以上，500GB 硬盘，多核 CPU
虚拟机：至少 3 台（1 主 2 从），每台 4GB 内存，50GB 硬盘

2. 操作系统

Ubuntu 20.04 LTS 或 CentOS 7/8

3. 网络配置

静态 IP 分配（例如：192.168.1.101~103）

主机名映射（/etc/hosts）：

plaintext

192.168.1.101 hadoop-master
192.168.1.102 hadoop-slave1
192.168.1.103 hadoop-slave2

二、核心组件安装

1. Hadoop 分布式系统

安装步骤参考之前的回答
配置高可用（HA）模式（可选）

2. Hive 数据仓库

bash

# 下载和解压
wget https://downloads.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
tar -xzf apache-hive-3.1.3-bin.tar.gz -C /opt/
mv /opt/apache-hive-3.1.3-bin /opt/hive# 配置环境变量
echo 'export HIVE_HOME=/opt/hive' >> ~/.bashrc
echo 'export PATH=$PATH:$HIVE_HOME/bin' >> ~/.bashrc
source ~/.bashrc

3. Spark 计算引擎

bash

# 下载和解压
wget https://downloads.apache.org/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz
tar -xzf spark-3.3.2-bin-hadoop3.tgz -C /opt/
mv /opt/spark-3.3.2-bin-hadoop3 /opt/spark# 配置环境变量
echo 'export SPARK_HOME=/opt/spark' >> ~/.bashrc
echo 'export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin' >> ~/.bashrc
source ~/.bashrc

4. HBase 分布式数据库

bash

# 下载和解压
wget https://downloads.apache.org/hbase/2.5.7/hbase-2.5.7-bin.tar.gz
tar -xzf hbase-2.5.7-bin.tar.gz -C /opt/
mv /opt/hbase-2.5.7 /opt/hbase# 配置环境变量
echo 'export HBASE_HOME=/opt/hbase' >> ~/.bashrc
echo 'export PATH=$PATH:$HBASE_HOME/bin' >> ~/.bashrc
source ~/.bashrc

三、服务集成与配置

1. Hive 与 Hadoop 集成

修改 $HIVE_HOME/conf/hive-site.xml：

xml

<configuration><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value></property><property><name>hive.metastore.uris</name><value>thrift://hadoop-master:9083</value></property>
</configuration>

2. Spark 与 Hadoop 集成

修改 $SPARK_HOME/conf/spark-env.sh：

bash

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_MASTER_HOST=hadoop-master
export SPARK_WORKER_MEMORY=2g

3. HBase 与 Hadoop 集成

修改 $HBASE_HOME/conf/hbase-site.xml：

xml

<configuration><property><name>hbase.rootdir</name><value>hdfs://hadoop-master:9000/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property>
</configuration>

四、服务启动与验证

1. 启动顺序

bash

# 启动 Hadoop
start-dfs.sh
start-yarn.sh# 启动 Hive Metastore
hive --service metastore &# 启动 Spark
start-master.sh
start-workers.sh# 启动 HBase
start-hbase.sh

2. 验证服务

Hadoop：http://hadoop-master:9870（HDFS）和 http://hadoop-master:8088（YARN）
Spark：http://hadoop-master:8080
HBase：http://hadoop-master:16010

五、可视化工具安装

1. Zeppelin 数据探索

bash

# 下载和解压
wget https://downloads.apache.org/zeppelin/zeppelin-0.10.1/zeppelin-0.10.1-bin-all.tgz
tar -xzf zeppelin-0.10.1-bin-all.tgz -C /opt/
mv /opt/zeppelin-0.10.1-bin-all /opt/zeppelin# 启动 Zeppelin
/opt/zeppelin/bin/zeppelin-daemon.sh start

访问：http://hadoop-master:8081

2. Superset 数据可视化

bash

# 安装依赖
sudo apt install python3-pip python3-venv# 创建虚拟环境
python3 -m venv superset
source superset/bin/activate# 安装 Superset
pip install apache-superset
superset db upgrade# 创建管理员用户
superset fab create-admin# 初始化
superset init# 启动 Superset
superset run -p 8088 --with-threads --reload --debugger

访问：http://hadoop-master:8088

搭建大数据学习的平台

一、基础环境准备 1. 硬件配置物理机：建议 16GB 内存以上，500GB 硬盘，多核 CPU虚拟机：至少 3 台（1 主 2 从），每台 4GB 内存，50GB 硬盘 2. 操作系统 Ubuntu 20.04 LTS 或 CentOS…...

编程日记 2025/7/15 22:46:16

Matlab 模糊控制节水洗衣机模型

1、内容简介 Matlab 232-模糊控制节水洗衣机模型可以交流、咨询、答疑 2、内容说明略 3、仿真分析略 4、参考论文略...

编程日记 2025/7/15 21:13:23

如何找正常运行虚拟机

1.新建虚拟机。Linux centos7，给虚拟机改个名字不要放在c盘 2.安装操作系统。cd/dvd->2009.iso 启动虚拟机...

编程日记 2025/7/15 22:36:12

python二手书交易管理系统

目录技术栈介绍具体实现截图系统设计研究方法：设计步骤设计流程核心代码部分展示研究方法详细视频演示试验方案论文大纲源码获取/详细视频演示技术栈介绍 Django-SpringBoot-php-Node.js-flask 本课题的研究方法和研究步骤基本合理，难度适中&#xf…...

编程日记 2025/7/15 22:23:25

使用本地部署的 LLaMA 3 模型进行中文对话生成

以下程序调用本地部署的 LLaMA3 模型进行多轮对话生成，通过 Hugging Face Transformers API 加载、预处理、生成并输出最终回答。程序用的是 Chat 模型格式（如 LLaMA3 Instruct 模型），遵循 ChatML 模板，并使用 apply…...

编程日记 2025/7/15 22:22:30

C++编程练习，认识面向对象权限，如何进行封装

#include <iostream> #include <string> using namespace std; /* 银行的账户是一个模板，是一个类，有存款人信息和账户额度，而具体的存款人视为一个对象， 一个对象不能私自修改账户额度，需要通过一个操作流…...

编程日记 2025/7/15 21:11:16

A Survey of Learning from Rewards：从训练到应用的全面剖析

A Survey of Learning from Rewards：从训练到应用的全面剖析你知道大语言模型（LLMs）如何通过奖励学习变得更智能吗？这篇论文将带你深入探索。从克服预训练局限的新范式，到训练、推理各阶段的策略，再到广泛…...

编程日记 2025/7/15 21:00:09

电脑端音乐播放器推荐：提升你的听歌体验！

在快节奏的职场环境中，许多上班族都喜欢用音乐为工作时光增添色彩。今天要分享的这款音乐工具，或许能为你的办公时光带来意想不到的惊喜。一、软件介绍-澎湃澎湃音乐看似是个普通的播放器，实则藏着强大的资源整合能力。左侧功能栏清晰陈列着…...

编程日记 2025/7/15 20:57:22

小刚说C语言刷题—1149 - 回文数个数

1.题目描述一个正整数，正读和反读都相同的数为回文数。例如 22， 131， 2442 ， 37073， 66，…… 所有 11位数都是回文数。给出一个正整数 n （ 1≤n≤10000 ），求出 1,2…...

编程日记 2025/7/15 21:21:29

基于SpringBoot的博客系统测试报告

一、编写目的本报告为博客系统测试报告，本项目模拟了csdn，实现了包括了用户登录，发布博客文章，查看博客等功能。二、项目背景博客系统采用前后端分离的方法来实现，同时使用了数据库来存储相关的数据&#xff0c…...

编程日记 2025/7/15 21:08:26

Koa知识框架

一、核心概念 1. 基本特点由 Express 原班人马开发的下一代 Node.js Web 框架基于中间件的洋葱圈模型轻量级核心（仅约 600 行代码） 完全使用 async/await 异步流程控制没有内置任何中间件，高度可定制 2. 核心对象 Application (Ko…...

编程日记 2025/7/15 22:36:12

React Native踩坑实录：解决NativeBase Radio组件在Android上的兼容性问题

React Native踩坑实录：解决NativeBase Radio组件在Android上的兼容性问题问题背景在最近的React Native项目开发中，我们的应用在iOS设备上运行良好，但当部署到Android设备时，进入语言设置和隐私设置页面后应用崩溃。我们遇到了…...

编程日记 2025/7/13 11:19:26

RCE联系

过滤绕过空格 ● 进制绕过题目练习数字rce 使用$0执行bash，<<<将后面的字符串传递给左边的命令。例如： <?php highlight_file(__FILE__); function waf($cmd) { $whiteList [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, \\, \, $, <]; $cmd_ch…...

编程日记 2025/7/15 21:53:26

区块链大纲笔记

中心化出现的原因是由于网络的形成（不然就孤立了，这显然不符合现实，如，社会，计算机网路），接着由于网络中结点能力一般不对等同时为了便于管理等一系列问题，导致中心化网络的出现。&a…...

编程日记 2025/7/15 22:31:15

SQL：JOIN 进阶

目录 JOIN 是什么？ 🔹OUTER JOIN（外连接） 外连接的分类外连接与内连接的区别 🔹USING 子句语法结构和 ON 的对比 📘USING 的内部逻辑 🧩 多个字段的 USING USING 的 SELECT 特性&a…...

编程日记 2025/7/15 21:41:12

SATA—Link层状态机

一、概述 Link层的状态机大致可以分为五类： 链路层空闲状态机通信异常处理状态机链路层发送状态机链路层接收状态机链路层电源管理下的状态机二、链路层空闲状态机链路层空闲状态机共包含两个状态L_IDLE、L_SyncEscape，每个状态下的处理机制与条状…...

编程日记 2025/7/15 21:47:46

12.2.2 allocator类

allocator类将分配内存空间、调用构造函数、调用析构函数、释放内存空间这4部分操作分开，全部交给程序员来执行，不像new和delete #include <iostream> #include <string>int main() {const int n 10;std::allocator<std::string> al…...

编程日记 2025/7/15 20:54:42

Qwen：Qwen3，R1 在 Text2SQL 效果评估

【对比模型】 Qwen3 235B-A22B（2350亿总参数，220亿激活参数），32B，30B-A3B；QwQ 32B（推理模型）DeepSeek-R1 671B（满血版）（推理模型） 1&a…...

编程日记 2025/7/9 15:25:40

Egg.js知识框架

一、Egg.js 核心概念 1. Egg.js 简介基于 Koa 的企业级 Node.js 框架（阿里开源） 约定优于配置（Convention over Configuration） 插件化架构，内置多进程管理、日志、安全等能力适合中大型企业应用，提供…...

编程日记 2025/7/15 21:51:03

latex控制表格宽度，不要超出页面

字体控制控制表格的字体，一般使用 footnotesize ，neurips 使用的就是这个大小列宽距控制默认列宽距是 6pt ，可以人工调节成为 5pt，不影响字体，比较不影响可读性 % 对于 table* 环境, [htbp] 通常比 [h] 或 [h!]…...

编程日记 2025/7/15 21:38:11

Linux进程管理

程序、进程、服务程序 program 安装包，未运行的代码，APP 存放在磁盘上进程 process 已运行程序、命令、服务，一个程序可以运行多个进程、父进程启动子进程运行在内存中服务 service 一直运行的进程，也叫做守护进程&…...

编程日记 2025/7/15 21:03:16

[springboot]SSM日期数据转换易见问题

日期数据的形式有多种，如2025-05-12 14:46:50、2025.05.12 14:46，可以没有年只有月日...等等。在SSM项目中，前后端传递日期数据时往往需要统一格式，不然会报数据类型转换异常。在controller层中用实体类实例对象接收前端服务器传…...

编程日记 2025/6/29 8:39:56

数字IC后端培训教程之数字后端项目典型案例分析

今天给大家分享下最近小编帮助学员解决的几个经典数字IC后端项目问题。希望能够对大家的学习和工作有所帮助。数字IC后端项目典型问题之后端实战项目问题记录（2025.04.24） 数字IC后端设计实现培训教程（整理版） Q1: 老师好&…...

编程日记 2025/6/29 4:23:17

数字ic后端设计从入门到精通4（含fusion compiler, tcl教学）CMOS VLSI Design

Layout Design Rules 一、什么是 Layout Design Rules？ 布局设计规则是一套用于指导芯片物理设计的几何约束条件，确保设计可以在特定制造工艺下被正确制造。这些规则通常由代工厂（foundry）提供，规定了最小线宽、间距、…...

编程日记 2025/6/29 4:10:37

服务器带宽基础知识

服务器带宽基础知识详解一、带宽的定义与基本概念服务器带宽（Bandwidth）是指服务器与互联网之间在单位时间内传输数据的能力，通常以 Mbps（兆比特每秒） 或 Gbps（吉比特每秒） 为单位衡量。它决…...

编程日记 2025/6/29 2:22:44

算法-单调栈

739. 每日温度 - 力扣（LeetCode） 原理：739. 每日温度 - 力扣（LeetCode） class Solution { public:vector<int> dailyTemperatures(vector<int>& temperatures) {stack<int>sta;int ntemperatu…...

编程日记 2025/7/10 23:41:15

大核极坐标码

大核极性码（ℓ>2）的SC解码操作与原始极性码相似。迭代地，解码方程可以表示为： 这是给定信道输出的路径的概率。虽然这些操作类似于传统的极坐标码，但迭代计算概率的复杂性相对于ℓ 作为，这使得它对于非…...

编程日记 2025/6/29 4:09:08

如何避免 JavaScript 中常见的闭包陷阱？

文章目录 1. 引言2. 什么是闭包？3. 常见的闭包陷阱及解决方案3.1 循环中的闭包陷阱3.2 内存泄漏3.3 意外的全局变量3.4 React 中的闭包陷阱 4. 总结 1. 引言闭包（Closure）是 JavaScript 中一个强大而常用的特性，它允许函数访问其…...

编程日记 2025/6/29 4:20:53

免费多线程下载工具

先放下载链接：https://tool.nineya.com/s/1ir25buco Free Download Manager，简称“FDM”，是一款多线程下载工具，支持多端使用哦，像Windows、mac Os、Linux、浏览器插件以及安卓端都涵盖在内，这些版本这里都…...

编程日记 2025/7/15 20:04:26

Aware和InitializingBean接口以及@Autowired注解失效分析

Aware 接口用于注入一些与容器相关信息，例如： a. BeanNameAware 注入 Bean 的名字 b. BeanFactoryAware 注入 BeanFactory 容器 c. ApplicationContextAware 注入 ApplicationContext 容器 d. EmbeddedValueResolverAware 注入解析器&a…...

编程日记 2025/6/29 3:03:49

【NextPilot日志移植】日志写入流程

📝 文件后端日志写入流程详解当后端选择文件时，日志写入过程主要涉及 LogWriter 和 LogWriterFile 类的协作。以下是详细的日志写入过程解释及涉及的代码： 1. LogWriter 类初始化在 LogWriter 类的构造函数中，如果配置的后端…...

编程日记 2025/7/12 23:51:55

OpenCV直方图与直方图均衡化

一、图像直方图基础 1. 什么是图像直方图？ 图像直方图是图像处理中最基本且重要的统计工具之一，它用图形化的方式表示图像中像素强度的分布情况。对于数字图像，直方图描述了每个可能的像素强度值（0-255）在图像中出现…...

编程日记 2025/7/13 10:21:32

Babel进阶：如何自定义插件？

Babel 是一个非常流行的 JavaScript 编译器，下面我们将从零到一编写一个 babel 箭头函数语法转换插件，掌握 babel 插件设计思路与编写规范，需求很简单就是将箭头函数转换为普通函数。 const test ()>{console.log("Hello World!&qu…...

编程日记 2025/6/29 3:25:46

C++中类中const知识应用详解

下面将从**const 成员**、const 成员函数、const 对象、mutable、constexpr 等方面，逐一详解 C 类中常见的 const 用法及注意事项，并配合示例。一、const 数据成员必须在初始化列表中初始化 class A {const int x; // const 成员 public:A(int v) :…...

编程日记 2025/7/15 9:11:12

LeetCode 513 找树左下角的值 LeetCode 112 路径总和 LeetCode106 从中序与后序遍历序列构造二叉树

LeetCode 513 找树左下角的值迭代法——层序遍历思路：对树进行层序遍历操作，层序遍历完后，输出树最后一层的第一个节点。 # Definition for a binary tree node. # class TreeNode(object): # def __init__(self, val0, leftNone, r…...

编程日记 2025/7/5 22:22:16

电脑端实用软件合集：土拨鼠+Rufus+实时网速监控工具

朋友们好，我是李师傅！今天带来三款让人直呼"真香"的电脑工具，它们就像武林高手各怀绝技，保证让你工作效率翻倍！ 1Tuboshu（电脑） 最近发现一款神奇工具——Tuboshu（发音类…...

编程日记 2025/6/29 1:35:56

杨校老师项目之基于SSM与JSP的鲜花销售系统-【成品设计含文档】

基于SSMJSP鲜花商城系统随着电子商务的快速发展，鲜花在线销售已成为一种重要的消费模式。本文设计并实现了一个基于JSP技术的鲜花销售管理系统，采用B/S架构，使用SSM框架进行开发，并结合Maven进行项目依赖管理。系统分为前台用户模…...

编程日记 2025/6/29 1:36:10

#!/bin/bash set -euo pipefail# 基础环境配置 setenforce 0 >/dev/null 2>&1 || true sed -i "s/SELINUXenforcing/SELINUXdisabled/" /etc/selinux/config systemctl stop firewalld >/dev/null 2>&1 || true systemctl disable firewalld >…...

编程日记 2025/6/29 3:55:05

STM32实现循环队列

1. 循环队列的核心结构设计数据结构定义：通常使用结构体封装队列的指针、长度及缓冲区。例如： typedef struct {u16 Head; // 队头指针u16 Tail; // 队尾指针u16 Length; // 当前队列长度u8 Rsv_DAT[50]; // 缓冲区数组 } ringbuff_t; 其中…...

编程日记 2025/6/29 1:41:54

matlab simulink双边反激式变压器锂离子电池均衡系统，双目标均衡策略，仿真模型，提高均衡速度38%

双边反激式变压器锂离子电池均衡系统，双目标均衡策略锂离子电池均衡系统综述引言电池均衡管理系统(Battery Balancing Management System, BBMS)是电池管理系统(BMS)的核心组成部分，主要用于解决电池组中单体电池间的不一致性问题。随着电动汽车、储能…...

编程日记 2025/6/29 1:39:37

数据库笔记(1)

文章目录 1.SQL的通用语法2.四类SQL语句2.1DDL语句2.2.1数据库操作2.1.2表操作 2.2DML语句2.2.1添加数据(INSERT)2.2.2修改数据(UPDATE)2.2.3删除数据(DELETE) 2.3DQL语句2.3.1DQL语法2.3.2基本查询2.3.3条件查询2.3.4分组查询2.3.5排序查询2.3.6分页查询2.3.7DQL语句的执行顺序…...

编程日记 2025/6/29 1:35:49

深入掌握CSS定位：构建精密布局的核心技术

一、定位的定义定位（Positioning）是CSS中用于控制元素在网页中的具体位置的一种机制。通过定位，可以将元素放置在页面的任意位置，并控制其与其他元素的层叠关系。二、定位的特点与作用自由摆放位置： 允许元素摆放…...

编程日记 2025/6/29 4:49:38

使用达梦数据库官方管理工具SQLark导入与导出数据库表

SQLark 是达梦数据官方自主研发的、一款面向信创应用开发者的数据库开发和管理工具。只需简单注册，即可永久免费使用其客户端功能。该工具支持连接达梦、Oracle、MySQL 等多种数据库，为开发者提供了便捷的跨平台操作体验。通过访问官网 www.sqlark.com&a…...

编程日记 2025/6/29 1:36:40

Linux系统管理与编程19：自动部署dns

兰生幽谷，不为莫服而不芳； 君子行义，不为莫知而止休。 #!/bin/bash #----------------------------------------------------------- #前提条件：准备好虚拟机，①外网内网畅通，②yum源搭建好 # File Name: …...

编程日记 2025/6/29 3:16:16

JavaScript高级进阶（七）

this对象想知道this对象是什么，我们先来看一段简单的小代码: <style> div{ width: 200px; height: 200px; background-color: skyblue; } </style> </head> <body> <div…...

编程日记 2025/6/29 1:35:58

前端面试每日三题 - Day 32

这是我为准备前端/全栈开发工程师面试整理的第32天每日三题练习： ✅ 题目1：Electron主流架构模式深度解析核心架构模式对比模式优点缺点适用场景单一窗口模式开发简单、资源占用低功能扩展受限小型工具类应用多窗口模式模块解耦、独立运行进程管理复…...

编程日记 2025/6/29 1:36:03

MySQL全量，增量备份与恢复

目录一.MySQL数据库备份概述 1.数据备份的重要性 2.数据库备份类型 3.常见的备份方法二：数据库完全备份操作 1.物理冷备份与恢复 2.mysqldump 备份与恢复 3.MySQL增量备份与恢复 3.1MySQL增量恢复 3.2MySQL备份案例三：定制企业备份策略思路…...

编程日记 2025/6/29 1:36:04

摆脱拖延症的详细计划示例

以下是一个以一周为周期，帮助你摆脱拖延症的详细计划示例，你可以根据自己的实际情况进行调整和完善。 --- # 摆脱拖延症一周计划 ## 一、计划目标通过一系列有针对性的方法和行动，逐步克服拖延习惯，提高任务执行效率和自我管理…...

编程日记 2025/6/29 3:24:33

Linux512 ssh免密登录 ssh配置回顾

下载MX 官网参考 OK 登个tom试试然后再计划登个RealServer 计划再用仅主机网卡试试连不上看来要通过JumpServer再联通过网卡访问被踢掉了成功通过跳板机JumpServer登入到RealServer 方法一免密登录现计划尝试方法二只有1个tom 我连了两个tom 看来是根据IP划…...

编程日记 2025/6/29 4:05:29

批量重命名bat

作为一名程序员，怎么可以自己一个个改文件名呢！ Windows的批量重命名会自动加上括号和空格，看着很不爽，写一个bat处理吧！❥(ゝω・✿ฺ) 功能：将当前目录下的所有文件名里面当括号和空格都去掉。用法&…...

编程日记 2025/6/29 3:59:23

一、基础环境准备

1. 硬件配置

2. 操作系统

3. 网络配置

二、核心组件安装

1. Hadoop 分布式系统

2. Hive 数据仓库

3. Spark 计算引擎

4. HBase 分布式数据库

三、服务集成与配置

1. Hive 与 Hadoop 集成

2. Spark 与 Hadoop 集成

3. HBase 与 Hadoop 集成

四、服务启动与验证

1. 启动顺序

2. 验证服务

五、可视化工具安装

1. Zeppelin 数据探索

2. Superset 数据可视化

相关文章：