大数据新视界 -- 大数据大厂之 Hive 数据导入:多源数据集成的策略与实战(上)(3/ 30)
💖💖💖亲爱的朋友们,热烈欢迎你们来到 青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的博客,正是这样一个温暖美好的所在。在这里,你们不仅能够收获既富有趣味又极为实用的内容知识,还可以毫无拘束地畅所欲言,尽情分享自己独特的见解。我真诚地期待着你们的到来,愿我们能在这片小小的天地里共同成长,共同进步。💖💖💖
本博客的精华专栏:
- 大数据新视界专栏系列:聚焦大数据,展技术应用,推动进步拓展新视野。
- Java 大厂面试专栏系列:提供大厂面试的相关技巧和经验,助力求职。
- Python 魅力之旅:探索数据与智能的奥秘专栏系列:走进 Python 的精彩天地,感受数据处理与智能应用的独特魅力。
- Java 性能优化传奇之旅:铸就编程巅峰之路:如一把神奇钥匙,深度开启 JVM 等关键领域之门。丰富案例似璀璨繁星,引领你踏上编程巅峰的壮丽征程。
- Java 虚拟机(JVM)专栏系列:深入剖析 JVM 的工作原理和优化方法。
- Java 技术栈专栏系列:全面涵盖 Java 相关的各种技术。
- Java 学习路线专栏系列:为不同阶段的学习者规划清晰的学习路径。
- JVM 万亿性能密码:在数字世界的浩瀚星海中,JVM 如神秘宝藏,其万亿性能密码即将开启奇幻之旅。
- AI(人工智能)专栏系列:紧跟科技潮流,介绍人工智能的应用和发展趋势。
- 智创 AI 新视界专栏系列(NEW):深入剖析 AI 前沿技术,展示创新应用成果,带您领略智能创造的全新世界,提升 AI 认知与实践能力。
- 数据库核心宝典:构建强大数据体系专栏系列:专栏涵盖关系与非关系数据库及相关技术,助力构建强大数据体系。
- MySQL 之道专栏系列:您将领悟 MySQL 的独特之道,掌握高效数据库管理之法,开启数据驱动的精彩旅程。
- 大前端风云榜:引领技术浪潮专栏系列:大前端专栏如风云榜,捕捉 Vue.js、React Native 等重要技术动态,引领你在技术浪潮中前行。
- 工具秘籍专栏系列:工具助力,开发如有神。
【青云交社区】和【架构师社区】的精华频道:
- 今日看点:宛如一盏明灯,引领你尽情畅游社区精华频道,开启一场璀璨的知识盛宴。
- 今日精品佳作:为您精心甄选精品佳作,引领您畅游知识的广袤海洋,开启智慧探索之旅,定能让您满载而归。
- 每日成长记录:细致入微地介绍成长记录,图文并茂,真实可触,让你见证每一步的成长足迹。
- 每日荣登原力榜:如实记录原力榜的排行真实情况,有图有真相,一同感受荣耀时刻的璀璨光芒。
- 每日荣登领军人物榜:精心且精准地记录领军人物榜的真实情况,图文并茂地展现,让领导风采尽情绽放,令人瞩目。
- 每周荣登作者周榜:精准记录作者周榜的实际状况,有图有真相,领略卓越风采的绽放。
展望未来,我将持续深入钻研前沿技术,及时推出如人工智能和大数据等相关专题内容。同时,我会努力打造更加活跃的社区氛围,举办技术挑战活动和代码分享会,激发大家的学习热情与创造力。我也会加强与读者的互动,依据大家的反馈不断优化博客的内容和功能。此外,我还会积极拓展合作渠道,与优秀的博主和技术机构携手合作,为大家带来更为丰富的学习资源和机会。
我热切期待能与你们一同在这个小小的网络世界里探索、学习、成长。你们的每一次点赞、关注、评论、打赏和订阅专栏,都是对我最大的支持。让我们一起在知识的海洋中尽情遨游,共同打造一个充满活力与智慧的博客社区。✨✨✨
衷心地感谢每一位为我点赞、给予关注、留下真诚留言以及慷慨打赏的朋友,还有那些满怀热忱订阅我专栏的坚定支持者。你们的每一次互动,都犹如强劲的动力,推动着我不断向前迈进。倘若大家对更多精彩内容充满期待,欢迎加入【青云交社区】或加微信:【QingYunJiao】【备注:技术交流】。让我们携手并肩,一同踏上知识的广袤天地,去尽情探索。此刻,请立即访问我的主页 或【青云交社区】吧,那里有更多的惊喜在等待着你。相信通过我们齐心协力的共同努力,这里必将化身为一座知识的璀璨宝库,吸引更多热爱学习、渴望进步的伙伴们纷纷加入,共同开启这一趟意义非凡的探索之旅,驶向知识的浩瀚海洋。让我们众志成城,在未来必定能够汇聚更多志同道合之人,携手共创知识领域的辉煌篇章!
大数据新视界 -- 大数据大厂之 Hive 数据导入:多源数据集成的策略与实战(上)(3/ 30)
- 引言:
- 正文:
- 一、数据导入基础:星桥搭建的基石
- 1.1 数据导入方式概览:多样的星桥蓝图
- 1.2 数据格式适配:星桥的材料选择
- 二、多源数据集成策略:星桥网络的规划
- 2.1 数据整合模式:星桥的连接架构
- 2.2 数据清洗与转换:星桥的修缮与装饰
- 三、实战案例:星桥的构建与通行
- 3.1 影视娱乐行业案例:星桥连通数据星河
- 3.2 电商行业案例:星桥助力数据集市构建
- 结束语:
引言:
亲爱的大数据爱好者们,大家好!在那仿若深邃宇宙般浩渺无垠且神秘莫测的大数据星空中,我们曾怀揣着对未知的强烈好奇与探索欲,紧握《大数据新视界 – 大数据大厂之 Hive 数据仓库:架构深度剖析与核心组件详解(上)(1 / 30)》以及《大数据新视界 – 大数据大厂之 Hive 数据仓库:构建高效数据存储的基石(下)(2/ 30)》这两把闪耀着智慧光芒的星钥,犹如勇敢的星际开拓者,逐步深入 Hive 数据仓库这片神秘的星系领域。我们先是揭开了其架构的神秘面纱,窥探到元数据存储的核心奥秘与运行时引擎的强大动力源泉;接着又精心构筑起高效数据存储的坚实基石,探索数据分区、数据桶以及数据安全与权限管理的奇妙世界,仿佛在这片数据星空中点亮了一颗颗璀璨的星辰,使之逐渐汇聚成一颗闪耀着独特光芒的数据星球。如今,我们站在这颗光芒万丈的数据星球之上,将目光坚定地投向 Hive 数据导入这一关键的星际航道,它宛如一条由数据代码编织而成的神奇星桥,跨越无数数据星系,拥有着将宇宙中各个角落、形态万千且蕴含无尽信息宝藏的多源数据,精准引导至 Hive 数据仓库核心的神秘魔力。它能让这些数据如同汹涌奔腾的星际能量流,冲破重重数据格式差异与数据源异构的阻碍,顺滑无阻地汇聚融合,共同为大数据这幅如梦幻般绚烂、如史诗般宏伟的星河长卷增添更为深邃迷人的色彩与无限可能的维度。准备好与我一同踏上这充满挑战与惊喜的全新星际征程,深度探寻 Hive 数据导入的奇妙世界吧!
正文:
一、数据导入基础:星桥搭建的基石
1.1 数据导入方式概览:多样的星桥蓝图
Hive,这位在大数据宇宙中威名赫赫的 “数据巧匠大师”,以其卓越的智慧与精湛技艺,为我们精心绘制了多幅精妙绝伦的数据导入蓝图,每一幅蓝图恰似一座独一无二、横跨星际的星桥,巧妙地连接着不同数据源与 Hive 数据仓库这一神秘的数据港湾。
先看那功能强劲且操作简易的 LOAD DATA
语句,它宛如一位手法娴熟、精准无误的星际搬运工,能够以令人惊叹的速度和无与伦比的精准度,将本地文件系统或者 HDFS 中静静存储的珍贵数据文件,如同搬运宇宙稀世珍宝一般,迅速且安全地导入到 Hive 表中。例如,想象一下,若我们有幸获取一份精心梳理、如星辰般闪耀且安然存储在本地的影视用户行为日志文件,它宛如一颗隐匿着无数观众情感密码与行为奥秘的神秘星辰数据,而我们满心热切地期望将其导入到名为 user_behavior_table
的 Hive 表中,那么仅需轻松施展如下简洁而强大的代码魔法:
LOAD DATA LOCAL INPATH '/path/to/user_behavior.log' INTO TABLE user_behavior_table;
此代码恰似星桥的搭建指令密码,瞬间在数据与 Hive 表之间架起一座坚如磐石的桥梁,让数据仿若流星划过星际夜空,精准无误地抵达目的地,开启其在 Hive 数据世界中的奇妙旅程。
再瞧那灵活多变、功能强大的 INSERT INTO
语句,它仿若一位拥有神奇魔力、能够自由穿梭于数据星际空间的魔法师,赋予我们超乎寻常的能力。允许我们如同在浩瀚星际间施展神奇魔法般,从其他 Hive 表或者复杂精妙的子查询中巧妙筛选并精准抓取数据,然后以神来之笔将其插入到目标表中。这种特性在数据整合与转换的复杂星际场景中,犹如一颗在数据宇宙深处最为耀眼夺目、能量爆棚的超新星,释放出无可比拟的光芒与力量,发挥着至关重要且无可替代的关键作用。比如,假设我们拥有一张存储原始影视播放数据的表 raw_play_data
,它宛如一座装满原始数据宝藏的星际仓库,而此刻我们的目标是将其中特定时间段内的热门影片数据,这些如同夜空中最璀璨星辰般的数据精华,插入到 hot_movie_data
表中,那么我们只需如施展魔法般轻松操作:
INSERT INTO TABLE hot_movie_data
SELECT * FROM raw_play_data
WHERE play_time BETWEEN '2024-01-01 00:00:00' AND '2024-12-31 23:59:59' AND popularity > 1000;
通过这般操作,我们仿若在星际间开辟出一条专属的高速数据通道,将所需数据如同一束精准聚焦的超强激光束,穿透数据宇宙的重重迷雾与复杂星际尘埃,毫无偏差地传输到目的地,实现数据的精准迁移与整合。
此外,Hive 还贴心地为我们配备了强大无比的 Sqoop 工具,它宛如一座能够跨越不同数据星系、连接异构数据星球的超级星桥枢纽,专门用于构建连接关系型数据库与 Hive 数据仓库的稳固且高效的通道。Sqoop 拥有令人瞩目的超高速数据传输能力,能够如同星际快递巨头般迅速且精准地将关系型数据库(如 MySQL、Oracle 等这些数据星系中的重要星球基地)中的数据导入到 Hive 中。例如,倘若我们有一个 MySQL 数据库中小心翼翼珍藏着影视公司的员工信息,这些信息犹如一颗颗珍贵无比、记录着员工星际旅程与贡献的员工数据星辰,而我们急切渴望将其导入到 Hive 的 employee_info_table
表中,那么首先需要如同星际领航精英般精心配置好 Sqoop 连接参数,随后便可满怀信心地执行如下强大指令:
sqoop import \
--connect jdbc:mysql://localhost:3306/mydb \
--username root \
--password password \
--table employee \
--hive-table employee_info_table \
--hive-import
此条指令仿若启动超级星桥枢纽的超强引擎,瞬间开启数据传输的星际高速之旅,让员工信息数据如同一艘艘星际战舰,在严密的护航与精准导航下,安全、快速地穿越星系间的浩瀚数据海洋,顺利抵达 Hive 数据仓库的温暖港湾,完成数据的星际大迁移。
1.2 数据格式适配:星桥的材料选择
在这广袤无垠、充满无限奥秘与变数的大数据宇宙中,不同的数据源恰似来自不同星球的独特物质实体,它们各自拥有千差万别、仿若外星文明般独特的数据格式,有的如简单有序的星链,有的似复杂神秘的星际符文阵列。而 Hive,则如同一位拥有无穷智慧与超凡技艺的星际工匠大师,需要依据这些形形色色、仿若来自不同星际文明的格式,精心挑选最为合适的 “材料”,以此构建稳固且高效的星桥,确保数据能够如星际能量流般顺畅无阻地在不同数据源与 Hive 之间流淌穿梭,实现数据的完美对接与融合。
对于常见的文本文件格式,如 CSV(逗号分隔值)格式,它宛如由无数数据星辰有序串联而成的简洁星链,Hive 能够通过指定相应的 SerDe(序列化与反序列化)来进行巧妙处理。例如,假设我们拥有一份 CSV 格式的影视评分数据文件,它仿佛是一条记录着观众对影视评价的星链数据,当我们想要将其导入到 Hive 表时,就需要如同星际工程师般进行精准细致的定义操作:
CREATE TABLE movie_rating_csv (user_id STRING,movie_id STRING,rating INT
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES ("separatorChar" = ",","quoteChar" = "\"","escapeChar" = "\\"
)
STORED AS TEXTFILE;
通过这般设置,Hive 就能够如星链工匠大师般准确无误地识别并解析 CSV 格式的数据,将每一个数据星辰精准地镶嵌在星桥之上,使其成为星桥不可或缺的稳固基石,确保数据在其上顺畅流淌。
而对于像 JSON 格式这样的半结构化数据,它宛如一颗结构复杂、内部蕴含丰富信息宝藏且散发着神秘魅力的星际宝石,Hive 也有专门对应的 JSON SerDe 来进行精细入微的处理。想象一下,我们拥有一份 JSON 格式的影视元数据文件,它就像是一颗蕴含着影视全方位丰富信息的星际宝石数据,导入到 Hive 表的示例代码如下:
CREATE TABLE movie_metadata_json (id STRING,title STRING,release_year INT,genres ARRAY<STRING>
)
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
STORED AS TEXTFILE;
如此一来,Hive 便能如技艺精湛的宝石雕琢大师,将 JSON 格式的数据巧妙地雕琢并镶嵌在星桥之上,使其与其他数据星辰相互辉映、相得益彰,共同构建起稳固且富有弹性的数据通道,让数据在其中自由流淌且能被高效解析与利用。
对于 Parquet 和 ORC 等高效的列式存储格式,如果数据源本身就是这些格式,它们就像是由高级星际材料精心打造而成的星桥超强组件,Hive 可以直接进行加载,充分发挥其卓越非凡的性能优势。例如,当我们拥有 Parquet 格式的影视播放详细数据文件时,它仿佛是一块由无数精密数据星辰高度压缩而成的星际砖石,导入到 Hive 表的操作如下:
CREATE TABLE play_detail_parquet (session_id STRING,movie_id STRING,play_duration DECIMAL(10, 2),device_type STRING
)
STORED AS PARQUET;LOAD DATA INPATH '/path/to/play_detail.parquet' INTO TABLE play_detail_parquet;
Hive 能够轻松地识别并接纳这种高级格式的数据,仿若星际建筑师将星际砖石稳固地安置在星桥关键部位,构建出更加坚固耐用、能够承载海量数据流量且高效传输的星际数据通道,为数据的快速处理与深度分析奠定坚实基础。
二、多源数据集成策略:星桥网络的规划
2.1 数据整合模式:星桥的连接架构
在多源数据如同繁星般从宇宙各个角落汇聚集成到 Hive 数据仓库的宏伟壮阔过程中,存在着多种精妙绝伦、仿若不同星际文明建筑风格的数据整合模式,这些模式恰似规划星桥网络的不同连接架构,每一种都蕴含着独特的智慧与策略,犹如星际文明中的不同建筑风格,各有千秋且别具魅力,适应着不同的数据集成需求与场景。
其中一种极为常见且实用的模式是联邦式整合,它就像是构建一个星桥网络的强大联盟体系,各个数据源在逻辑上犹如不同的星际部落,各自保持着相对独立的运行状态与数据管理体系,但通过 Hive 那神奇的联邦功能,在进行数据查询时却能够如同星际联盟大会般实现紧密关联与协同合作。例如,想象一下,我们拥有一个存储在 Hive 本地分区表中的影视国内播放数据,它仿佛是一片属于国内影视播放的星际数据领地,有着自己独特的地域文化与数据特征;还有一份通过 Sqoop 从外部数据库导入的影视国际发行数据,它则像是来自遥远星际的国际影视发行数据宝藏,蕴含着全球不同地区的影视市场信息。在进行数据查询时,我们可以如星际联盟指挥官般下达这样的关联指令:
SELECT * FROM hive_local_play_data
UNION ALL
SELECT * FROM imported_international_release_data;
通过这样的操作,我们仿若在不同的星际数据领地之间建立起了联盟通道与数据共享桥梁,能够轻松地整合和查询来自不同数据源的数据,让数据的价值在联盟体系中得到最大程度的挖掘与释放,如同星际联盟中的资源共享与深度合作,创造出更为强大的数据分析力量与决策依据。
另一种重要的模式是集中式整合,它就像是将各个星际数据源的数据抽取汇聚到一个或多个如同数据核心星球般的集中式表中,在这个核心星球上进行统一的清洗、转换和存储管理,仿佛是将来自不同星系的资源汇聚到一个核心星球上进行整合优化与深度开发。比如,我们将来自不同地区的影视观众反馈数据(包括文本评论、评分等这些如同观众心声的星际信号)都抽取到一张名为 global_audience_feedback
的 Hive 表中,然后在这个数据核心星球上进行统一的情感分析和数据挖掘,就像在核心星球上建立了一座超级数据加工厂与智慧中枢,将原始数据加工提炼成具有更高价值的信息宝藏与决策智慧,为影视行业的全方位发展与战略决策提供强有力的支持与指引。
2.2 数据清洗与转换:星桥的修缮与装饰
在多源数据如同汹涌澎湃的星际洪流般集成的波澜壮阔旅程中,数据往往并非完美无瑕、纯净无杂质,它们就像在星际旅行中遭受各种星际尘埃、能量干扰与未知信号错乱的星辰信号,需要进行精心细致的清洗与转换,这一过程恰似对星桥进行全方位的修缮与精美绝伦的装饰,使其更加稳固可靠、高效流畅且美观大方,能够顺畅无阻地传输纯净而有价值的数据信号,犹如星际航道的深度清理与全面升级。
数据清洗主要涵盖去除重复数据、处理缺失值和纠正错误数据等关键核心环节,每一个环节都如同星桥修缮中的重要工序与关键节点。例如,在影视数据的浩瀚星空中,可能存在一些如同幽灵般飘忽不定、反复出现的重复用户评分记录,它们会如数据噪音般严重干扰数据的准确性与分析结果的可靠性,此时我们可以借助 Hive 那强大无比的 DISTINCT
关键字,仿若使用星际吸尘器中的超强净化模式般轻松去除这些重复数据:
SELECT DISTINCT user_id, movie_id, rating
FROM movie_rating_data;
此代码就像是启动星际吸尘器净化模式的关键指令开关,瞬间将重复数据清理得一干二净,让数据通道瞬间恢复清爽通畅,仿若清理星际航道中的顽固障碍物与杂乱星际尘埃,确保数据飞船能够在纯净的数据航道上顺利航行,精准抵达数据分析的目的地。
对于缺失值处理,如果是数值型数据,我们可以采用平均值、中位数等合理科学的数值进行填充,就像是星际工匠使用特制的星际材料修补星桥的破损部位。比如,对于缺失的影视播放时长数据,我们可以先仿若星际数学家般运用精密的计算方法精确算出所有非缺失时长的平均值,然后使用 COALESCE
函数进行巧妙填充:
SELECT movie_id, COALESCE(play_duration, AVG(play_duration) OVER ())
FROM movie_play_data;
通过这样的操作,我们仿若在星桥的破损裂缝处填补上了完美适配的材料,让数据能够继续如星际能量流般顺畅地流淌不息,仿若修复星际航道中的危险裂缝与漏洞,保障数据的稳定持续传输与深度分析挖掘。
数据转换则涉及到数据类型转换、数据标准化等精细复杂的操作,这些操作就像是对星桥进行全方位的装饰与性能优化升级,使其更符合数据传输与分析的高端需求。例如,将字符串类型的日期数据转换为 Hive 中的日期类型,以便进行更加精准高效的日期相关分析,如下表所示:
原始数据格式 | 转换后数据格式 | 转换示例代码 |
---|---|---|
YYYY-MM-DD HH:MM:SS 字符串 | TIMESTAMP 类型 | SELECT CAST('2024-11-30 12:30:00' AS TIMESTAMP); |
不同地区的货币金额字符串 | 统一的数值类型(如 DECIMAL ) | SELECT CONVERT('$10.50', DECIMAL(10, 2)); |
通过这些数据转换操作,我们仿若在星桥上安装了最为先进的导航设备、信号增强器与数据加速器,让数据能够在星桥中以更高的效率、更精准的精度以及更强大的稳定性传输,仿若为星际航道配备了顶级的导航系统、通讯增强装置与动力加速器,确保数据飞船能够在星际数据空间中准确无误、高速高效地抵达目的地,实现数据价值的最大化挖掘与利用。
三、实战案例:星桥的构建与通行
3.1 影视娱乐行业案例:星桥连通数据星河
让我们一同踏入一家大型影视娱乐集团的璀璨绚丽数据宇宙,这家集团仿若一个庞大无垠、涵盖无数星际子公司与业务星系的星际娱乐帝国,其数据来源广泛得如同浩瀚星空中的繁星点点,数不胜数且各具特色,包括内部的影视制作系统、全球各地的发行渠道数据、观众反馈平台数据以及社交媒体上的影视话题数据等,每一个数据源都像是一颗蕴含着独特信息宝藏与文化密码的神秘星球。
首先,对于内部影视制作系统中的数据,这些数据犹如影视制作星球上的珍稀核心资源,如影片制作成本、拍摄地点、演员阵容等关键信息,它们被小心翼翼地存储在关系型数据库中,仿若被珍藏在星际宝库中的绝世珍宝。我们可以借助强大无比的 Sqoop 工具,仿若启动一艘星际运输巨舰般按照如下配置将数据导入到 Hive 中:
sqoop import \
--connect jdbc:mysql://production-db-server:3306/movie_production \
--username production_user \
--password production_password \
--table movie_production_info \
--hive-table production_data_hive \
--hive-import
此条命令仿若星际运输巨舰的启航指令,瞬间激活强大引擎,将内部影视制作数据从关系型数据库星球安全稳妥地运输到 Hive 数据仓库星球,仿若在星际间完成了一次珍贵资源的完美转移与护送,为后续的数据整合与分析奠定坚实基础。
对于全球发行渠道数据,这些数据以 CSV 格式存储在 HDFS 上的不同目录中,仿佛是分布在不同星际坐标、闪烁着独特光芒的星链数据宝藏,并且按照地区和发行时间进行了精心细致的分区规划。我们可以使用 LOAD DATA
语句结合分区指定进行导入,就像星际探险家依据精准星图坐标,有条不紊地获取宝藏:
LOAD DATA INPATH '/hdfs/path/to/asia_release_data.csv' INTO TABLE global_release_data PARTITION (region='Asia', release_year=2024);
观众反馈平台数据包含大量的 JSON 格式的文本评论和评分数据,这些数据犹如观众情感的星际信号波动,传达着观众对影视的喜爱、不满与期待。我们利用 JSON SerDe 创建 Hive 表并导入,如同星际工程师搭建精密信号接收站,精准捕捉观众心声:
CREATE TABLE audience_feedback_json (feedback_id STRING,user_id STRING,movie_id STRING,comment STRING,rating INT
)
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
STORED AS TEXTFILE;LOAD DATA INPATH '/hdfs/path/to/feedback.json' INTO TABLE audience_feedback_json;
社交媒体上的影视话题数据则通过专门的数据采集工具定期采集并存储为 Parquet 格式,它就像是经过特殊加密处理、蕴含着丰富社交舆情的星际情报密文,然后直接加载到 Hive 表中:
CREATE TABLE social_media_topic_parquet (topic_id STRING,movie_id STRING,topic_text STRING,post_count INT
)
STORED AS PARQUET;LOAD DATA INPATH '/hdfs/path/to/social_media_topic.parquet' INTO TABLE social_media_topic_parquet;
在数据整合方面,我们采用集中式整合模式,将所有这些数据抽取到一张名为 movie_data_hub
的 Hive 表中,这个表就像是影视娱乐集团的数据核心星球,承载着集团全部数据的整合与升华使命。
随后,在这个核心星球上进行全面的清洗和转换。例如,我们使用 DISTINCT
关键字去除重复的观众评分数据,如同清理核心星球上的冗余信息垃圾,还原数据纯净本质;处理缺失的影片制作成本数据时,使用同类型影片成本平均值填充,就像从其他相似星球获取资源来修补核心星球的缺陷漏洞,确保数据完整性;并将不同格式的日期数据统一转换为 TIMESTAMP
类型,仿佛在核心星球上建立统一的时间标准尺度,规范数据时间维度。
通过这样的多源数据集成,影视娱乐集团就如同拥有了一个超级数据望远镜与智慧分析引擎,能够进行全面而深入的数据分析。例如,可以分析不同地区观众对影片的喜好与反馈,如同观测不同星际区域的观众文化反应与情感倾向;结合制作成本和发行数据评估影片的商业效益,就像计算星际贸易的利润得失与市场成本;根据社交媒体话题热度预测影片的口碑传播,仿佛预测星际消息的传播扩散趋势与影响力范围,为影视制作、发行和营销决策提供无比强大的支持与精准指引,如同为星际娱乐帝国的发展绘制清晰精准的星图航线。
为了更深入地挖掘数据价值,我们还可以进行一些复杂而有深度的分析操作。比如,通过分析演员阵容与影片票房之间的关系,来优化未来的选角策略。假设我们有如下数据:
CREATE TABLE movie_cast_boxoffice (movie_id STRING,actor_name STRING,box_office DECIMAL(15, 2)
);
我们可以使用如下代码计算每个演员的平均票房贡献:
SELECT actor_name, AVG(box_office)
FROM movie_cast_boxoffice
GROUP BY actor_name;
进一步地,还能分析不同类型影片中演员的票房影响力差异。例如,先将影片分类:
CREATE TABLE movie_genre (movie_id STRING,genre STRING
);
然后结合前面的表,计算不同类型影片中演员的平均票房贡献:
SELECT mc.actor_name, mg.genre, AVG(mc.box_office)
FROM movie_cast_boxoffice mc
JOIN movie_genre mg ON mc.movie_id = mg.movie_id
GROUP BY mc.actor_name, mg.genre;
3.2 电商行业案例:星桥助力数据集市构建
现在,让我们将目光聚焦到电商行业这个繁华喧嚣、充满无限商业活力的星际商业领域。在这个领域中,一个大型电商平台犹如一个巨大无比、汇聚无数商品与交易的星际贸易中心,拥有海量的商品数据、用户交易数据、物流数据以及用户评价数据等多源数据,这些数据就像星际贸易中心中琳琅满目的商品货架、繁忙不息的交易记录账本、穿梭不停的物流运输轨迹以及顾客心声的留言簿。
商品数据存储在关系型数据库中,它包含商品名称、类别、价格、库存等重要基础信息,这些信息犹如商品星球的基本属性特征与价值标识。我们通过 Sqoop 将其导入到 Hive 中,就像将商品星球的核心信息传输到星际贸易中心的数据库总库:
sqoop import \
--connect jdbc:mysql://ecommerce-db:3306/product_db \
--username ecommerce_user \
--password ecommerce_password \
--table product_info \
--hive-table product_data_hive \
--hive-import
用户交易数据以 CSV 格式存储在 HDFS 上,仿佛是记录星际贸易交易明细的星链账本,并且按照交易日期进行分区规划,如同按照星际时间历法将账本分类归档。使用 LOAD DATA
语句导入到 Hive 表,就像将星链账本按日期精准归档到贸易中心数据库的对应区域:
CREATE TABLE user_transaction_csv (transaction_id STRING,user_id STRING,product_id STRING,transaction_amount DECIMAL(10, 2),transaction_time TIMESTAMP
)
PARTITIONED BY (transaction_date STRING)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES ("separatorChar" = ",","quoteChar" = "\"","escapeChar" = "\\"
)
STORED AS TEXTFILE;LOAD DATA INPATH '/hdfs/path/to/transaction_202411.csv' INTO TABLE user_transaction_csv PARTITION (transaction_date='2024-11-01');
物流数据是 JSON 格式,它记录了商品的发货地址、收货地址、物流状态等信息,犹如星际快递的行程追踪器与状态记录仪。创建相应的 Hive 表并导入,就像在贸易中心建立快递追踪系统与物流信息库:
CREATE TABLE logistics_data_json (logistics_id STRING,product_id STRING,ship_from STRING,ship_to STRING,status STRING
)
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
STORED AS TEXTFILE;LOAD DATA INPATH '/hdfs/path/to/logistics.json' INTO TABLE logistics_data_json;
用户评价数据为文本格式,存储在 HDFS 上的文件中,仿佛是顾客心声的星际留言簿与情感反馈站。先创建 Hive 表,然后导入数据,就像将留言簿整理归档到贸易中心的顾客意见库:
CREATE TABLE user_review_text (review_id STRING,user_id STRING,product_id STRING,review_text STRING
)
STORED AS TEXTFILE;LOAD DATA INPATH '/hdfs/path/to/reviews.txt' INTO TABLE user_review_text;
在数据整合上,采用联邦式整合模式,构建多个数据集市。例如,创建一个用户行为数据集市,将用户交易数据、评价数据进行关联整合,如同在贸易中心建立特定商品交易与顾客反馈的综合分析区与数据展示橱窗:
CREATE VIEW user_behavior_data_mart AS
SELECT ut.user_id, ut.product_id, ut.transaction_amount, ur.review_text
FROM user_transaction_csv ut
LEFT JOIN user_review_text ur ON ut.user_id = ur.user_id AND ut.product_id = ur.product_id;
进一步地,我们可以利用这个数据集市分析用户的购买偏好和对商品的满意度。比如,统计购买某类商品的用户中,给出好评的比例:
SELECT COUNT(CASE WHEN ur.review_text LIKE '%好评%' THEN 1 END) / COUNT(*)
FROM user_transaction_csv ut
LEFT JOIN user_review_text ur ON ut.user_id = ur.user_id AND ut.product_id = ur.product_id
WHERE ut.product_id = '特定商品 ID';
还可以分析用户购买行为与物流配送时间的关系。例如,先关联物流数据:
CREATE VIEW user_behavior_with_logistics AS
SELECT ub.user_id, ub.product_id, ub.transaction_amount, ub.review_text, lj.status, lj.ship_from, lj.ship_to
FROM user_behavior_data_mart ub
JOIN logistics_data_json lj ON ub.product_id = lj.product_id;
然后计算不同物流状态下用户的平均购买金额:
SELECT lj.status, AVG(ub.transaction_amount)
FROM user_behavior_with_logistics ub
GROUP BY lj.status;
通过这样的数据集成与数据集市构建,电商平台就像拥有了智能商业导航仪与顾客洞察神器,可以进行精准的用户画像分析,如同绘制星际顾客的详细星图与个性标签;商品推荐,就像为星际顾客推荐最适合他们的商品星球与购物清单;物流效率优化等操作,仿佛优化星际快递的航线规划与运输调度,提升用户体验和运营效率,使星际贸易中心更加繁荣昌盛、充满活力与竞争力。
结束语:
亲爱的大数据爱好者们,通过对 Hive 数据导入的多源数据集成策略与实战的深度探索,我们仿佛化身为星桥建筑师中的传奇大师与星际数据魔法师,凭借着精湛绝伦的技艺与无穷无尽的智慧,精心构建起连接多源数据与 Hive 数据仓库的坚固桥梁与数据传输魔法通道。这些策略与实战技巧犹如星空中最璀璨耀眼、能量最强的星辰,将为企业在大数据的浩瀚星河中照亮前行的道路,使其能够更加高效地整合和利用数据资源,如同星际舰队精准调配能源与物资,为数据驱动的决策提供坚如磐石的有力支撑与精准导航。
在后续的《大数据新视界 – 大数据大厂之 数据导入:优化数据摄取的高级技巧(下)(4/ 30)》中,我们将继续深入挖掘 Hive 数据导入过程中的高级技巧与优化方法,进一步完善数据导入的星桥构建工艺与魔法通道强化术,如同星桥建筑师不断升级建筑技术与魔法力量,续写大数据新视界的精彩篇章,让我们共同期待在大数据的星际之旅中收获更多的惊喜与发现,探索更多未知的数据星际奥秘与宝藏。
互动与提问:在您的数据导入实践中,是否曾遭遇过因数据源格式差异过大而导致的导入难题,如同星际数据格式不兼容的宇宙危机?您又是如何巧妙解决数据清洗过程中复杂的数据逻辑问题,仿佛化解星际数据乱流中的危险信号与逻辑陷阱?欢迎在评论区或CSDN社区分享您的宝贵经验和独特见解,让我们在大数据的交流星云中如同星际探险家汇聚智慧与勇气,共同成长,一起探索 Hive 数据导入的无限奥秘,开拓大数据星际领域的全新疆界与未知领域。
说明: 文中部分图片来自官网:(https://hive.apache.org/)
- 大数据新视界 – 大数据大厂之 Hive 数据仓库:构建高效数据存储的基石(下)(2/ 30)(最新)
- 大数据新视界 – 大数据大厂之 Hive 数据仓库:架构深度剖析与核心组件详解(上)(1 / 30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能优化:量子计算启发下的数据加密与性能平衡(下)(30 / 30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能优化:融合人工智能预测的资源预分配秘籍(上)(29 / 30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能优化:分布式环境中的优化新视野(下)(28 / 30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能优化:跨数据中心环境下的挑战与对策(上)(27 / 30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能突破:处理特殊数据的高级技巧(下)(26 / 30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能突破:复杂数据类型处理的优化路径(上)(25 / 30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能优化:资源分配与负载均衡的协同(下)(24 / 30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能优化:集群资源动态分配的智慧(上)(23 / 30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能飞跃:分区修剪优化的应用案例(下)(22 / 30)(最新)
- 智创 AI 新视界 – AI 助力医疗影像诊断的新突破(最新)
- 智创 AI 新视界 – AI 在智能家居中的智能升级之路(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能飞跃:动态分区调整的策略与方法(上)(21 / 30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 存储格式转换:从原理到实践,开启大数据性能优化星际之旅(下)(20/30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能优化:基于数据特征的存储格式选择(上)(19/30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能提升:高级执行计划优化实战案例(下)(18/30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能提升:解析执行计划优化的神秘面纱(上)(17/30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能优化:优化数据加载的实战技巧(下)(16/30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能优化:数据加载策略如何决定分析速度(上)(15/30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能优化:为企业决策加速的核心力量(下)(14/30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 在大数据架构中的性能优化全景洞察(上)(13/30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能优化:新技术融合的无限可能(下)(12/30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能优化:融合机器学习的未来之路(上 (2-2))(11/30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能优化:融合机器学习的未来之路(上 (2-1))(11/30)(最新)
- 大数据新视界 – 大数据大厂之经典案例解析:广告公司 Impala 优化的成功之道(下)(10/30)(最新)
- 大数据新视界 – 大数据大厂之经典案例解析:电商企业如何靠 Impala性能优化逆袭(上)(9/30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能优化:从数据压缩到分析加速(下)(8/30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能优化:应对海量复杂数据的挑战(上)(7/30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 资源管理:并发控制的策略与技巧(下)(6/30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 与内存管理:如何避免资源瓶颈(上)(5/30)(最新)
- 大数据新视界 – 大数据大厂之提升 Impala 查询效率:重写查询语句的黄金法则(下)(4/30)(最新)
- 大数据新视界 – 大数据大厂之提升 Impala 查询效率:索引优化的秘籍大揭秘(上)(3/30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能优化:数据存储分区的艺术与实践(下)(2/30)(最新)
- 大数据新视界 – 大数据大厂之 Impala 性能优化:解锁大数据分析的速度密码(上)(1/30)(最新)
- 大数据新视界 – 大数据大厂都在用的数据目录管理秘籍大揭秘,附海量代码和案例(最新)
- 大数据新视界 – 大数据大厂之数据质量管理全景洞察:从荆棘挑战到辉煌策略与前沿曙光(最新)
- 大数据新视界 – 大数据大厂之大数据环境下的网络安全态势感知(最新)
- 大数据新视界 – 大数据大厂之多因素认证在大数据安全中的关键作用(最新)
- 大数据新视界 – 大数据大厂之优化大数据计算框架 Tez 的实践指南(最新)
- 技术星河中的璀璨灯塔 —— 青云交的非凡成长之路(最新)
- 大数据新视界 – 大数据大厂之大数据重塑影视娱乐产业的未来(4 - 4)(最新)
- 大数据新视界 – 大数据大厂之大数据重塑影视娱乐产业的未来(4 - 3)(最新)
- 大数据新视界 – 大数据大厂之大数据重塑影视娱乐产业的未来(4 - 2)(最新)
- 大数据新视界 – 大数据大厂之大数据重塑影视娱乐产业的未来(4 - 1)(最新)
- 大数据新视界 – 大数据大厂之Cassandra 性能优化策略:大数据存储的高效之路(最新)
- 大数据新视界 – 大数据大厂之大数据在能源行业的智能优化变革与展望(最新)
- 智创 AI 新视界 – 探秘 AIGC 中的生成对抗网络(GAN)应用(最新)
- 大数据新视界 – 大数据大厂之大数据与虚拟现实的深度融合之旅(最新)
- 大数据新视界 – 大数据大厂之大数据与神经形态计算的融合:开启智能新纪元(最新)
- 智创 AI 新视界 – AIGC 背后的深度学习魔法:从原理到实践(最新)
- 大数据新视界 – 大数据大厂之大数据和增强现实(AR)结合:创造沉浸式数据体验(最新)
- 大数据新视界 – 大数据大厂之如何降低大数据存储成本:高效存储架构与技术选型(最新)
- 大数据新视界 --大数据大厂之大数据与区块链双链驱动:构建可信数据生态(最新)
- 大数据新视界 – 大数据大厂之 AI 驱动的大数据分析:智能决策的新引擎(最新)
- 大数据新视界 --大数据大厂之区块链技术:为大数据安全保驾护航(最新)
- 大数据新视界 --大数据大厂之 Snowflake 在大数据云存储和处理中的应用探索(最新)
- 大数据新视界 --大数据大厂之数据脱敏技术在大数据中的应用与挑战(最新)
- 大数据新视界 --大数据大厂之 Ray:分布式机器学习框架的崛起(最新)
- 大数据新视界 --大数据大厂之大数据在智慧城市建设中的应用:打造智能生活的基石(最新)
- 大数据新视界 --大数据大厂之 Dask:分布式大数据计算的黑马(最新)
- 大数据新视界 --大数据大厂之 Apache Beam:统一批流处理的大数据新贵(最新)
- 大数据新视界 --大数据大厂之图数据库与大数据:挖掘复杂关系的新视角(最新)
- 大数据新视界 --大数据大厂之 Serverless 架构下的大数据处理:简化与高效的新路径(最新)
- 大数据新视界 --大数据大厂之大数据与边缘计算的协同:实时分析的新前沿(最新)
- 大数据新视界 --大数据大厂之 Hadoop MapReduce 优化指南:释放数据潜能,引领科技浪潮(最新)
- 诺贝尔物理学奖新视野:机器学习与神经网络的璀璨华章(最新)
- 大数据新视界 --大数据大厂之 Volcano:大数据计算任务调度的新突破(最新)
- 大数据新视界 --大数据大厂之 Kubeflow 在大数据与机器学习融合中的应用探索(最新)
- 大数据新视界 --大数据大厂之大数据环境下的零信任安全架构:构建可靠防护体系(最新)
- 大数据新视界 --大数据大厂之差分隐私技术在大数据隐私保护中的实践(最新)
- 大数据新视界 --大数据大厂之 Dremio:改变大数据查询方式的创新引擎(最新)
- 大数据新视界 --大数据大厂之 ClickHouse:大数据分析领域的璀璨明星(最新)
- 大数据新视界 --大数据大厂之大数据驱动下的物流供应链优化:实时追踪与智能调配(最新)
- 大数据新视界 --大数据大厂之大数据如何重塑金融风险管理:精准预测与防控(最新)
- 大数据新视界 --大数据大厂之 GraphQL 在大数据查询中的创新应用:优化数据获取效率(最新)
- 大数据新视界 --大数据大厂之大数据与量子机器学习融合:突破智能分析极限(最新)
- 大数据新视界 --大数据大厂之 Hudi 数据湖框架性能提升:高效处理大数据变更(最新)
- 大数据新视界 --大数据大厂之 Presto 性能优化秘籍:加速大数据交互式查询(最新)
- 大数据新视界 --大数据大厂之大数据驱动智能客服 – 提升客户体验的核心动力(最新)
- 大数据新视界 --大数据大厂之大数据于基因测序分析的核心应用 - 洞悉生命信息的密钥(最新)
- 大数据新视界 --大数据大厂之 Ibis:独特架构赋能大数据分析高级抽象层(最新)
- 大数据新视界 --大数据大厂之 DataFusion:超越传统的大数据集成与处理创新工具(最新)
- 大数据新视界 --大数据大厂之 从 Druid 和 Kafka 到 Polars:大数据处理工具的传承与创新(最新)
- 大数据新视界 --大数据大厂之 Druid 查询性能提升:加速大数据实时分析的深度探索(最新)
- 大数据新视界 --大数据大厂之 Kafka 性能优化的进阶之道:应对海量数据的高效传输(最新)
- 大数据新视界 --大数据大厂之深度优化 Alluxio 分层架构:提升大数据缓存效率的全方位解析(最新)
- 大数据新视界 --大数据大厂之 Alluxio:解析数据缓存系统的分层架构(最新)
- 大数据新视界 --大数据大厂之 Alluxio 数据缓存系统在大数据中的应用与配置(最新)
- 大数据新视界 --大数据大厂之TeZ 大数据计算框架实战:高效处理大规模数据(最新)
- 大数据新视界 --大数据大厂之数据质量评估指标与方法:提升数据可信度(最新)
- 大数据新视界 --大数据大厂之 Sqoop 在大数据导入导出中的应用与技巧(最新)
- 大数据新视界 --大数据大厂之数据血缘追踪与治理:确保数据可追溯性(最新)
- 大数据新视界 --大数据大厂之Cassandra 分布式数据库在大数据中的应用与调优(最新)
- 大数据新视界 --大数据大厂之基于 MapReduce 的大数据并行计算实践(最新)
- 大数据新视界 --大数据大厂之数据压缩算法比较与应用:节省存储空间(最新)
- 大数据新视界 --大数据大厂之 Druid 实时数据分析平台在大数据中的应用(最新)
- 大数据新视界 --大数据大厂之数据清洗工具 OpenRefine 实战:清理与转换数据(最新)
- 大数据新视界 --大数据大厂之 Spark Streaming 实时数据处理框架:案例与实践(最新)
- 大数据新视界 --大数据大厂之 Kylin 多维分析引擎实战:构建数据立方体(最新)
- 大数据新视界 --大数据大厂之HBase 在大数据存储中的应用与表结构设计(最新)
- 大数据新视界 --大数据大厂之大数据实战指南:Apache Flume 数据采集的配置与优化秘籍(最新)
- 大数据新视界 --大数据大厂之大数据存储技术大比拼:选择最适合你的方案(最新)
- 大数据新视界 --大数据大厂之 Reactjs 在大数据应用开发中的优势与实践(最新)
- 大数据新视界 --大数据大厂之 Vue.js 与大数据可视化:打造惊艳的数据界面(最新)
- 大数据新视界 --大数据大厂之 Node.js 与大数据交互:实现高效数据处理(最新)
- 大数据新视界 --大数据大厂之JavaScript在大数据前端展示中的精彩应用(最新)
- 大数据新视界 --大数据大厂之AI 与大数据的融合:开创智能未来的新篇章(最新)
- 大数据新视界 --大数据大厂之算法在大数据中的核心作用:提升效率与智能决策(最新)
- 大数据新视界 --大数据大厂之DevOps与大数据:加速数据驱动的业务发展(最新)
- 大数据新视界 --大数据大厂之SaaS模式下的大数据应用:创新与变革(最新)
- 大数据新视界 --大数据大厂之Kubernetes与大数据:容器化部署的最佳实践(最新)
- 大数据新视界 --大数据大厂之探索ES:大数据时代的高效搜索引擎实战攻略(最新)
- 大数据新视界 --大数据大厂之Redis在缓存与分布式系统中的神奇应用(最新)
- 大数据新视界 --大数据大厂之数据驱动决策:如何利用大数据提升企业竞争力(最新)
- 大数据新视界 --大数据大厂之MongoDB与大数据:灵活文档数据库的应用场景(最新)
- 大数据新视界 --大数据大厂之数据科学项目实战:从问题定义到结果呈现的完整流程(最新)
- 大数据新视界 --大数据大厂之 Cassandra 分布式数据库:高可用数据存储的新选择(最新)
- 大数据新视界 --大数据大厂之数据安全策略:保护大数据资产的最佳实践(最新)
- 大数据新视界 --大数据大厂之Kafka消息队列实战:实现高吞吐量数据传输(最新)
- 大数据新视界 --大数据大厂之数据挖掘入门:用 R 语言开启数据宝藏的探索之旅(最新)
- 大数据新视界 --大数据大厂之HBase深度探寻:大规模数据存储与查询的卓越方案(最新)
- IBM 中国研发部裁员风暴,IT 行业何去何从?(最新)
- 大数据新视界 --大数据大厂之数据治理之道:构建高效大数据治理体系的关键步骤(最新)
- 大数据新视界 --大数据大厂之Flink强势崛起:大数据新视界的璀璨明珠(最新)
- 大数据新视界 --大数据大厂之数据可视化之美:用 Python 打造炫酷大数据可视化报表(最新)
- 大数据新视界 --大数据大厂之 Spark 性能优化秘籍:从配置到代码实践(最新)
- 大数据新视界 --大数据大厂之揭秘大数据时代 Excel 魔法:大厂数据分析师进阶秘籍(最新)
- 大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南(最新)
- 大数据新视界–大数据大厂之Java 与大数据携手:打造高效实时日志分析系统的奥秘(最新)
- 大数据新视界–面向数据分析师的大数据大厂之MySQL基础秘籍:轻松创建数据库与表,踏入大数据殿堂(最新)
- 全栈性能优化秘籍–Linux 系统性能调优全攻略:多维度优化技巧大揭秘(最新)
- 大数据新视界–大数据大厂之MySQL数据库课程设计:揭秘 MySQL 集群架构负载均衡核心算法:从理论到 Java 代码实战,让你的数据库性能飙升!(最新)
- 大数据新视界–大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡故障排除与解决方案(最新)
- 解锁编程高效密码:四大工具助你一飞冲天!(最新)
- 大数据新视界–大数据大厂之MySQL数据库课程设计:MySQL数据库高可用性架构探索(2-1)(最新)
- 大数据新视界–大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡方法选择全攻略(2-2)(最新)
- 大数据新视界–大数据大厂之MySQL数据库课程设计:MySQL 数据库 SQL 语句调优方法详解(2-1)(最新)
- 大数据新视界–大数据大厂之MySQL 数据库课程设计:MySQL 数据库 SQL 语句调优的进阶策略与实际案例(2-2)(最新)
- 大数据新视界–大数据大厂之MySQL 数据库课程设计:数据安全深度剖析与未来展望(最新)
- 大数据新视界–大数据大厂之MySQL 数据库课程设计:开启数据宇宙的传奇之旅(最新)
- 大数据新视界–大数据大厂之大数据时代的璀璨导航星:Eureka 原理与实践深度探秘(最新)
- Java性能优化传奇之旅–Java万亿级性能优化之Java 性能优化逆袭:常见错误不再是阻碍(最新)
- Java性能优化传奇之旅–Java万亿级性能优化之Java 性能优化传奇:热门技术点亮高效之路(最新)
- Java性能优化传奇之旅–Java万亿级性能优化之电商平台高峰时段性能优化:多维度策略打造卓越体验(最新)
- Java性能优化传奇之旅–Java万亿级性能优化之电商平台高峰时段性能大作战:策略与趋势洞察(最新)
- JVM万亿性能密码–JVM性能优化之JVM 内存魔法:开启万亿级应用性能新纪元(最新)
- 十万流量耀前路,成长感悟谱新章(最新)
- AI 模型:全能与专精之辩 —— 一场科技界的 “超级大比拼”(最新)
- 国产游戏技术:挑战与机遇(最新)
- Java面试题–JVM大厂篇之JVM大厂面试题及答案解析(10)(最新)
- Java面试题–JVM大厂篇之JVM大厂面试题及答案解析(9)(最新)
- Java面试题–JVM大厂篇之JVM大厂面试题及答案解析(8)(最新)
- Java面试题–JVM大厂篇之JVM大厂面试题及答案解析(7)(最新)
- Java面试题–JVM大厂篇之JVM大厂面试题及答案解析(6)(最新)
- Java面试题–JVM大厂篇之JVM大厂面试题及答案解析(5)(最新)
- Java面试题–JVM大厂篇之JVM大厂面试题及答案解析(4)(最新)
- Java面试题–JVM大厂篇之JVM大厂面试题及答案解析(3)(最新)
- Java面试题–JVM大厂篇之JVM大厂面试题及答案解析(2)(最新)
- Java面试题–JVM大厂篇之JVM大厂面试题及答案解析(1)(最新)
- Java 面试题 ——JVM 大厂篇之 Java 工程师必备:顶尖工具助你全面监控和分析 CMS GC 性能(2)(最新)
- Java面试题–JVM大厂篇之Java工程师必备:顶尖工具助你全面监控和分析CMS GC性能(1)(最新)
- Java面试题–JVM大厂篇之未来已来:为什么ZGC是大规模Java应用的终极武器?(最新)
- AI 音乐风暴:创造与颠覆的交响(最新)
- 编程风暴:勇破挫折,铸就传奇(最新)
- Java面试题–JVM大厂篇之低停顿、高性能:深入解析ZGC的优势(最新)
- Java面试题–JVM大厂篇之解密ZGC:让你的Java应用高效飞驰(最新)
- Java面试题–JVM大厂篇之掌控Java未来:深入剖析ZGC的低停顿垃圾回收机制(最新)
- GPT-5 惊涛来袭:铸就智能新传奇(最新)
- AI 时代风暴:程序员的核心竞争力大揭秘(最新)
- Java面试题–JVM大厂篇之Java新神器ZGC:颠覆你的垃圾回收认知!(最新)
- Java面试题–JVM大厂篇之揭秘:如何通过优化 CMS GC 提升各行业服务器响应速度(最新)
- “低代码” 风暴:重塑软件开发新未来(最新)
- 程序员如何平衡日常编码工作与提升式学习?–编程之路:平衡与成长的艺术(最新)
- 编程学习笔记秘籍:开启高效学习之旅(最新)
- Java面试题–JVM大厂篇之高并发Java应用的秘密武器:深入剖析GC优化实战案例(最新)
- Java面试题–JVM大厂篇之实战解析:如何通过CMS GC优化大规模Java应用的响应时间(最新)
- Java面试题–JVM大厂篇(1-10)
- Java面试题–JVM大厂篇之Java虚拟机(JVM)面试题:涨知识,拿大厂Offer(11-20)
- Java面试题–JVM大厂篇之JVM面试指南:掌握这10个问题,大厂Offer轻松拿
- Java面试题–JVM大厂篇之Java程序员必学:JVM架构完全解读
- Java面试题–JVM大厂篇之以JVM新特性看Java的进化之路:从Loom到Amber的技术篇章
- Java面试题–JVM大厂篇之深入探索JVM:大厂面试官心中的那些秘密题库
- Java面试题–JVM大厂篇之高级Java开发者的自我修养:深入剖析JVM垃圾回收机制及面试要点
- Java面试题–JVM大厂篇之从新手到专家:深入探索JVM垃圾回收–开端篇
- Java面试题–JVM大厂篇之Java性能优化:垃圾回收算法的神秘面纱揭开!
- Java面试题–JVM大厂篇之揭秘Java世界的清洁工——JVM垃圾回收机制
- Java面试题–JVM大厂篇之掌握JVM性能优化:选择合适的垃圾回收器
- Java面试题–JVM大厂篇之深入了解Java虚拟机(JVM):工作机制与优化策略
- Java面试题–JVM大厂篇之深入解析JVM运行时数据区:Java开发者必读
- Java面试题–JVM大厂篇之从零开始掌握JVM:解锁Java程序的强大潜力
- Java面试题–JVM大厂篇之深入了解G1 GC:大型Java应用的性能优化利器
- Java面试题–JVM大厂篇之深入了解G1 GC:高并发、响应时间敏感应用的最佳选择
- Java面试题–JVM大厂篇之G1 GC的分区管理方式如何减少应用线程的影响
- Java面试题–JVM大厂篇之深入解析G1 GC——革新Java垃圾回收机制
- Java面试题–JVM大厂篇之深入探讨Serial GC的应用场景
- Java面试题–JVM大厂篇之Serial GC在JVM中有哪些优点和局限性
- Java面试题–JVM大厂篇之深入解析JVM中的Serial GC:工作原理与代际区别
- Java面试题–JVM大厂篇之通过参数配置来优化Serial GC的性能
- Java面试题–JVM大厂篇之深入分析Parallel GC:从原理到优化
- Java面试题–JVM大厂篇之破解Java性能瓶颈!深入理解Parallel GC并优化你的应用
- Java面试题–JVM大厂篇之全面掌握Parallel GC参数配置:实战指南
- Java面试题–JVM大厂篇之Parallel GC与其他垃圾回收器的对比与选择
- Java面试题–JVM大厂篇之Java中Parallel GC的调优技巧与最佳实践
- Java面试题–JVM大厂篇之JVM监控与GC日志分析:优化Parallel GC性能的重要工具
- Java面试题–JVM大厂篇之针对频繁的Minor GC问题,有哪些优化对象创建与使用的技巧可以分享?
- Java面试题–JVM大厂篇之JVM 内存管理深度探秘:原理与实战
- Java面试题–JVM大厂篇之破解 JVM 性能瓶颈:实战优化策略大全
- Java面试题–JVM大厂篇之JVM 垃圾回收器大比拼:谁是最佳选择
- Java面试题–JVM大厂篇之从原理到实践:JVM 字节码优化秘籍
- Java面试题–JVM大厂篇之揭开CMS GC的神秘面纱:从原理到应用,一文带你全面掌握
- Java面试题–JVM大厂篇之JVM 调优实战:让你的应用飞起来
- Java面试题–JVM大厂篇之CMS GC调优宝典:从默认配置到高级技巧,Java性能提升的终极指南
- Java面试题–JVM大厂篇之CMS GC的前世今生:为什么它曾是Java的王者,又为何将被G1取代
- Java就业-学习路线–突破性能瓶颈: Java 22 的性能提升之旅
- Java就业-学习路线–透视Java发展:从 Java 19 至 Java 22 的飞跃
- Java就业-学习路线–Java技术:2024年开发者必须了解的10个要点
- Java就业-学习路线–Java技术栈前瞻:未来技术趋势与创新
- Java就业-学习路线–Java技术栈模块化的七大优势,你了解多少?
- Spring框架-Java学习路线课程第一课:Spring核心
- Spring框架-Java学习路线课程:Spring的扩展配置
- Springboot框架-Java学习路线课程:Springboot框架的搭建之maven的配置
- Java进阶-Java学习路线课程第一课:Java集合框架-ArrayList和LinkedList的使用
- Java进阶-Java学习路线课程第二课:Java集合框架-HashSet的使用及去重原理
- JavaWEB-Java学习路线课程:使用MyEclipse工具新建第一个JavaWeb项目(一)
- JavaWEB-Java学习路线课程:使用MyEclipse工具新建项目时配置Tomcat服务器的方式(二)
- Java学习:在给学生演示用Myeclipse10.7.1工具生成War时,意外报错:SECURITY: INTEGRITY CHECK ERROR
- 使用Jquery发送Ajax请求的几种异步刷新方式
- Idea Springboot启动时内嵌tomcat报错- An incompatible version [1.1.33] of the APR based Apache Tomcat Native
- Java入门-Java学习路线课程第一课:初识JAVA
- Java入门-Java学习路线课程第二课:变量与数据类型
- Java入门-Java学习路线课程第三课:选择结构
- Java入门-Java学习路线课程第四课:循环结构
- Java入门-Java学习路线课程第五课:一维数组
- Java入门-Java学习路线课程第六课:二维数组
- Java入门-Java学习路线课程第七课:类和对象
- Java入门-Java学习路线课程第八课:方法和方法重载
- Java入门-Java学习路线扩展课程:equals的使用
- Java入门-Java学习路线课程面试篇:取商 / 和取余(模) % 符号的使用
相关文章:
大数据新视界 -- 大数据大厂之 Hive 数据导入:多源数据集成的策略与实战(上)(3/ 30)
💖💖💖亲爱的朋友们,热烈欢迎你们来到 青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的…...
线段树模板
单点修改 #include <bits/stdc.h> using namespace std; #define IOS ios::sync_with_stdio(false),cin.tie(nullptr); #define rep(i, x, y) for(int i(x), _(y);i<_;i) #define rrep(i, x, y) for(int i(x), _(y);i>_;i--) #define all(x) x.begin(),x.end() #d…...
算法刷题Day15: BM37 二叉搜索树的最近公共祖先
题目链接 描述 给定一个二叉搜索树, 找到该树中两个指定节点的最近公共祖先。 1.对于该题的最近的公共祖先定义:对于有根树T的两个节点p、q,最近公共祖先LCA(T,p,q)表示一个节点x,满足x是p和q的祖先且x的深度尽可能大。在这里,一个节点也可以…...
正则表达式去除文本中括号()<>[]里的内容
一行文本中包含有各种括号,如()、<>、[],我们希望把括号及括号内的内容0去除,可以通过正则表达式来实现。 匹配() pattern r\([^)]*\) # 匹配()匹配一个左括号(,然后匹配0个或多个不是右括号的任意字符[^)]*,…...
Environment Modules安装配置
Environment Modules安装配置 Environment Modules是一款用来管理计算机软件环境的软件,通过简单的命令来控制计算机环境变量。本文接受该软件的安装和配置方法 系统: Linux OpenSUSE 15.6 软件版本: modules 5.5 依赖: gcc 7.5…...
constexpr、const和 #define 的比较
constexpr、const 和 #define 的比较 一、定义常量 constexpr 定义:constexpr用于定义在编译期可求值的常量表达式。示例:constexpr int x 5;这里,x的值在编译期就确定为5。 const 定义:const表示变量在运行期间不能被修改&…...
STM32串口接收与发送(关于为什么接收不需要中断而发生需要以及HAL_UART_Transmit和HAL_UART_Transmit_IT的区别)
一、HAL_UART_Transmit和HAL_UART_Transmit_IT的区别 1. HAL_UART_Transmit_IT(非阻塞模式): HAL_UART_Transmit_IT 是非阻塞的传输函数,也就是说,当你调用 HAL_UART_Transmit_IT 时,它不会等到数据完全发…...
如何制作“优美”PPT
目录 1.免费PPT模板网站: 2.免费有较好质量的图片网站: 免费图片资源 免费透明PNG图片资源: 免费icon图片资源: 3.选择好的图片: 图片底色 4.要与不要 千万不要: 一定要: 6.一些建议…...
5G模组AT命令脚本-控制模组进入飞行模式
控制模组进入飞行模式 控制模组进入飞行模式 控制模组进入飞行模式 控制模组进入飞行模式 #!/bin/bash ## 5G模组采用USB3.0与上位机连接,usb接口在上位机上虚拟出多个port,其中一个可用于发送AT命令,控制模组 ## 本脚本控制模组进入飞行模式## flyin …...
计算机网络-Wireshark探索ARP
使用工具 Wiresharkarp: To inspect and clear the cache used by the ARP protocol on your computer.curl(MacOS)ifconfig(MacOS or Linux): to inspect the state of your computer’s network interface.route/netstat: To inspect the routes used by your computer.Brows…...
Vue 2 生命周期函数详解
Vue 2 生命周期函数详解 引言 Vue.js 是一个渐进式的 JavaScript 框架,用于构建用户界面。理解 Vue 的生命周期函数(Lifecycle Hooks)对于开发高效的 Vue 应用至关重要。本文将详细介绍 Vue 2 的生命周期钩子、每个阶段的作用及其代码示例&…...
Vue的路由实现模式:hash模式和history模式
Vue 路由的两种模式: hash 模式: 类似于住在一个大房子里,你的地址很长,但用一个 “门牌号”(# 后面的部分)来标识你住哪间房间。 例如: bash http://example.com/#/home 这就好比 “example.…...
R语言 | 峰峦图 / 山脊图
目的:为展示不同数据分布的差异。 1. ggplot2 实现 # 准备数据 datmtcars[, c("mpg", "cyl")] colnames(dat)c("value", "type") head(dat) # value type #Mazda RX4 21.0 6 #Mazda RX4 Wag …...
Kubernetes(K8s)
头条:参考资料 Kubernetes 入门指南:从基础到实践_kubernetes 从入门到实践-CSDN博客 Kubernetes(k8s)与docker的区别 Docker、Kubernetes之间的区别_docker和kubernetes区别-CSDN博客 Docker部署SpringBoot项目(镜…...
【代码随想录|贪心算法05】
56.合并区间 题目链接56. 合并区间 - 力扣(LeetCode) 这道题思路跟前两道也很像,就是更新把相同的区间合并而已。 class Solution { public: static bool cmp(const vector<int>& a,const vector<int>& b){return a[0…...
QQ聊天室--C++基础项目--QT+Socket网络编程
目录 一、项目概述 二、项目成果 1、QQ基础界面展示: 2、群聊界面展示: 3、聊天功能展示 三、项目代码 1、登录头文件(denglu.h) 2、登录源文件(denglu.cpp) 3、聊天界面头文件(widget.…...
分布式搜索引擎之elasticsearch基本使用2
分布式搜索引擎之elasticsearch基本使用2 在分布式搜索引擎之elasticsearch基本使用1中,我们已经导入了大量数据到elasticsearch中,实现了elasticsearch的数据存储功能。但elasticsearch最擅长的还是搜索和数据分析。 所以j接下来,我们研究下…...
今日商协丨商协会在“双循环”新发展格局中的作用
在当今全球经济环境中,世界格局正在经历深刻变化,中国正在全面构建“双循环”新发展格局,以实现更高质量、更可持续的发展。在这一过程中,商协会发挥着不可或缺的作用。 商协会在国内大循环中扮演促进者的角色,不仅活…...
前端项目安装node-sass
这个依赖比较难装,因为这个依赖需要安装的版本是和node版本绑定的,所以你需要去sass的官网找到对应关系,下面是我的版本信息: node 16.14.2 node-sass:^6.0.1 sass-loader:^10.2.0 "sass": "^1.82.0", 你…...
算法-字符串-678.有效的括号字符串
一、题目 二、思路解析 1.思路: 用leftMin变量来记录存在的“(”, 用leftMax变量记录字符串中最多的“(” 2.常用方法: 无 3.核心逻辑: 1.遍历字符串: a.当前字符为"(",le…...
linux 压缩文件为zip
在 Linux 系统中,可以使用 zip 命令来压缩文件或目录 打开终端(Terminal)。 使用 cd 命令导航到要压缩的文件或目录所在的路径。 运行以下命令来压缩文件或目录: 压缩单个文件: zip output.zip file.txt这里…...
Cisco Packet Tracer | Cisco Packet Tracer - VLAN 实验 - 交换机的 VLAN 划分
关注这个工具的其它相关笔记:Cisco Packet Tracer —— 使用教程合集-CSDN博客 0x01:VLAN 划分 - 单个交换机 0x0101:拓扑搭建流程 从软件底部拖出一台交换机(笔者选择的型号是 2960 IOS15): 然后再拖出四…...
《计算机网络》(408大题)
2009 路由转发和静态路由的计算 子网划分、路由聚合的计算 注:CIDR中的子网号可以全为0或1,但是其主机号不允许。 注: 这里其实是把到互联网的路由当做了一个默认路由(当一个目的网络地址与路由表中其他都不匹配时,…...
二叉树概述
目录 一、二叉树的基本结构 二、二叉树的遍历 1.前序 2.中序 3.后序 4.层序遍历 三.计算二叉树的相关参数 1.计算节点总个数 2.计算叶子节点的个数 3.计算树的高度 4.计算第k层的子树个数 5.查找树中val为x的节点 四.刷题 1.单值二叉树 2.检查两棵树是否相同 3.一…...
qiankun学习记录
什么是微前端 微前端是指存在于浏览器中的微服务,其借鉴了微服务的架构理念,将微服务的概念扩展到了前端。 如果对微服务的概念比较陌生的话,可以简单的理解为微前端就是将一个大型的前端应用拆分成多个模块,每个微前端模块可以…...
【C++ 20进阶(2):初始化 Initializer
【C 20进阶(2):初始化 Initializer】 原文:https://blog.csdn.net/weixin_44259356/article/details/144377955 引言 本篇文章为系列文章将着重介绍C20新特性,一是希望可以和大家交流分享,二是也便于自己…...
vue3学习——事件监听(v-on)
我们可以使用 v-on 指令监听 DOM 事件: <button v-on:click"increment">{{ count }}</button> 因为其经常使用,v-on 也有一个简写语法: <button click"increment">{{ count }}</button> 此处…...
java全栈day13-后端Web实战2
接上述查询部门实现,完成后续要求 一、统一响应结果 1.1步骤 资料如下 对一开始的代码修改如下 结果如下 1.2测试 指定请求方式 结果 小结 二、前后端联调测试 资料如下: (不行,一定要不带空格和不带中文,要不然启动不了试了半天…...
C++/CX,一个智能的 C++/Windows 平台开发库!
以下是一篇关于C/CX的C学习文章: 开篇 嘿,大家好呀!我是一行。今天咱们来一起探索一个超棒的C开发库——C/CX,它可是在Windows平台开发中非常智能且强大的工具哦,能让我们的开发变得更加高效便捷。让我们一起开启今天的…...
分布式 分布式事务 总结
前言 相关系列 《分布式 & 目录》《分布式 & 分布式事务 & 总结》《分布式 & 分布式事务 & 问题》 分布式事务 所谓分布式事务是指操作范围笼罩多个不同节点的事务。例如对于订单节点&库存节点而言,一次完整的交易需要同时调动两个节…...
数据结构(3)单链表的模拟实现
上一节我们进行了数据结构中的顺序表的模拟式现,今天我们来实现一下另外一个数据结构:单链表。 我们在实现顺序表之后一定会引发一些问题和思考: 1.顺序表在头部和中间插入数据会用到循环,时间复杂O(N) …...
HBU深度学习实验14.5-循环神经网络(1.5)
梯度爆炸实验 造成简单循环网络较难建模长程依赖问题的原因有两个:梯度爆炸和梯度消失。一般来讲,循环网络的梯度爆炸问题比较容易解决,一般通过权重衰减或梯度截断可以较好地来避免;对于梯度消失问题,更加有效的方式…...
Redis01
springbootredis 特点 1.高效性 2.支持多种数据结构 String,list,set,hash.zset 3.稳定性:持久化,主从复制(集群) 4.其他特性:支持过期时间,支持事务,消息订阅。 安装 1.下载安装包 redis官…...
数据库中decimal、float 和 double区别
在计算机科学中,decimal、float 和 double 是用于表示和处理数值的不同数据类型。 - decimal 是一种精确的十进制浮点数表示,通常用于需要高精度计算的场景,比如财务应用。它能够精确表示小数,并且不会出现浮点数运算误差。 - flo…...
HDR视频技术之五:HDR生产流程
在介绍 HDR 的生产流程之前,我们先介绍下视频制作与传输的一些基本知识。 内容类型: 直播内容( live content) ——所谓的直播内容即没有后处理过程以及创作者意图。分发给用户的信息是实时产生并且实时制作并派发的。常见的应用…...
CTFshow-爆破(Web21-28)
CTFshow-爆破(Web21-28) Web21 抓包 选则dic.zip里的字典爆破,记得添加前缀admin: 答案admin:shark63 burp里有一个自定义迭代器,可以设置前几部分,很好用 Web22 题目失效了直接看wp吧 360quake 使用空间搜索引擎—>360quake 搜索语法…...
C++重点和练习
作业题目: #include <iostream> using namespace std; class Rec {const int length;int width; public:void set_length(int l);void set_width(int w);int get_length();int get_width();void show(); };#include <iostream> using namespace std; c…...
UnityShaderLab-实现溶解效果
实现思路: 使用一张噪声图,与一个Cut值计算(加或减),将计算后的值赋值给Alpha,然后小于0的片段就被丢弃掉了。 ShaderGraph实现: ShaderLab实现: Shader "Dissolve" {Properties{_…...
SQLite 数据库学习
1.install sudo apt update sudo apt install sqlitebrowser这是一个开源的图形用户界面工具,专门用于开发、管理和分析 SQLite 数据库。它支持创建或导入导出表、编辑数据、执行 SQL 查询等功能。 2.python 操作数据库 Python 内置了 sqlite3 模块,使…...
【LeetCode: 463. 岛屿的周长 + bfs】
🚀 算法题 🚀 🌲 算法刷题专栏 | 面试必备算法 | 面试高频算法 🍀 🌲 越难的东西,越要努力坚持,因为它具有很高的价值,算法就是这样✨ 🌲 作者简介:硕风和炜,…...
Bean的注入、单例和多例
目录 注入Bean对象 属性注入 构造注入 属性注入专题 注入集合/数组 级联简单类型赋值 Bean的单例和多例 注入Bean对象 简单类型使用value(除Date),非简单类型使用ref 属性注入 name规则:必须提供set方法,去掉set,第一个字…...
java 使用JSqlParser和CCJSqlParser 解析sql
maven <dependency><groupId>com.github.jsqlparser</groupId><artifactId>jsqlparser</artifactId><version>4.9</version> </dependency>解析SQL String sql "select aa,bb from b"; Statement statementCCJSq…...
Anaconda Conda Pip 的区别与联系
在Python生态中,Anaconda、Conda和Pip是三个非常重要的工具,它们在包管理和环境管理方面发挥着关键作用。 Anaconda Anaconda是一个为科学计算而设计的Python发行版,它集成了Conda、Python以及大量的数据科学相关库,如NumPy、Pandas等。Anaconda的主要优势在于它提供了一个…...
总结的一些MySql面试题
目录 一:基础篇 二:索引原理和SQL优化 三:事务原理 四:缓存策略 一:基础篇 1:定义:按照数据结构来组织、存储和管理数据的仓库;是一个长期存储在计算机内的、有组织的、可共享 的…...
【实验15】LSTM的记忆能力实验
目录 1 模型构建 1.1 LSTM层 1.1.1 自定义LSTM算子 1.1.2 nn.LSTM 1.1.3 将自定义LSTM与pytorch内置的LSTM进行对比 1.2 模型汇总 2 模型训练 2.1 训练指定长度的数字预测模型 2.2 多组训练 2.3 损失函数展示 3 模型评价 4 完整代码 5 LSTM模型门状态和单元状态的…...
SSH克隆github项目
1、生成密钥 ssh-keygen -t rsa -C "你的邮箱xxx.com" 全程回车即可(不用输入ras文件名及密码)、为了方便下面的公钥查看 2、配置公钥 查看公钥内容 cat c:\Users\xxx\.ssh\id_rsa.pub(修改为自己的路径及名字) 将公钥内容复制并粘贴至…...
计算机网络ENSP课设--三层架构企业网络
本课程设计搭建一个小型互联网,并模拟Internet的典型Web服务过程。通过此次课程设计,可以进一步理解Internet的工作原理和协议过程,并提高综合知识的运用能力和分析能力。具体目标包括: (1)掌握网络拓扑的…...
Node.js系统模块
【图书介绍】《Node.jsMongoDBVue.js全栈开发实战》-CSDN博客 《Node.jsMongoDBVue.js全栈开发实战(Web前端技术丛书)》(邹琼俊)【摘要 书评 试读】- 京东图书 (jd.com) 2.2.1 什么是系统模块 由于Node.js运行环境提供的API都是以模块化的方式进行开…...
React - useActionState、useFormStatus与表单处理
参考文档:react18.3.1官方文档 一些概念: React 的 Canary 和 Experimental 频道是 React 团队用于发布和测试新功能的渠道。 useActionState useActionState 是一个可以根据某个表单动作的结果更新 state 的 Hook。 const [state, formAction, isPe…...
GC常见垃圾回收算法,JVM分代模型
如何判断是垃圾?引用计数器和Root可达性算法 如何进行清除?标记清除、复制、标记整理 堆分代模型?Eden,Surevivor,Tenuring 一个对象从创建到消亡的过程? 对象什么时候进入老年代? 一、GC&a…...