当前位置：首页 > news >正文

【语言处理和机器学习】概述篇（基础小白入门篇）

news 来源：原创 2025/6/7 4:21:21

前言

自学笔记，分享给语言学/语言教育学方向的，但对语言数据处理感兴趣但是尚未入门，却需要在论文中用到的小伙伴，欢迎大佬们补充或绕道。ps：本文不涉及公式讲解（文科生小白友好体质）～（部分讲解会参考知乎等平台）

本文重点：语言学数据处理框架下的，机器学习方法的整体概述。

【1.机器学习是做什么的？】

【2.机器学习有哪些分类？】

【3.每种分类具体对应哪些方法？】

一.机器学习是做什么的？

机器学习使计算机可以从语言数据中学习人类语言的规律，在理解、生成、分析等方面逼近人类水平。机器学习的核心是让机器通过学习数据，自动提取知识，进行预测和决策。

结合简单语言学处理实例介绍简单机器学习的主要处理逻辑：

实例：以【新闻文本体裁分类】为例,希望训练一个模型,能够自动将新闻文章分为体育、娱乐、财经、科技等不同的类别。

基本步骤	定义	语言学数据实例
---------------------------------------------------基础步骤（必须有！）----------------------------------------------------------
1.数据准备	收集和预处理用于训练和测试的数据。这一步至关重要,数据质量直接影响模型性能。	收集大量不同体裁的新闻文章对文章进行分词等语言指标抽出，例如：平均句长，动词使用率等（自变量）标注每篇文章的体裁类别（响应变量）
2.划分数据集	将数据分为训练集、验证集和测试集。训练集用于训练模型,验证集用于调参和选择模型,测试集用于评估模型的泛化能力。	将标注好的新闻文章数据随机划分为训练集和测试集训练集用于训练分类模型,测试集用于评估模型效果
3.模型选择与训练	根据任务和数据的特点,选择合适的机器学习算法(如决策树、神经网络等),并使用训练集对模型进行训练,让模型学习数据中的模式。	选择合适的分类算法,如朴素贝叶斯、支持向量机等用训练集训练分类模型,让模型学习不同体裁的文本特征
4.性能评估	使用验证集评估模型性能,通过交叉验证等方法选择最优模型和超参数。再用测试集评估模型的泛化性能。	用测试集评估模型在各个体裁上的分类准确率选择整体分类效果最好的模型
--------------------------------------------------------附加步骤（有更好！）-------------------------------------------------------
5.模型优化	分析模型错误,进行优化,如增加训练数据、调整模型结构、引入正则化等。性能评估和优化往复进行,不断提升模型。	分析模型分错的文章,总结规律优化措施:如增加训练数据、调整模型参数、尝试其他算法等多次迭代,不断提升分类效果
6.模型应用	将训练好的模型部署到实际的应用场景中,对新数据进行预测。	将训练好的新闻体裁分类模型集成到新闻推荐系统中对新来的文章自动预测其体裁,再推荐给对应兴趣的用户
7.反馈优化	收集实际应用中的新数据和反馈,优化模型,形成迭代闭环。	收集用户反馈,分析体裁分类错误对推荐效果的影响持续迭代优化分类模型,提高整个系统的用户体验

二.机器学习有哪些分类？

1.有监督学习（教師あり学習）

训练数据中包含了输入及其对应的预期正确输出(标签)
目标是学习输入到输出的映射函数,用于预测新数据的输出
广泛应用于分类和回归任务,如文本分类、图像识别等

语言学处理实例：

词性标注:以词性标注的语料库为训练集,学习词性分类模型,自动标注新文本
语法纠错:以正确和错误的句子对为训练数据,学习语法纠错模型,自动检查和修正语法错误
语音识别:以语音-文本对为训练数据,学习语音转录模型,实现语音到文本的自动转换
阅读理解:以文本-问题-答案三元组为训练数据,学习阅读理解模型,自动回答文本内容的问题

2.无监督学习（教師なし学習）

训练数据没有标签,只有输入本身
目标是发现数据内在的结构和模式,如聚类、关联、降维
常用于数据压缩、异常检测、推荐系统等

语言学处理实例：

词聚类:无监督地将语料库中的词汇按语义聚成不同的类,发现词汇的语义关系
话题发现:从大量文本语料中无监督地提取隐含的主题,理解语料的话题结构
字词表示学习:从海量语料中自主学习词嵌入表示,刻画词汇的语义特征,用于各种下游NLP任务
语言结构发现:从未标注的语料中自主学习短语结构、句法结构等,发现语言的结构规律

3.强化学习（強化学習）

通过智能体(Agent)与环境的交互来学习最优策略
没有直接的监督标签,而是根据行为获得的奖励或惩罚来优化
适用于序贯决策问题,如游戏、机器人控制、自动化运营等

语言学处理实例：

对话生成:通过强化学习训练对话系统,根据人类反馈优化对话策略,生成更自然、贴切的回复
语言游戏:设计益智的语言交互游戏,通过强化学习训练游戏AI,提供智能的游戏陪练,供学习者练习
写作评分:将自动作文评分系统建模为强化学习过程,通过学生反馈和专家打分等奖励信号,持续优化评分策略
教育个性化:将个性化教学决策建模为强化学习问题,通过学生学习过程数据及反馈,自适应优化个性化教学策略

总的来说,有监督学习需要人工标注数据,学习明确的目标;而无监督学习让算法自主探索数据的内在规律。而强化学习通过主动探索和试错来优化系统行为,以获得最大化的累积奖励。

三.每种机器学习所对应的具体方法

（了解！之后推文会详细介绍）

分类	常用方法
有监督学习	- 线性回归 (Linear Regression) -逻辑回归 (Logistic Regression) - 决策树 (Decision Tree) - 随机森林 (Random Forest) 支持向量机 (Support Vector Machine, SVM) - K近邻 (K-Nearest Neighbors, KNN) - 朴素贝叶斯 (Naive Bayes)
无监督学习	- K均值聚类 (K-Means Clustering) - 层次聚类 (Hierarchical Clustering) - 高斯混合模型 (Gaussian Mixture Model, GMM) - 主成分分析 (Principal Component Analysis, PCA) - 潜在语义分析 (Latent Semantic Analysis, LSA)
强化学习	- Q学习 (Q-Learning) - SARSA学习 (State-Action-Reward-State-Action) - 蒙特卡洛方法 (Monte Carlo Methods) - 时序差分学习 (Temporal Difference Learning)

【语言处理和机器学习】概述篇（基础小白入门篇）

前言自学笔记，分享给语言学/语言教育学方向的，但对语言数据处理感兴趣但是尚未入门，却需要在论文中用到的小伙伴，欢迎大佬们补充或绕道。ps：本文不涉及公式讲解（文科生小白友好体质）&#xff…...

编程日记 2025/6/3 5:38:37

脚本工具：PYTHON

Python 是一种高级编程语言，以其简洁清晰的语法和强大的功能被广泛应用于各种领域，包括自动化脚本编写、数据分析、机器学习、Web开发等。以下是一些关于使用 Python 编写脚本工具的基本介绍、常用库以及一些实用技巧总结。这里写目录标题基础知识安装…...

编程日记 2025/6/3 22:28:11

一文讲解Redis常见使用方式

1. 单机模式部署适用场景： • 开发和测试环境，或者对高可用性要求不高的小型项目。部署步骤： 1. 拉取 Redis 镜像： docker pull redis:latest 2. 运行 Redis 容器： docker run -d --name redis-single -p 637…...

编程日记 2025/6/3 16:46:31

Gin 源码概览 - 路由

本文基于gin 1.1 源码解读 https://github.com/gin-gonic/gin/archive/refs/tags/v1.1.zip 1. 注册路由我们先来看一段gin代码，来看看最终得到的一颗路由树长啥样 func TestGinDocExp(t *testing.T) {engine : gin.Default()engine.GET("/api/user", f…...

编程日记 2025/6/3 22:29:51

【计算机网络】传输层协议TCP与UDP

传输层传输层位于OSI七层网络模型的第四层，主要负责端到端通信，可靠性保障（TCP），流量控制(TCP)，拥塞控制(TCP)，数据分段与分组，多路复用与解复用等，通过TCP与UDP协议实现…...

编程日记 2025/6/3 23:07:02

iOS UIScrollView的一个特性

1如果UIScrollView 的contentSize.height > scrollView.bounds.size.height - scrollView.contentInset.top - scrollView.contentInset.bottom ， 则scrollView就可以滚动，否则无法滚动并且最大的滚动范围就是 contentSize.height - （ s…...

编程日记 2025/6/3 22:28:44

Docker 实现MySQL 主从复制

一、拉取镜像 docker pull mysql:5.7相关命令： 查看镜像：docker images 二、启动镜像启动mysql01、02容器： docker run -d -p 3310:3306 -v /root/mysql/node-1/config:/etc/mysql/ -v /root/mysql/node-1/data:/var/lib/mysql -e MYS…...

编程日记 2025/6/3 22:29:16

python爬虫入门（实践）

python爬虫入门（实践） 一、对目标网站进行分析二、博客爬取获取博客所有h2标题的路由确定目标，查看源码代码实现 """ 获取博客所有h2标题的路由 """url "http://www.crazyant.net"import re…...

编程日记 2025/6/3 16:06:16

通过Ukey或者OTP动态口令实现windows安全登录

通过安当SLA（System Login Agent）实现Windows安全登录认证，是一种基于双因素认证（2FA）的解决方案，旨在提升 Windows 系统的登录安全性。以下是详细的实现方法和步骤： 1. 安当SLA的核心功能安…...

编程日记 2025/6/3 16:45:45

C 语言雏启：擘画代码乾坤，谛观编程奥宇之初瞰

大家好啊，我是小象٩(๑ω๑)۶ 我的博客：Xiao Xiangζั͡ޓއއ 很高兴见到大家，希望能够和大家一起交流学习，共同进步。* 这一课主要是让大家初步了解C语言，了解我们的开发环境，main函数，库…...

编程日记 2025/6/3 22:29:33

【Linux系统编程】—— 进程替换及其在操作系统中的应用与实现

文章目录什么是进程替换？进程替换当中的接口单进程替换多进程的替换详解exec接口execlexeclpexecv 前言： 本篇博客将深入探讨进程替换的概念及其在操作系统中的作用。我们将介绍进程替换的基本原理，探讨操作系统如何通过进程的切换来实现任务…...

编程日记 2025/6/4 10:48:04

“裸奔”时代下该如何保护网络隐私

网络隐私的保护之道引言在这个信息爆炸的时代，网络已经深入到我们生活的每一个角落。你是否曾想过，在享受这些便利时，你的个人隐私正面临着严峻的挑战？网络隐私的现状警示着我们，信息泄露的事件屡见不鲜&#xff0…...

编程日记 2025/6/2 18:23:38

分类问题(二元,多元逻辑回归,费歇尔判别分析)spss实操

分类模型： 二分类和多分类： 对于二分类模型 ，我们将介绍逻辑回归和Fisher线性判别分析两种分类算法; 对于多分类模型，我们将简单介绍Spss中的多分类线性判别分析和多分类逻辑回归的操作步骤二分类: 基于广义线性模型&#x…...

编程日记 2025/6/3 10:26:20

Spring 核心技术解析【纯干货版】- IV：Spring 切面编程模块 Spring-Aop 模块精讲

随着软件开发技术的不断进步，面向切面编程（AOP）作为一种重要的编程思想，已经在现代开发中占据了重要地位。它通过将横切逻辑从业务逻辑中分离出来，使得代码更加清晰、易于维护。Spring AOP 作为 Spring 框架的核心模块…...

编程日记 2025/5/31 6:39:57

STM32之FreeRTOS开发介绍（十九）

STM32F407 系列文章 - freertos（十九） 目录前言一、简述二、开源网址三、原理及功能特性 1.原理简介 2.功能介绍 1.任务调度 2.任务管理 3.中断管理 4.消息队列 3.特点说明 4.优缺点四、参考书籍五、实现方式总结前言 FreeRTOS是…...

编程日记 2025/6/3 21:41:28

2024年美赛C题评委文章及O奖论文解读 | AI工具如何影响数学建模？从评委和O奖论文出发-O奖论文做对了什么？

模型假设仅仅是简单陈述吗？允许AI的使用是否降低了比赛难度？还在依赖机器学习的模型吗？处理题目的方法有哪些？O奖论文的优点在哪里？ 本文调研了当年赛题的评委文章和O奖论文，这些问题都会在文章中一一解答…...

编程日记 2025/6/1 18:19:26

第14篇：从入门到精通：掌握python上下文管理器

第14篇：上下文管理器内容简介本篇文章将深入探讨Python中的上下文管理器（Context Manager）。您将了解上下文管理器的概念与用途，学习如何实现自定义的上下文管理器，以及如何使用contextlib模块来简化上下文管理器的…...

编程日记 2025/6/3 5:11:13

cuda从零开始手搓PB神经网络

cuda实现PB神经网络基于上一篇的矩阵点乘，实现了矩阵的加减乘除、函数调用等。并且复用之前元编程里面写的梯度下降、Adam、NAdam优化方法。实现PB神经网络如下： #ifndef __BP_NETWORK_HPP__ #define __BP_NETWORK_HPP__ #include "matrix.hpp&quo…...

编程日记 2025/6/3 10:36:17

Java 大视界 -- Java 大数据物联网应用：数据处理与设备管理（八）

💖💖💖亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的…...

编程日记 2025/6/2 21:33:51

大模型之三十三- 开源Melo 语音合成

大模型之三十三- 开源Melo 语音合成文本到语音（TTS）系统从基于基础音素的模型演变成复杂的端到端神经方法，这种方法可以直接将文本转换为语音。这一变革得益于深度学习的进步和计算能力的提升，已经在语音的自然度、韵律控制和跨语言能力方面取得了重大进展。现代TTS系统…...

编程日记 2025/6/3 16:49:20

全同态加密理论、生态现状与未来展望（上）

《全同态加密理论、生态现状与未来展望》系列由lynndell2010gmail.com和mutourend2010gmail.com整理原创发布，分为上中下三个系列： 全同态加密理论、生态现状与未来展望（上）：专注于介绍全同态加密理论知识。全同态加密…...

编程日记 2025/6/3 16:49:03

cursor重构谷粒商城02——30分钟构建图书管理系统【cursor使用教程番外篇】

前言：这个系列将使用最前沿的cursor作为辅助编程工具，来快速开发一些基础的编程项目。目的是为了在真实项目中，帮助初级程序员快速进阶，以最快的速度，效率，快速进阶到中高阶程序员。本项目将基于谷粒商城…...

编程日记 2025/6/3 16:51:14

提升大语言模型的三大策略

1.概述随着大语言模型（LLMs）在技术和应用上的不断发展，它们已经深刻地改变了我们与计算机的互动方式。从文本生成到语言理解，LLMs的应用几乎涵盖了各个行业。然而，尽管这些模型已展现出令人印象深刻的能力&#xff0c…...

编程日记 2025/6/3 16:30:49

Ubuntu 24.04 LTS 安装 Docker Desktop

Docker 简介 Docker 简介和安装Ubuntu上学习使用Docker的详细入门教程Docker 快速入门Ubuntu版（1h速通） Docker 安装参考 How to Install Docker on Ubuntu 24.04: Step-by-Step Guide。更新系统和安装依赖在终端中运行以下命令以确保系统更新并…...

编程日记 2025/6/3 15:56:53

mysql查看binlog日志

mysql 配置、查看binlog日志： 示例为MySQL8.0 1、检查binlog开启状态 SHOW VARIABLES LIKE ‘log_bin’; 如果未开启，修改配置my.ini 开启日志安装目录配置my.ini(mysql8在data目录) log-binmysql-bin（开启日志并指定日志前缀&#xff…...

编程日记 2025/6/3 16:49:35

2. Flink分区策略

一. Flink分区策略概述 Flink任务在执行过程中，一个流(stream)包含一个或多个分区(Stream partition)，TaskManager中的一个slot的SubTask就是一个stream partition(流分区)。 Flink分区之间进行数据传递模式有两种。 1. one-to-one模式数据不需要重新…...

编程日记 2025/6/3 16:50:10

Qt 5.14.2 学习记录 —— 십칠 窗口和菜单

文章目录 1、Qt窗口2、菜单栏设置快捷键添加子菜单添加分割线和菜单图标 3、工具栏 QToolBar4、状态栏 QStatusBar5、浮动窗口 QDockWidget 1、Qt窗口 QWidget，即控件，是窗口的一部分。在界面中创建控件组成界面时，Qt自动生成了窗口&#xf…...

编程日记 2025/6/3 16:50:42

微信小程序中实现背景图片完全覆盖显示，可以通过设置CSS样式来实现

wxml页面代码 <view class"beijing"></view>wxss样式代码 /* pages/beiJing/beiJing.wxss */ .beijing {background-image: url("https://www.qipa250.com/qipa.jpg");/* 定位：绝对定位 */position: absolute;/* 上下左右都定位到…...

编程日记 2025/6/3 16:49:54

亲测有效！如何快速实现 PostgreSQL 数据迁移到时序数据库TDengine

小T导读：本篇文章是“2024，我想和 TDengine 谈谈”征文活动的优秀投稿之一，作者从数据库运维的角度出发，分享了利用 TDengine Cloud 提供的迁移工具，从 PostgreSQL 数据库到 TDengine 进行数据迁移的完整实践过程。文章…...

编程日记 2025/6/2 21:31:54

中国综合算力指数（2024年）报告汇总PDF洞察（附原数据表）

原文链接： https://tecdat.cn/?p39061 在全球算力因数字化技术发展而竞争加剧，我国积极推进算力发展并将综合算力作为数字经济核心驱动力的背景下，该报告对我国综合算力进行研究。中国算力大会发布的《中国综合算力指数（2024年…...

编程日记 2025/6/3 5:01:32

51c~ONNX~合集1

我自己的原文哦~ https://blog.51cto.com/whaosoft/11608027 一、使用Pytorch进行简单的自定义图像分类 ~ONNX 推理图像分类是计算机视觉中的一项基本任务，涉及训练模型将图像分类为预定义类别。本文中，我们将探讨如何使用 PyTorch 构建一个简单的自定…...

编程日记 2025/6/3 16:39:26

线下陪玩系统架构与功能分析

2015工作至今，10年资深全栈工程师，CTO，擅长带团队、攻克各种技术难题、研发各类软件产品，我的代码态度：代码虐我千百遍，我待代码如初恋，我的工作态度：极致，责任&#xff…...

编程日记 2025/6/3 16:41:36

海康工业相机的应用部署不是简简单单！？

作者：SkyXZ CSDN：SkyXZ～-CSDN博客博客园：SkyXZ - 博客园笔者使用的设备及环境：WSL2-Ubuntu22.04MV-CS016-10UC 不会吧？不会吧？不会还有人拿到海康工业相机还是一脸懵叭？不会还有人…...

编程日记 2025/6/3 16:40:47

SAP POC 项目完工进度 - 收入确认方式【工程制造行业】【新准则下工程项目收入确认】

1. SAP POC收入确认基础概念 1.1 定义与原则 SAP POC（Percentage of Completion）收入确认方式是一种基于项目完工进度来确认收入的方法。其核心原则是根据项目实际完成的工作量或成本投入占预计总工作量或总成本的比例，来确定当期应确认的收…...

编程日记 2025/6/3 16:41:20

【Elasticsearch 】聚合分析：聚合概述

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编…...

编程日记 2025/6/3 16:39:58

【算法】二分

二分 1.二分查找1.在排序数组中查找元素的第一个和最后一个位置2.牛可乐和魔法封印3.A-B 数对4.烦恼的高考志愿 2.二分答案1.木材加工2.砍树3.跳石头 1.二分查找当我们的解具有二段性（根据最终答案所在的位置判断是否具有二段性）时，就可以使…...

编程日记 2025/6/3 13:20:53

如何将自己本地项目开源到github上？

环境： LLMB项目问题描述： 如何将自己本地项目开源到github上？ 解决方案： 步骤 1: 准备本地项目确保项目整洁确认所有的文件都在合适的位置，并且项目的 README.md 文件已经完善。检查是否有敏感信息&#xff0…...

编程日记 2025/6/3 16:40:14

编辑器Vim基本模式和指令 --【Linux基础开发工具】

文章目录一、编辑器Vim 键盘布局二、Linux编辑器-vim使用三、vim的基本概念正常/普通/命令模式(Normal mode)插入模式(Insert mode)末行模式(last line mode) 四、vim的基本操作五、vim正常模式命令集插入模式从插入模式切换为命令模式移动光标删除文字复制替换撤销上一次操作…...

编程日记 2025/6/3 16:40:30

Scade 表达式 - 使用索引的迭代器

Scade 表达式中的 map, fold, mapfold，会对输入数组参数中的元素逐个作处理，不需要数组元素的索引信息。若在处理数组元素时，需要数组元素相应的索引信息，则可使用迭代器算子 mapi, foldi, mapfoldi。 mapi 算子 mapi 算子的行为…...

编程日记 2025/6/3 16:01:18

K8s学习

Kubernetes 1. Kubernetes介绍 1.1 应用部署方式演变在部署应用程序的方式上，主要经历了三个时代： 传统部署：互联网早期，会直接将应用程序部署在物理机上优点：简单，不需要其它技术的参与缺点&#xf…...

编程日记 2025/6/4 6:37:53

面试--你的数据库中密码是如何存储的？

文章目录三种分类使用 MD5 加密存储加盐存储Base64 编码:常见的对称加密算法常见的非对称加密算法https 传输加密在开发中需要存储用户的密码，这个密码一定是加密存储的，如果是明文存储那么如果数据库被攻击了，密码就泄露了。我们要对数据…...

编程日记 2025/6/3 16:12:26

微服务学习-快速搭建

1. 速通版 1.1. git clone 拉取项目代码，导入 idea 中 git clone icoolkj-microservices-code: 致力于搭建微服务架构平台 1.2. git checkout v1.0.1版本链接地址：icoolkj-microservices-code 标签 - Gitee.com 2. 项目服务结构 3. 实现重点步骤 …...

编程日记 2025/6/4 6:38:57

【云岚到家】-day03-门户缓存实现实战

【云岚到家】-day03-门户缓存实现实战 1.定时任务更新缓存 1.1 搭建XXL-JOB环境 1.1.1 分布式调度平台XXL-JOB介绍对于开通区域列表的缓存数据需要由定时任务每天凌晨更新缓存，如何实现定时任务呢？ 1.使用jdk提供的Timer定时器示例代码如下&#xf…...

编程日记 2025/6/4 16:30:11

Ubuntu 24.04 LTS 开启 SMB 服务，并通过 windows 访问

Ubuntu 24.04 LTS 背景资料 Ubuntu服务器折腾集Ubuntu linux 文件权限Ubuntu 空闲硬盘挂载到文件管理器的 other locations Ubuntu开启samba和window共享文件 Ubuntu 配置 SMB 服务安装 Samba 确保 Samba 已安装。如果未安装，运行以下命令进行安装&#xff…...

编程日记 2025/6/4 4:15:16

“AI人工智能内容辅助创作平台：让创意不再“卡壳”

在如今这个信息爆炸的时代，内容创作成了每个人的“必修课”。无论是自媒体大V、文案策划，还是普通学生写作文，大家都会遇到一个让人抓狂的问题——“创意枯竭”。有时候，脑袋里空空如也，一个字都写不出来，那…...

编程日记 2025/6/3 4:56:24

brew versions node // 安装 node brew versions node14 // 安装指定版本卸载node: sudo npm uninstall npm -g sudo rm -rf /usr/local/lib/node /usr/local/lib/node_modules /var/db/receipts/org.nodejs.* sudo rm -rf /usr/local/include/node /Users/$USER/.npm su…...

编程日记 2025/6/4 6:38:09