当前位置：首页 > news >正文

python 词法分析

news 来源：原创 2025/5/10 15:59:13

词法分析（Lexical Analysis）是编译器的第一步，它的任务是将源代码文本分割成一系列有意义的单元（称为“词法单元”或“Token”）。这些词法单元通常包括关键字、标识符、常量、运算符、分隔符等。

import re# 定义词法单元类型
keywords = {'if', 'else', 'while'}
operators = {'+', '-', '*', '/'}
delimiters = {';', '(', ')', '{', '}', ','}# 定义正则表达式模式
token_specification = [('KEYWORD', r'\b(?:if|else|while)\b'),  # 关键字('IDENTIFIER', r'[A-Za-z_][A-Za-z0-9_]*'),  # 标识符('NUMBER', r'\b\d+\b'),  # 数字('OPERATOR', r'[+\-*/]'),  # 运算符('DELIMITER', r'[;(){}]'),  # 分隔符('SKIP', r'[ \t\n]+'),  # 空白字符('MISMATCH', r'.'),  # 无法匹配的字符
]# 合并正则表达式模式
tok_regex = '|'.join(f'(?P<{pair[0]}>{pair[1]})' for pair in token_specification)# 词法分析函数
def lex(characters):line_num = 1line_start = 0for mo in re.finditer(tok_regex, characters):kind = mo.lastgroupvalue = mo.group()if kind == 'SKIP':continueelif kind == 'MISMATCH':raise RuntimeError(f'Unexpected character {value!r} at line {line_num}')elif kind == 'KEYWORD':yield (kind, value)elif kind == 'IDENTIFIER':yield (kind, value)elif kind == 'NUMBER':yield (kind, value)elif kind == 'OPERATOR':yield (kind, value)elif kind == 'DELIMITER':yield (kind, value)# 测试源代码
source_code = '''
if (x + 10) {y = x * 2;
} else {y = 0;
}
'''# 执行词法分析
for token in lex(source_code):print(token)

python 词法分析

词法分析（Lexical Analysis）是编译器的第一步，它的任务是将源代码文本分割成一系列有意义的单元（称为“词法单元”或“Token”）。这些词法单元通常包括关键字、标识符、常量、运算符、分隔符等。 import re# 定义词法单…...

编程日记 2025/5/10 15:59:13

JUC--CAS原理（以Atomic报下类的实现来了解CAS的原理）

以Atomic来了解CAS的原理六、无锁6.1CAS（Compare-And-Swap）原理6.2CAS与synchronized6.3Atomic（原子类）原理分析 6.4ABA问题6.4unsafe 六、无锁 6.1CAS（Compare-And-Swap）原理 CAS原理：CAS是…...

编程日记 2025/5/10 14:30:54

对比显式启用-u_printf_float和-u_scanf_float前后的代码内存体量实验

本文的嵌入式编译器基于GCC for ARM，构建文件基于Makefile。 main.c不编写任何代码，保证实验的其他变量统一。源文件main.c： 优化等级固定为 -Og ： syscalls.c 系统调用库函数文件参考：基于GCC for ARM交叉编译工具链…...

编程日记 2025/5/10 1:20:53

嵌入式 Linux LED 驱动开发实验

一、Linux 下 LED 灯驱动原理 a）地址映射在编写驱动之前，我们需要先简单了解一下 MMU 这个神器， MMU 全称叫做 Memory Manage Unit，也就是内存管理单元。在老版本的 Linux 中要求处理器必须有 MMU，但是现在 Linux 内核已经支持无 MMU 的处理器了。 MMU 主要完成的功能如…...

编程日记 2025/5/3 1:02:04

qml PathView详解

1、概述 PathView 是 Qt Quick 中一个非常强大的视图组件，它基于一个 Path 来展示视图项（如 Item、Rectangle 等）。PathView 可以让你按照定义的路径动态地显示多个元素，并且支持动画、滑动等功能。这个视图控件的最大特点是能够…...

编程日记 2025/5/9 7:20:39

Spring源码分析之事件机制——观察者模式（一）

目录事件基类定义事件监听器接口事件发布者接口及实现事件广播器实现小小总结 Spring源码分析之事件机制——观察者模式（一）-CSDN博客 Spring源码分析之事件机制——观察者模式（二）-CSDN博客 Spring源码分析之事件机制…...

编程日记 2025/5/10 15:56:02

安卓14无法安装应用解决历程

客户手机基本情况： 安卓14，对应的 targetSdkVersion 34 前天遇到了安卓14适配问题，客户发来的截图是这样的描述：无法安装我们公司的B应用。型号：三星google美版解决步骤： 1、寻找其他安卓14手机测试…...

编程日记 2025/5/10 14:42:20

BGP（Border Gateway Protocol）路由收集器

全球 BGP（边界网关协议）路由收集器的分布情况以及相关数据。以下是主要的信息解读： 地图标记： 每个绿色点代表一个路由收集器的位置。路由收集器分布在全球不同的地区，覆盖了五大区域： ARIN（美…...

编程日记 2025/5/6 21:56:45

Vue.js与其他框架有哪些兼容性？

Vue.js的兼容性主要体现在几个方面，包括浏览器支持、运行环境适应性、与其他库和框架的集成能力等。以下是更详细的解释： 浏览器兼容性现代浏览器：Vue.js广泛支持所有主流的现代浏览器，如Google Chrome, Firefox, Safari, Edge…...

编程日记 2025/5/9 10:23:37

深度解析与实践：HTTP 协议

一、引言 HTTP（HyperText Transfer Protocol，超文本传输协议）是 Web 应用程序、API、微服务以及几乎所有互联网通信的核心协议。虽然它是我们日常使用的基础技术，但要深刻理解其高效使用、优化以及如何避免性能瓶颈，我…...

编程日记 2025/5/10 14:36:51

MyBatis 配置文件全解析

一、MyBatis 配置文件为何至关重要？ 在 Java 后端开发领域，MyBatis 作为一款广受欢迎的持久层框架，极大地简化了数据库操作。而 MyBatis 配置文件，恰似整个框架的 “神经中枢”，掌控着其运行的方方面面，对…...

编程日记 2025/5/10 15:12:28

redis Redis内存缓存过期机制

起因：随着项目的进一步推广，数据量的增大，直接访问mysql数据库获取数据所使用的时间越来越长，为解决当前主要矛盾，决定引入redis非关系型数据库作为缓存层，使得数据并不能直接命中数据库，减少访…...

编程日记 2025/5/10 15:50:33

游戏关卡设计的常用模式

游戏关卡分为很多种，但常用的有固定套路，分为若干种类型。关卡是主角与怪物、敌方战斗的场所，包括装饰物、通道。单人游戏的关卡较小，偏线性； 联机/MMO的关卡较大，通道多，自由度高&#xf…...

编程日记 2025/5/9 10:54:19

计算机网络常见面试题及解答

以下是计算机网络中常见的面试题及解答，按主题分类： --- ## **一、基础概念** ### **1. OSI 七层模型和 TCP/IP 模型的区别是什么？** **答：** - **OSI 七层模型：** - 应用层、表示层、会话层、传输层、网络层、数…...

编程日记 2025/5/10 14:54:48

SUB输入5V升压充电16.8V芯片HU5912

HU5912芯片，作为航誉微电子有限公司推出的一款高性能升压充电管理IC，自其面世以来，便以其出色的性能和广泛的应用领域，受到了业界的高度关注和赞誉。本文将详细介绍HU5912芯片的技术特点、应用优势、市场定位以及其在各类电子设备…...

编程日记 2025/5/10 5:56:18

基于Informer网络实现电力负荷时序预测——cross validation交叉验证与Hyperopt超参数调优

前言系列专栏:【深度学习：算法项目实战】✨︎ 涉及医疗健康、财经金融、商业零售、食品饮料、运动健身、交通运输、环境科学、社交媒体以及文本和图像处理等诸多领域，讨论了各种复杂的深度神经网络思想，如卷积神经网络、循环神经网络、生成对…...

编程日记 2025/5/10 14:35:37

linux ubantu重启桌面

在 Ubuntu 系统中，重启桌面环境通常有几种方法，具体取决于你所使用的桌面环境（如 GNOME、KDE 等）。下面是几种常用的重启桌面的方法： 重启 GNOME 桌面环境如果你使用的是 GNOME 桌面环境（Ubuntu 默认桌面…...

编程日记 2025/5/10 15:01:03

C++Primer const限定符

欢迎阅读我的【CPrimer】专栏专栏简介：本专栏主要面向C初学者，解释C的一些基本概念和基础语言特性，涉及C标准库的用法，面向对象特性，泛型特性高级用法。通过使用标准库中定义的抽象设施，使你更加适应高级…...

编程日记 2025/5/10 14:51:38

【机器学习】机器学习的基本分类-自监督学习（Self-supervised Learning）

自监督学习是一种机器学习方法，介于监督学习和无监督学习之间。它通过数据本身生成标签，创建训练任务，从而学习数据的表征，而不需要人工标注的标签。这种方法在减少标注数据依赖、提高模型通用性等方面具有重要意义。自监督学习的…...

编程日记 2025/5/10 15:59:13

python基础案例

#一个年份如果能被4整除但不能被 100整除，或能被 400整除，那么这个年份就是闰年。 year int(input(请输入年份：)) if (year %40 and year %100!0) or year %4000:print("这个年份就是闰年") else:print("这个年份不是闰…...

编程日记 2025/5/10 15:43:36

ARP（地址解析协议）攻击；TCP SYN Flood（SYN洪流）攻击

ARP（地址解析协议）攻击是一种网络攻击类型，攻击者利用ARP协议的缺陷对目标网络实施攻击。ARP协议用于在局域网（LAN）中将IP地址解析为MAC地址，它是无认证机制的，这为攻击者提供了可利用的机会。…...

编程日记 2025/5/9 17:19:50

基于大数据爬虫+Python+数据可视化大屏的慧游数据爬虫与推荐分析系统(源码+论文+PPT+部署文档教程等)

博主介绍：**CSDN毕设辅导第一人、**全网粉丝50W,csdn特邀作者、博客专家、CSDN新星计划导师、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和学生毕业项目实战,高校老师/讲师/同行前辈交流 **技术范围：**S…...

编程日记 2025/5/10 15:28:16

Linux系统安装es详细教程

一、下载es及插件从下面的网址进行对应es版本的下载https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.15.2-linux-x86_64.tar.gz ，想要不同版本的es只需更换对应的版本号即可。插件下载地址（ik分词器、pinyin等）es…...

编程日记 2025/5/10 15:52:41

分布式搜索引擎之elasticsearch基本使用3

分布式搜索引擎之elasticsearch基本使用3 1.部署单点es 1.1.创建网络因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。这里先创建一个网络： docker network create es-net1.2.加载镜像这里我们采用elasticsearch的7.12.1版本的镜像&…...

编程日记 2025/5/10 2:53:59

进程间通信-----信号

进程间通信-----信号信号：进程间异步通知的机制。是一种在操作系统中用于进程间通信和控制的机制。它可以用于多种场景，例如进程间通信、异常处理、线程同步等。常见的信号有SIGINT（中断信号）、SIGTERM（终止信号&…...

编程日记 2025/5/7 1:49:42

机器学习基础-线性回归和逻辑回归

目录基本概念和定义线性回归逻辑回归线性回归中的最小二乘法和梯度下降法最小二乘法梯度下降法参数调整策略梯度下降类型梯度下降的调参的基本操作过拟合和欠拟合的概念及处理方法过拟合（Overfitting） 欠拟合（Underfi…...

编程日记 2025/5/10 14:30:54

低代码引擎插件开发：开启开发的便捷与创新之路

OneCode授权演示一、低代码引擎与插件开发的概述在当今快节奏的软件开发领域，低代码引擎正逐渐崭露头角。低代码引擎旨在让开发人员能够以最少的代码量创建功能丰富的应用程序，而其中的关键组成部分便是插件开发。低代码引擎通过提供可视化的开发环境…...

编程日记 2025/5/9 0:14:59

【C++】18.继承

文章目录 1.继承的概念及定义1.1 继承的概念1.2 继承定义1.2.1定义格式1.2.2继承关系和访问限定符1.2.3继承基类成员访问方式的变化 1.3 继承类模板 2.基类和派生类对象赋值转换3.继承中的作用域3.1 隐藏规则：3.2 考察继承作用域相关选择题 4.派生类的默认成员函数4…...

编程日记 2025/5/10 6:37:45

R语言基础| 中级绘图

写在前面前面第六章的图形主要是展示单分类变量或连续型变量的分布情况。本章主要研究二元变量或多元变量关系的可视化。更多教程可参考： R语言基础学习手册图片集锦： 11.1 散点图 1）添加最佳拟合曲线的散点图： 绘制汽车重…...

编程日记 2025/5/10 15:01:03

TANGO - 数字人全身动作生成

文章目录一、关于 TANGO演示视频（YouTube）📝发布计划二、⚒️安装克隆存储库构建环境三、🚀训练和推理1、推理2、为自定义字符创建图形一、关于 TANGO TANGO 是具有分层音频运动嵌入和扩散插值的共语音手势视频再现由东…...

编程日记 2025/5/10 10:26:46

从configure.ac到构建环境：解析Mellanox OFED内核模块构建脚本

在软件开发过程中，特别是在处理复杂的内核模块如Mellanox OFED（OpenFabrics Enterprise Distribution）时，构建一个可移植且高效的构建系统至关重要。Autoconf和Automake等工具在此过程中扮演着核心角色。本文将深入解析一个用于准备Mellanox OFED内核模块构建环境的Autocon…...

编程日记 2025/5/8 14:30:59

深入理解 Android 中的 KeyguardManager

深入理解 Android 中的 KeyguardManager 引言在 Android 系统中，KeyguardManager 是一个重要的系统服务，负责管理设备的锁屏界面（Keyguard）。锁屏界面是设备安全性的第一道防线，用于防止未经授权的用户访问设备。Ke…...

编程日记 2025/5/9 1:54:32

在Vue3项目中使用svg-sprite-loader

1.普通的svg图片使用方式 1.1 路径引入正常我们会把项目中的静态资源放在指定的一个目录，例如assets,使用起来就像 <img src"../assets/svgicons/about.svg" /> 1.2封装组件使用显然上面的这种方法在项目开发中不太适用，每次都需…...

编程日记 2025/5/8 17:49:43

Linux(Centos 7.6)命令详解：pwd

1.命令作用显示当前工作目录的完整路径(Print Working Directory) 2.命令语法 Usage: pwd [-LP] 3.参数详解 -L，显示逻辑路径，遵循符号链接；这是默认选项。-P，显示物理路径，不遵循符号链接。 4.常用用例 1.-L参…...

编程日记 2025/4/15 22:42:42

【iOS Swift Moya 最新请求网络框架封装通用】

【iOS Swift Moya 最新请求网络框架封装通用】前言框架结构1.API定义（TargetType）2. 配置MoyaProvider3. 网络管理器4. 使用示例注意事项进一步优化前言设计一个基于Moya的网络请求框架，可以提供灵活的网络请求管理，例如设置请…...

编程日记 2025/5/10 15:27:12

【算法学习】——设施选址问题（动态规划）

题目描述在一条高速公路附近有 V 个村庄，选择 P 个村庄在其附近建立邮局，要求每个村庄到最近的邮局的距离和最小(1<V<300，1<P<30)。问题分析这个问题是一个经典的设施选址问题（Facility Location Problem&#…...

编程日记 2025/5/6 14:12:57

Linux——修改文件夹的所属用户组和用户

一、命令举例： 授权 MOT17 文件夹给 hust_xxx 用户： sudo chown -R hust_xxx:hust_xxx MOT17参考 Linux授权文件夹给用户...

编程日记 2025/5/7 11:01:28

我用Ai学Android Jetpack Compose之Text

这篇开始学习各种UI元素，答案来自通义千问，通义千问没法生成图片，图片是我补充的。下述代码只要复制到第一个工程，做一些import操作，一般import androidx.compose包里的东西，即可看到预览效果。完整工程代…...

编程日记 2025/5/10 14:47:05

1.高德地图安卓URL Scheme：baidumap:// 官方文档：https://lbs.amap.com/api/amap-mobile/guide/android/navigation IOS URL Scheme：iosamap:// 官方文档：https://lbs.amap.com/api/amap-mobile/guide/ios/navi HarmonyOS NEXT U…...

编程日记 2025/5/10 15:02:08

【Java数据结构】二叉树

1.树型结构 1.1树的概念树是一种非线性的数据结构，由n个结点组成的具有层次关系的集合。下面是它的特点： 根结点是没有前驱的结点（没有父结点的结点）子结点之间互不相交除了根结点外，其它结点都只有一个父结点n个结…...

编程日记 2025/5/9 10:42:18

Golang设计模式目录

go语言实现设计模式 1 文章目录： 1.1 创建型模式 1.Golang设计模式之工厂模式2.Golang设计模式之抽象工厂模式3.Golang设计模式之单例模式4.Golang设计模式之建造者模式5.Golang设计模式之原型模式 1.2 结构型模式 6.Golang设计模式之适配器模式7.Golang设计模式之桥…...

编程日记 2025/5/7 1:59:48

vue3+Echarts+ts实现甘特图

项目场景： vue3Echartsts实现甘特图;发布任务代码实现封装ganttEcharts.vue <template><div ref"progressChart" class"w100 h100"></div> </template> <script lang"ts&qu…...

编程日记 2025/5/7 23:35:48

nginx-灰度发布策略(split_clients)

一. 简述： 基于客户端的灰度发布（也称为蓝绿部署或金丝雀发布）是一种逐步将新版本的服务或应用暴露给部分用户，以确保在出现问题时可以快速回滚并最小化影响的技术。对于 Nginx，可以通过配置和使用不同的模块来实现基于…...

编程日记 2025/5/10 4:12:57

SQL中聚类后字段数据串联字符串方法研究

在 SQL 中，使用聚类（GROUP BY） 后将某个字段的数据串联为一个字符串，常见的方法包括以下几种，取决于数据库管理系统（DBMS）的具体支持功能： 1. 使用 GROUP_CONCAT （MySQL…...

编程日记 2025/5/8 2:56:57

vue3组件化开发优势劣势分析，及一个案例

Vue 3 组件化开发的优势和劣势优势可复用性： 组件可以重复使用，减少代码冗余，提高开发效率。可以在不同的项目中复用组件，提升开发速度。可维护性： 组件化开发使得代码结构清晰，易于维护。每个…...

编程日记 2025/5/7 4:41:49

Springboot SAP Docker 镜像打包问题

问题类1，sapjco.jar 未识别到：Caused by: java.lang.NoClassDefFoundError: com/sap/conn/jco/ext/DestinationDataProvider 1./deploy/lib/ 文件下放sapjco3.jar、libsapjco3.so、sapjco3.dll 2.docker文件核心内容： COPY /deploy/lib/sap…...

编程日记 2025/5/10 0:47:40

nmap探测Web服务

HTTP服务探测基本认证信息 nmap --script http-auth [目标]探测默认账户 nmap --scripthttp-default-accounts -p [端口] [目标]检查是否存在风险方法 nmap --script http-methods [目标]探测访问一个网页的时间 nmap --scripthttp-chrono -p 80 [目标]提取HTTP注释信息 nmap…...

编程日记 2025/5/6 6:04:57

【学习总结|DAY028】后端Web实战(部门管理)

在 Web 后端开发领域，构建高效、规范且功能完备的系统是核心目标。本文将围绕 Tlias 智能学习辅助系统的后端开发展开，详细阐述从开发准备工作到各部门管理功能实现，以及日志技术应用的全过程，为开发者提供全面的实践参考。一、…...

编程日记 2025/5/6 17:37:41

Servlet 和 Spring MVC：区别与联系

前言在 Java Web 开发中，Servlet 和 Spring MVC 是两个重要的技术。Servlet 是 Java Web 的基础组件，而 Spring MVC 是一个高级 Web 框架，建立在 Servlet 的基础之上，提供了强大的功能和易用性。这篇文章将从定义、原理、功能对…...

编程日记 2025/5/10 0:01:10

【君正T31开发记录】12.编译工具相关总结及介绍

移植交叉工具包的时候，发现这是很多工具的集合包；以及写makefile的时候，也需要了解下这些工具的作用及用法，这里总结记录一下常见的工具及相关用法。 g C编译器，用于编译C源代码文件，这个很常见&#xff0…...

编程日记 2025/5/5 23:39:08

相关文章：