当前位置：首页 > news >正文

编译原理——词法分析器的实现

news 来源：原创 2025/7/15 18:40:15

实验目的

深入理解有限自动机及其应用
编辑一个词法分析器，了解计算机识别源程序字符串的过程。

实验内容和要求

实验内容：处理c语言源程序，对源程序进行编译预处理（去除注释、无用的回车换行找到包含的文件等）之后，对整个源程序进行分解，分解成一个个单词，这些单词有且只有五类，分别是标识符、保留字、常数、运算符、界符。

实验要求：编写一个简单的词法分析程序，

输入：源程序，

输出：二元组<单词本身,种别码>。

C语言子集：

第一类：标识符letter(letter | digit)* 无穷集
第二类：常数(digit)+ 无穷集
第三类：保留字（32个）

auto       break    case     char        const      continue
default    do       double   else        enum       extern
float      for      goto     if          int        long
register   return   short    signed      sizeof     static
struct     switch   typedef  union       unsigned   void
volatile    while

第四类：界符： () { } [ ]
第五类：运算符： <、<=、>、>=、=、+、-、*、/、^等

定义变量：

static char reserveWord[16][20] = {
    "auto", "break", "case", "char", "const", "continue",
    "default", "do", "double", "else", "enum", "extern",
    "float", "for", "goto", "if", "int", "long",
    "register", "return", "short", "signed", "sizeof", "static",
    "struct", "switch", "typedef", "union", "unsigned", "void",
    "volatile", "while"
  };//保留字表

static char operatorOrDelimiter[16][10]={
…自行补充

};//界符运算符表

static char IDentifierTbl[1000][50]={""};//标识符表

char resourceProject[10000];//输入的源程序存放处，最大可以存放10000个字符。

char token[20]={0};//每次扫描的时候存储已经扫描的结果。

int syn=-1;//syn即为种别码，约定‘$’的种别码为0，为整个源程序的结束符号一旦扫描到这个字符代表扫描结束
int pProject = 0;//源程序指针，始终指向当前源程序待扫描位置。

程序中几个重要的函数：

查找保留字，若成功查找，则返回种别码，否则返回-1，代表查找不成功，即为标识符
int searchReserve(char reserveWord[ ][20], char s[])
判断是否为字母
bool IsLetter(char letter)
判断是否为数字
bool IsDigit(char digit)
编译预处理，取出无用的字符和注释
void filterResource(char r[],int pProject)
分析子程序，算法核心
void Scanner(int &syn,char resourceProject[],char token[],int &pProject)

程序流程：

打开源程序，读取文件内容，直至遇到“$”文件结束符，读取结束。
对读取的文件进行预处理，从头到尾进行扫描，去除//和/* */的内容，以及一些无用的、影响程序执行的符号如换行符、回车符、制表符等。（但是千万注意不要在这个时候去除空格）。
对源文件从头到尾进行扫描，扫描前判断当前字符是不是空格，如果是，扫描下一个字符，直至不是空格，然后判断是不是字母，若是则进行标识符和保留字的识别；若这个字符为数字，则进行数字的判断。否则，依次对这个字符可能的情况进行判断，若是将所有可能都走了一遍还是没有知道它是谁，则认定为错误符号，输出该错误符号，然后结束。每次成功识别了一个单词后，单词都会存在token[ ]中。然后确定这个单词的种别码，最后进行下一个单词的识别。（简单起见，数字只是整数。）
主控程序主要负责对每次识别的种别码syn进行判断，对于不同的单词种别做出不同的反应，如对于标识符则将其插入标识符表中。对于保留字则输出该保留字的种别码和助记符，等等。直至遇到syn=0;程序结束。

实验代码：

主函数

int main(){
//进行预处理
init();
//调用扫描子程序
scanner();
}

其他函数：......

相关文章：