linux---天气爬虫
代码概述
这段代码实现了一个天气查询系统,支持实时天气、未来天气和历史天气查询。用户可以通过终端菜单选择查询类型,并输入城市名称来获取相应的天气信息。程序通过 TCP 连接发送 HTTP 请求,并解析返回的 JSON 数据来展示天气信息。
#include "main.h"#include "cJSON.h"
#define BUFFER_SIZE 30000
#define TEMP_BUFFER_SIZE 4096#define COLOR_FIELD "\033[34m" // 字段蓝色
#define COLOR_VALUE "\033[36m" // 值青色
#define COLOR_WARN "\033[33m" // 警告黄色
#define COLOR_RESET "\033[0m" // 重置颜色
#define COLOR_HEAD "\033[35m" // 提示头颜色char weather_inquiry[4][1024] =
{{"实时天气"},{"未来天气"},{"历史天气"},{"退出查询"},
};int pos_start = 0;
int pos_end = 4;
int focus = 0;//选择的焦点
int menu_flag = 1;
char city[512];//储存城市名字
int sockfd;int getch(void)
{struct termios oldt, newt;int ch;int esc_mode = 0;unsigned long key = 0;//获取终端属性信息tcgetattr(STDIN_FILENO, &oldt);newt = oldt;//设置非阻塞模式newt.c_lflag &= ~(ICANON | ECHO);newt.c_cc[VMIN] = 0;//读取最小字符newt.c_cc[VTIME] = 1;//等待时间10/1秒//修改new中的ECHO和ICANON参数,使得new为不回显输入内容//设置终端信息tcsetattr(STDIN_FILENO, TCSANOW, &newt);//组合多字节按键for(int i = 0;i < 3;i++){ch = getchar();if(ch == EOF)break;key = (key << 8)|(ch & 0xFF);}//用完之后,恢复原来的终端属性tcsetattr(STDIN_FILENO, TCSANOW, &oldt);switch(key){case 0x1B5B41: return KEY_UP;case 0x1B5B42: return KEY_DOWN;case 0x0A: return KEY_ENTER;default: return (key&0xFF);//返回首个有效字符 }
}void View_two(void)
{if(menu_flag == 2){int i = 0;printf("\033[10;35H");printf("| 天气查询 |\n");printf("\033[0m");for(i = pos_start;i <pos_end;i++){if(i == focus){printf("\033[%d;50H",i+12);printf("|\033[30;43m%2d.%s\033[0m\n",i+1,weather_inquiry[i]);}else{printf("\033[%d;50H",12+i);printf("|%2d.%-20s\n",i+1,weather_inquiry[i]);}}}return;
}void city_name(void)
{ scanf("%s",city);while(getchar()!= '\n');printf("\033[0m");if(strncmp(city,"quit",4) == 0){exit(0);printf("感谢使用!\n");}
}#if 1
void view(void)
{if(menu_flag == 1){printf("\033[15;55H");printf("\033[;31m");printf("输入quit退出\n");printf("\033[10;25H");printf("\033[;33m");printf("~欢迎来到天气查询系统~\n");printf("\033[0m");printf("\033[12;25H");printf("\033[;34m");printf("请输入你要查询的城市:");// 清空城市名memset(city, 0, sizeof(city));city_name();menu_flag = 2;system("clear");}else if(menu_flag == 2){View_two();}return;
}#endifvoid CreateTcpClient(void)//创建TCP
{int ret = 0;sockfd = socket(AF_INET,SOCK_STREAM,0);if(sockfd < 0){perror("sockfd fail");return;}struct sockaddr_in seraddr;bzero(&seraddr,sizeof(seraddr));seraddr.sin_family = AF_INET;seraddr.sin_port = htons(PORT);seraddr.sin_addr.s_addr = inet_addr(IP);if(connect(sockfd,(struct sockaddr*)&seraddr,sizeof(seraddr)) < 0){perror("connect fail");return;}
}//发送HTTP请求(参数:天气类型)
void SendHttpRequest(int sockfd,char *head)
{char tmpbuff[4096] = {0};int written = 0;const char *template ="GET %s HTTP/1.1\r\n""Host: api.k780.com\r\n""User-Agent: WeatherClient/1.0\r\n""Accept: */*\r\n""Connection: close\r\n" // 改为短连接"\r\n"; // 必须的空行// 安全格式化(限制最大长度)written = snprintf(tmpbuff,sizeof(tmpbuff),template,head);if (written >= sizeof(tmpbuff)) {fprintf(stderr, "Request too large (max %zd bytes)\n", sizeof(tmpbuff));return;}//发送请求ssize_t sent = send(sockfd,tmpbuff,written,0);if(sent != written){perror("send fail");return;}
}void RecvSendWeather(void)
{int fd = 0;char buff[BUFFER_SIZE] = {0}; // 确保初始化为全0char cmpbuff[BUFFER_SIZE] = {0}; // 用于存储处理后的数据char tmpbuff[TEMP_BUFFER_SIZE] = {0}; // 临时缓冲区ssize_t nsize = 0; // recv函数接收的数据大小char *ptmp = NULL; // 临时指针char *pstart = NULL; // 数据起始位置指针char *pend = NULL; // 数据结束位置指针fd = open("recv.txt", O_RDWR | O_CREAT | O_TRUNC, 0666);while(1){memset(tmpbuff, 0, sizeof(tmpbuff)); // 清空临时缓冲区nsize = recv(sockfd, tmpbuff, sizeof(tmpbuff), 0);if(nsize <= 0){break;}strncat(buff, tmpbuff, (size_t)nsize); // 将接收到的数据追加到buff中if(strstr(tmpbuff, "0\r\n") != NULL)break;}//查找数据正文的起始位置ptmp = strstr(buff, "\r\n\r\n");if(ptmp != NULL){ptmp += 4; //跳过"\r\n\r\n"ptmp = strstr(ptmp, "\r\n");if(ptmp != NULL){ptmp += 2;pstart = ptmp; //标记数据起始位置pend = strstr(ptmp, "\r\n"); //查找数据结束位置if(pend != NULL){strncat(cmpbuff, pstart, pend - pstart);}}}write(fd, cmpbuff, strlen(cmpbuff)); // 将处理后的数据写入文件close(fd);close(sockfd);
}void real_time_weather()
{int ret = -1;int fd = -1;char *buffer = NULL;ssize_t bytes_read = 0;CreateTcpClient(); // 创建新的连接if(!(buffer = malloc(BUFFER_SIZE))){perror("malloc fail");return;}if((fd = open("recv.txt", O_RDONLY)) == -1){perror("open fail");return;}if((bytes_read = read(fd, buffer, BUFFER_SIZE)) <= 0){fprintf(stderr, "Read failed or empty file\n");return;}buffer[bytes_read] = '\0'; // 确保字符终止cJSON *root = cJSON_Parse(buffer);if(!root){fprintf(stderr, "JSON parse failed\n");return;}// 使用结构体定义字段映射struct FieldMapping {const char *json_key;const char *display_name;int required; // 1表示必须字段} fields[] = {{"days", "日期", 1},{"week", "星期", 1},{"citynm", "城市", 1},{"temperature_curr", "当前温度", 1},{"temp_high", "最高温度", 0},{"temp_low", "最低温度", 0},{"weather", "天气状况", 1},{"humidity", "当前湿度", 0},{"humi_high", "最大湿度", 0},{"humi_low", "最小湿度", 0},{"wind", "风向", 1},{"winp", "风力", 1},{"aqi", "PM2.5", 0}};cJSON *result = cJSON_GetObjectItem(root, "result");if(!result){fprintf(stderr, "Missing result object\n");cJSON_Delete(root);return;}// 遍历所有字段定义for(size_t i = 0; i < sizeof(fields)/sizeof(fields[0]); i++){cJSON *item = cJSON_GetObjectItem(result, fields[i].json_key);printf(COLOR_FIELD"%-8s: "COLOR_RESET, fields[i].display_name);if(item && item->valuestring){printf(COLOR_VALUE"%s\n"COLOR_RESET, item->valuestring);}else{printf(COLOR_WARN"N/A\n"COLOR_RESET);if(fields[i].required){fprintf(stderr, "Missing required field: %s\n", fields[i].json_key);cJSON_Delete(root);return;}}}ret = 0;free(buffer);cJSON_Delete(root);close(fd);
}void future_weather()
{int ret = -1;int fd = -1;char *buffer = NULL;ssize_t bytes_read = 0;CreateTcpClient(); // 创建新的连接if(!(buffer = malloc(BUFFER_SIZE))){perror("malloc fail");return;}if((fd = open("recv.txt",O_RDONLY)) == -1){perror("open fail");return;}if((bytes_read = read(fd,buffer,BUFFER_SIZE)) <= 0){fprintf(stderr, "Read failed or empty file\n");return;}buffer[bytes_read] = '\0';//确保字符终止cJSON *root = cJSON_Parse(buffer);if(!root){fprintf(stderr, "JSON parse failed\n");return;}// 使用结构体定义字段映射struct FieldMapping {const char *json_key;const char *display_name;int required; // 1表示必须字段} fields[] = {{"days", "日期", 1},{"week", "星期", 1},{"citynm", "城市", 1},{"temp_high", "最高温度", 0},{"temp_low", "最低温度", 0},{"weather", "天气状况", 1},{"wind", "风向", 1},{"winp", "风力", 1},};cJSON *result = cJSON_GetObjectItem(root,"result");if(!result){fprintf(stderr, "Missing result object\n");cJSON_Delete(root);}int i = 0;cJSON *item;cJSON_ArrayForEach(item,result){printf(COLOR_HEAD"=============第%d天气预报=============\n"COLOR_RESET,i+1);// 遍历所有字段定义for (size_t j = 0; j < sizeof(fields)/sizeof(fields[0]); j++) {cJSON *field = cJSON_GetObjectItem(item, fields[j].json_key);printf(COLOR_FIELD"%-8s: "COLOR_RESET, fields[j].display_name);if (field && field->valuestring) {printf(COLOR_VALUE"%s\n"COLOR_RESET, field->valuestring);} else {printf(COLOR_WARN"N/A\n"COLOR_RESET);if (fields[j].required) {fprintf(stderr, "Missing required field: %s\n", fields[j].json_key);}}}i++;} cJSON_Delete(root);free(buffer);close(fd);
}void historical_weather()
{
}void MenuChoose(void)
{int key = getch();char tmpbuff[1024]={0};//ESC按键处理if(key == KEY_ESC){if(menu_flag == 2){menu_flag = 1;//切换到菜单一system("clear");}}switch(key){case KEY_UP:if(focus > pos_start){system("clear");focus--;}break;case KEY_DOWN:if(focus < pos_end){system("clear");focus++;}break;case KEY_ENTER:switch(focus){case 0:system("clear");CreateTcpClient();sprintf(tmpbuff,"/?app=weather.today&weaid=%s&appkey=%s&sign=%s",city,API_KEY,API_SIGN);SendHttpRequest(sockfd,tmpbuff);RecvSendWeather();real_time_weather();if (sockfd > 0) {close(sockfd);sockfd = -1;}break;case 1:system("clear");CreateTcpClient();sprintf(tmpbuff,"http://api.k780.com/?app=weather.future&weaid=%s&appkey=%s&sign=%s&format=json",city,API_KEY,API_SIGN);SendHttpRequest(sockfd,tmpbuff);RecvSendWeather();future_weather();break;case 2:break;case 3:printf("感谢使用!\n");exit(0);break;} }
}int main(int argc, const char *argv[])
{system("clear");while(1){view();MenuChoose();}return 0;
}
演示视频
天气查询演示视频
一、函数总览
全局变量
-
weather_inquiry[4][1024]
:存储菜单选项,包括实时天气、未来天气、历史天气和退出查询。 -
pos_start
和pos_end
:定义菜单显示的起始和结束位置。 -
focus
:当前用户选择的菜单焦点。 -
menu_flag
:标志当前显示的菜单层级,1
表示主菜单,2
表示二级菜单。 -
city[512]
:存储用户输入的城市名称。 -
sockfd
:TCP 套接字文件描述符。
第二部分:输入处理和菜单显示
getch()
函数
-
功能:捕捉用户按键输入,支持方向键和回车键。
-
实现:
-
使用
termios
修改终端属性,禁用回显和行缓冲。 -
捕捉按键组合,识别上方向键(
KEY_UP
)、下方向键(KEY_DOWN
)和回车键(KEY_ENTER
)。 -
恢复终端属性。
-
View_two()
函数
-
功能:显示二级菜单,包括实时天气、未来天气、历史天气和退出查询。
-
实现:
-
根据
focus
的值,高亮显示当前选中的菜单项。 -
使用终端控制字符(如
\033
)设置文字颜色和位置。
-
city_name()
函数
-
功能:获取用户输入的城市名称,并检查是否为退出命令。
-
实现:
-
使用
scanf
获取输入,并清除输入缓冲区。 -
如果输入为
quit
,程序退出。
-
view()
函数
-
功能:根据
menu_flag
的值,显示主菜单或二级菜单。 -
实现:
-
主菜单显示欢迎信息,并提示用户输入城市名称。
-
二级菜单显示天气查询选项。
-
第三部分:TCP 连接和 HTTP 请求
CreateTcpClient()
函数
-
功能:创建一个 TCP 套接字,并连接到指定的服务器。
-
实现:
-
使用
socket
创建套接字。 -
设置服务器地址和端口。
-
使用
connect
建立连接。
-
SendHttpRequest()
函数
-
功能:发送 HTTP GET 请求。
-
实现:
-
使用
snprintf
格式化请求头,包括目标 URL 和必要头部信息。 -
使用
send
发送请求。
-
第四部分:数据接收和处理
RecvSendWeather()
函数
-
功能:接收服务器响应,并提取数据正文。
-
实现:
-
使用
recv
循环接收数据,直到遇到空行(0\r\n
)。 -
查找数据正文的起始和结束位置,提取并存储到文件中。
-
第五部分:实时天气查询
real_time_weather()
函数
-
功能:解析实时天气 JSON 数据,并展示相关信息。
-
实现:
-
从文件读取 JSON 数据。
-
使用
cJSON
解析 JSON 数据。 -
定义字段映射结构体,遍历字段并显示对应值。
-
检查必填字段是否存在,若缺失则报错。
-
第六部分:未来天气查询
future_weather()
函数
-
功能:解析未来天气 JSON 数据,并展示相关信息。
-
实现:
-
从文件读取 JSON 数据。
-
使用
cJSON
解析 JSON 数据。 -
定义字段映射结构体,遍历字段并显示对应值。
-
遍历 JSON 数组,逐条显示未来天气信息。
-
第七部分:菜单选择和主程序
MenuChoose()
函数
-
功能:处理用户按键输入,实现菜单导航和功能选择。
-
实现:
-
根据按键调整
focus
值,实现菜单上下导航。 -
处理回车键,根据选中项执行对应功能:
-
实时天气查询:构造 URL 并发送请求,调用
real_time_weather
。 -
未来天气查询:构造 URL 并发送请求,调用
future_weather
。 -
退出程序:退出并显示感谢信息。
-
-
main()
函数
-
功能:主程序入口,循环显示菜单并处理用户输入。
-
实现:
-
清屏并初始化终端。
-
循环调用
view
和MenuChoose
,实现菜单显示和交互。
-
二、重点函数
RecvSendWeather()
函数
void RecvSendWeather(void)
{int fd = 0;char buff[BUFFER_SIZE] = {0}; // 确保初始化为全0char cmpbuff[BUFFER_SIZE] = {0}; // 用于存储处理后的数据char tmpbuff[TEMP_BUFFER_SIZE] = {0}; // 临时缓冲区ssize_t nsize = 0; // recv函数接收的数据大小char *ptmp = NULL; // 临时指针char *pstart = NULL; // 数据起始位置指针char *pend = NULL; // 数据结束位置指针fd = open("recv.txt", O_RDWR | O_CREAT | O_TRUNC, 0666);while(1){memset(tmpbuff, 0, sizeof(tmpbuff)); // 清空临时缓冲区nsize = recv(sockfd, tmpbuff, sizeof(tmpbuff), 0);if(nsize <= 0){break;}strncat(buff, tmpbuff, (size_t)nsize); // 将接收到的数据追加到buff中if(strstr(tmpbuff, "0\r\n") != NULL)break;}//查找数据正文的起始位置ptmp = strstr(buff, "\r\n\r\n");if(ptmp != NULL){ptmp += 4; //跳过"\r\n\r\n"ptmp = strstr(ptmp, "\r\n");if(ptmp != NULL){ptmp += 2;pstart = ptmp; //标记数据起始位置pend = strstr(ptmp, "\r\n"); //查找数据结束位置if(pend != NULL){strncat(cmpbuff, pstart, pend - pstart);}}}write(fd, cmpbuff, strlen(cmpbuff)); // 将处理后的数据写入文件close(fd);close(sockfd);
}
1. 初始化与文件准备
- 定义缓冲区
buff
(存储完整数据)、cmpbuff
(存储处理后的数据)和tmpbuff
(临时接收数据)。 - 创建/清空文件
recv.txt
用于保存最终数据。
2. 循环接收数据
- 通过
recv
从套接字sockfd
接收数据到tmpbuff
。 - 将每次接收的数据追加到主缓冲区
buff
中。 - 终止条件:当收到包含
"0\r\n"
的数据时,认为传输结束,退出循环。
3. 数据解析
- 定位数据起始点:
- 查找首个
\r\n\r\n
,跳过HTTP头部。 - 继续查找下一个
\r\n
,跳过可能的分块长度字段(如5\r\n
)。
- 查找首个
- 提取数据正文:
- 从
pstart
到下一个\r\n
之间的内容被视为有效数据,复制到cmpbuff
。
- 从
4. 保存与清理
- 将处理后的数据写入文件
recv.txt
。 - 关闭文件描述符和套接字。
潜在问题与改进建议
-
缓冲区溢出风险
- 问题:
buff
和cmpbuff
是固定大小,未检查strncat
是否越界。 - 建议:增加长度检查,或改用动态内存分配。
- 问题:
-
分块编码处理不完整
- 问题:代码假设数据仅包含一个分块(如
5\r\nhello\r\n0\r\n
),可能漏掉多分块数据。 - 建议:循环解析所有分块,处理格式如
长度\r\n数据\r\n
。
- 问题:代码假设数据仅包含一个分块(如
-
结束标志可靠性
- 问题:若
0\r\n
被拆分成多次接收(如0\r
和\n
),可能无法正确退出。 - 建议:在
buff
中全局搜索0\r\n
,而非仅检查tmpbuff
。
- 问题:若
real_time_weather()
函数
void real_time_weather()
{int ret = -1;int fd = -1;char *buffer = NULL;ssize_t bytes_read = 0;CreateTcpClient(); // 创建新的连接if(!(buffer = malloc(BUFFER_SIZE))){perror("malloc fail");return;}if((fd = open("recv.txt", O_RDONLY)) == -1){perror("open fail");return;}if((bytes_read = read(fd, buffer, BUFFER_SIZE)) <= 0){fprintf(stderr, "Read failed or empty file\n");return;}buffer[bytes_read] = '\0'; // 确保字符终止cJSON *root = cJSON_Parse(buffer);if(!root){fprintf(stderr, "JSON parse failed\n");return;}// 使用结构体定义字段映射struct FieldMapping {const char *json_key;const char *display_name;int required; // 1表示必须字段} fields[] = {{"days", "日期", 1},{"week", "星期", 1},{"citynm", "城市", 1},{"temperature_curr", "当前温度", 1},{"temp_high", "最高温度", 0},{"temp_low", "最低温度", 0},{"weather", "天气状况", 1},{"humidity", "当前湿度", 0},{"humi_high", "最大湿度", 0},{"humi_low", "最小湿度", 0},{"wind", "风向", 1},{"winp", "风力", 1},{"aqi", "PM2.5", 0}};cJSON *result = cJSON_GetObjectItem(root, "result");if(!result){fprintf(stderr, "Missing result object\n");cJSON_Delete(root);return;}// 遍历所有字段定义for(size_t i = 0; i < sizeof(fields)/sizeof(fields[0]); i++){cJSON *item = cJSON_GetObjectItem(result, fields[i].json_key);printf(COLOR_FIELD"%-8s: "COLOR_RESET, fields[i].display_name);if(item && item->valuestring){printf(COLOR_VALUE"%s\n"COLOR_RESET, item->valuestring);}else{printf(COLOR_WARN"N/A\n"COLOR_RESET);if(fields[i].required){fprintf(stderr, "Missing required field: %s\n", fields[i].json_key);cJSON_Delete(root);return;}}}ret = 0;free(buffer);cJSON_Delete(root);close(fd);
}
亮点分析补充与优化建议
1. 模块化设计
- 优势:
将天气查询功能封装为独立函数real_time_weather()
,逻辑边界清晰,符合“高内聚”原则。 - 改进空间:
- 单一职责原则:当前函数承担了网络连接、文件操作、JSON解析、数据展示等多个职责,可进一步拆分为子函数(如
fetch_weather_data()
、parse_json()
、display_weather()
)。 - 依赖解耦:文件
recv.txt
作为数据传递媒介,属于硬编码依赖,建议改用内存直接传递(如通过函数参数传递数据缓冲区)。
- 单一职责原则:当前函数承担了网络连接、文件操作、JSON解析、数据展示等多个职责,可进一步拆分为子函数(如
2. 动态内存管理
- 优势:
使用malloc
动态分配内存,避免栈溢出风险,适应大数据场景。 - 改进空间:
- 内存泄漏风险:错误处理路径中未完全释放内存(如
malloc
成功但open
失败时未free(buffer)
),需用goto
或cleanup
标签统一释放资源。 - 缓冲区溢出:
read(fd, buffer, BUFFER_SIZE)
未检查bytes_read
是否等于BUFFER_SIZE
,可能导致数据截断或越界。
- 内存泄漏风险:错误处理路径中未完全释放内存(如
3. 错误处理
- 优势:
覆盖文件操作、内存分配、JSON解析等关键错误点,避免程序崩溃。 - 改进空间:
- 错误码统一管理:
ret
变量未被实际使用,建议通过返回值或全局错误码明确错误类型。 - 错误信息分级:区分“致命错误”(如必填字段缺失)与“警告信息”(如可选字段缺失),避免冗余报错。
- 错误码统一管理:
4. 数据解析
- 优势:
使用cJSON
库解析复杂JSON数据,通过结构体FieldMapping
实现字段映射,扩展性强。 - 改进空间:
- 字段类型校验:未检查JSON字段实际类型(如数值型字段可能被误读为字符串),需增加
cJSON_IsString
/cJSON_IsNumber
等校验。 - 嵌套结构处理:若JSON层级更深(如
result
下包含嵌套对象),需支持递归解析。
- 字段类型校验:未检查JSON字段实际类型(如数值型字段可能被误读为字符串),需增加
5. 用户输出
- 优势:
ANSI颜色代码提升可读性,字段映射表确保输出完整性。 - 改进空间:
- 跨平台兼容性:Windows终端默认不支持ANSI颜色,需通过条件编译适配。
- 格式化输出:使用固定宽度(
%-8s
)可能导致长字段显示不全,建议动态调整列宽。
难点分析与解决方案
1. JSON数据解析
- 核心挑战:
- 字段路径依赖性强(如直接访问
root->result->temperature_curr
),若服务器返回结构变化,需修改代码。 - 未处理特殊字符(如转义字符
\"
)或Unicode编码(如\u4e2d\u6587
)。
- 字段路径依赖性强(如直接访问
- 解决方案:
- 使用
cJSON_GetObjectItemCaseSensitive
避免大小写敏感问题。 - 通过
cJSON_Print
标准化输出,确保转义字符正确处理。
- 使用
2. 网络通信
- 核心挑战:
CreateTcpClient()
实现未展示,可能隐藏连接超时、重试等逻辑缺失。- 未处理HTTP协议细节(如状态码检查、分块传输编码)。
- 解决方案:
- 封装HTTP客户端库(如
libcurl
)简化网络操作。 - 增加超时机制和重试逻辑,提升鲁棒性。
- 封装HTTP客户端库(如
3. 文件操作
- 核心挑战:
- 文件读写与网络通信耦合,可能导致数据不同步(如文件未及时刷新)。
- 解决方案:
- 使用内存映射文件(
mmap
)或管道(pipe
)替代临时文件。 - 增加文件锁(
flock
)避免多进程竞争。
- 使用内存映射文件(
future_weather()
函数
void future_weather()
{int ret = -1;int fd = -1;char *buffer = NULL;ssize_t bytes_read = 0;CreateTcpClient(); // 创建新的连接if(!(buffer = malloc(BUFFER_SIZE))){perror("malloc fail");return;}if((fd = open("recv.txt",O_RDONLY)) == -1){perror("open fail");return;}if((bytes_read = read(fd,buffer,BUFFER_SIZE)) <= 0){fprintf(stderr, "Read failed or empty file\n");return;}buffer[bytes_read] = '\0';//确保字符终止cJSON *root = cJSON_Parse(buffer);if(!root){fprintf(stderr, "JSON parse failed\n");return;}// 使用结构体定义字段映射struct FieldMapping {const char *json_key;const char *display_name;int required; // 1表示必须字段} fields[] = {{"days", "日期", 1},{"week", "星期", 1},{"citynm", "城市", 1},{"temp_high", "最高温度", 0},{"temp_low", "最低温度", 0},{"weather", "天气状况", 1},{"wind", "风向", 1},{"winp", "风力", 1},};cJSON *result = cJSON_GetObjectItem(root,"result");if(!result){fprintf(stderr, "Missing result object\n");cJSON_Delete(root);}int i = 0;cJSON *item;cJSON_ArrayForEach(item,result){printf(COLOR_HEAD"=============第%d天气预报=============\n"COLOR_RESET,i+1);// 遍历所有字段定义for (size_t j = 0; j < sizeof(fields)/sizeof(fields[0]); j++) {cJSON *field = cJSON_GetObjectItem(item, fields[j].json_key);printf(COLOR_FIELD"%-8s: "COLOR_RESET, fields[j].display_name);if (field && field->valuestring) {printf(COLOR_VALUE"%s\n"COLOR_RESET, field->valuestring);} else {printf(COLOR_WARN"N/A\n"COLOR_RESET);if (fields[j].required) {fprintf(stderr, "Missing required field: %s\n", fields[j].json_key);}}}i++;} cJSON_Delete(root);free(buffer);close(fd);
}
功能概述
该函数用于获取并展示未来多天的天气预报数据,整体流程如下:
- 建立TCP连接获取数据(依赖
CreateTcpClient()
)。 - 从文件
recv.txt
读取JSON格式的天气数据。 - 解析JSON数据并格式化输出未来多天的天气信息。
亮点与改进建议
1. 核心亮点
-
数据遍历逻辑
使用cJSON_ArrayForEach
遍历天气预报的多个结果,支持动态数量的天气预报条目,灵活性较高。cJSON_ArrayForEach(item, result) {printf("第%d天天气预报", i+1);// 遍历字段并输出 }
-
字段映射复用
复用FieldMapping
结构体定义字段映射关系,与real_time_weather()
保持一致性,降低维护成本。 -
用户交互友好
通过颜色区分标题、字段名和数值,输出层次清晰:printf(COLOR_HEAD"=============第%d天气预报=============\n"COLOR_RESET, i+1);
2. 潜在问题与改进
问题1:内存与资源泄漏
-
风险点
- 文件打开失败(
open
返回-1
)时,未释放malloc
分配的buffer
。 - JSON解析失败时,未关闭文件描述符
fd
。
- 文件打开失败(
-
修复建议
使用统一清理逻辑确保资源释放:void future_weather() {int fd = -1;char *buffer = NULL;cJSON *root = NULL;// 初始化代码...// 错误处理跳转标签cleanup:if (buffer) free(buffer);if (root) cJSON_Delete(root);if (fd != -1) close(fd); }
问题2:JSON类型安全性
-
风险点
直接访问field->valuestring
,若字段值为数值类型(如温度),会导致空指针或错误输出。// 错误示例:若temp_high为数值,valuestring为NULL printf("%s", field->valuestring);
-
修复建议
增加类型检查,支持数值和字符串:if (cJSON_IsString(field)) {printf("%s", field->valuestring); } else if (cJSON_IsNumber(field)) {printf("%d", field->valueint); }
问题3:数据完整性风险
-
风险点
假设result
为数组类型,若服务器返回非数组数据(如空对象),程序会错误遍历。cJSON *result = cJSON_GetObjectItem(root, "result"); cJSON_ArrayForEach(item, result); // 若result非数组,崩溃!
-
修复建议
验证数据类型:if (!cJSON_IsArray(result)) {fprintf(stderr, "Invalid result format: expected array\n");goto cleanup; }
问题4:代码冗余
-
风险点
future_weather
与real_time_weather
存在大量重复代码(如文件操作、JSON解析),违反DRY原则。 -
修复建议
抽象公共逻辑为独立函数:// 公共函数:读取文件到缓冲区 char* read_weather_data(const char *filename) {int fd = open(filename, O_RDONLY);// 读取并返回buffer... }// 公共函数:解析并打印天气字段 void print_weather_fields(cJSON *item, struct FieldMapping *fields, size_t count) {// 遍历字段并输出... }
难点与解决方案
1. 动态数组遍历
- 难点
需处理未知数量的天气预报条目,且每个条目需完整解析字段。 - 方案
使用cJSON_ArrayForEach
宏安全遍历数组,避免手动索引越界。
2. 多层级JSON解析
- 难点
若JSON结构复杂(如嵌套对象),需递归解析。 - 方案
设计递归解析函数,处理嵌套结构:void parse_nested(cJSON *node, int depth) {if (cJSON_IsObject(node)) {cJSON_ArrayForEach(child, node) {parse_nested(child, depth + 1);}} }
相关文章:
linux---天气爬虫
代码概述 这段代码实现了一个天气查询系统,支持实时天气、未来天气和历史天气查询。用户可以通过终端菜单选择查询类型,并输入城市名称来获取相应的天气信息。程序通过 TCP 连接发送 HTTP 请求,并解析返回的 JSON 数据来展示天气信息。 #in…...
C++蓝桥杯基础篇(九)
片头 嗨!小伙伴们,大家好~ 今天我们将学习蓝桥杯基础篇(十),学习函数相关知识,准备好了吗?咱们开始咯! 一、函数基础 一个典型的函数定义包括以下部分:返回类型、函数名…...
Java Spring MVC (2)
常见的Request Controller 和 Response Controller 的区别 用餐厅点餐来理解 想象你去一家餐厅吃饭: Request Controller(接单员):负责处理你的点餐请求,记录你的口味、桌号等信息。Response Controller(…...
Elasticsearch:使用 BigQuery 提取数据
作者:来自 Elastic Jeffrey Rengifo 了解如何使用 Python 在 Elasticsearch 中索引和搜索 Google BigQuery 数据。 BigQuery 是 Google 的一个平台,允许你将来自不同来源和服务的数据集中到一个存储库中。它还支持数据分析,并可使用生成式 AI…...
接口-菜品分页查询
业务内容 页面上菜品根据菜品名称、菜品分类、售卖状态三个字段进行分页查询。 在请求参数中携带了菜品名称、菜品分类、售卖状态三个字段参数。 返回PageResult类型的实体。 注意:在返回数据中在records下有个categoryName,这个字段的内容在category…...
springboot3 RestClient、HTTP 客户端区别
1 RestClient使用 RestClient 是 Spring 6.1 M2 中引入的同步 HTTP 客户端,它取代了 RestTemplate。同步 HTTP 客户端以阻塞方式发送和接收 HTTP 请求和响应,这意味着它会等待每个请求完成后才继续下一个请求。本文将带你了解 RestClient 的功能以及它与…...
自我训练模型:通往未来的必经之路?
摘要 在探讨是否唯有通过自我训练模型才能掌握未来的问题时,文章强调了底层技术的重要性。当前,许多人倾向于关注应用层的便捷性,却忽视了支撑这一切的根本——底层技术。将模型简单视为产品是一种短视行为,长远来看,理…...
RuoYi框架添加自己的模块(学生管理系统CRUD)
RuoYi框架添加自己的模块(学生管理系统) 框架顺利运行 首先肯定要顺利运行框架了,这个我不多说了 设计数据库表 在ry数据库中添加表tb_student 表字段如图所示 如图所示 注意id字段是自增的 注释部分是后面成功后前端要展示的部分 导入…...
linux查看python版本
1.查看Linux是否安装python yum list all | grep python 2.Linux安装python yum install python 3.Linux查看python版本 python -V...
算法题(89):单项链表
审题: 本题需要我们实现一个可以执行三个指令的数据结构来解决这里的问题 思路: 方法一:利用数组模拟链表 由于这里涉及插入删除操作,所以我们不能使用数组结构存储数据,这样子会超时,所以我们就利用数组来…...
开源之夏经验分享|Koupleless 社区黄兴抗:在开源中培养工程思维
开源之夏经验分享|Koupleless 社区黄兴抗:在开源中培养工程思维 文|黄兴抗 电子信息工程专业 Koupleless 社区贡献者 就读于南昌师范学院,电子信息工程专业的大三学生。 本文 2634 字,预计阅读 7 分钟 今天 SOFAStack 邀…...
体验开源openeuler openharmony stratovirt模拟器
文档 openeuler社区面向数字基础设施的开源操作系统 openharmony社区 OpenHarmony是由开放原子开源基金会(OpenAtom Foundation)孵化及运营的开源项目, 目标是面向全场景、全连接、全智能时代、基于开源的方式,搭建一个智能终端设备操作系统…...
【AI实践】基于TensorFlow/Keras的CNN(卷积神经网络)简单实现:手写数字识别的工程实践
深度神经网络系列文章 【AI深度学习网络】卷积神经网络(CNN)入门指南:从生物启发的原理到现代架构演进【AI实践】基于TensorFlow/Keras的CNN(卷积神经网络)简单实现:手写数字识别的工程实践 引言 在深度…...
深入探讨AI-Ops架构 第一讲 - 运维的进化历程以及未来发展趋势
首先,让我们一起回顾运维的进化之路,然后再深入探讨AI-Ops架构的细节。 运维的进化历程 1. AI 大范围普及前的运维状态 (传统运维) 在AI技术尚未广泛渗透到运维领域之前,我们称之为传统运维,其主要特点是: 人工驱动…...
2025年全球生成式AI消费应用发展趋势报告
原文链接:The Top 100 Gen AI Consumer Apps - 4th Edition | Andreessen Horowitz 核心要点:本报告由a16z发布,深度解析了2025年全球生成式AI消费应用的发展格局,揭示了技术迭代与商业化加速的双重趋势。 报告显示,A…...
VBA 列方向合并单元格,左侧范围大于右侧范围
实现功能如下: excel指定行列范围内的所有单元格 规则1:每一列的连续相同的值合并单元格 规则2:每一列的第一个非空单元格与其下方的所有空白单元格合并单元 规则3:优先左侧列合并单元格,合并后,右侧的单元…...
设计AI芯片架构的入门 研究生入行数字芯片设计、验证的项目 opentitan
前言 这几年芯片设计行业在国内像坐过山车。时而高亢,时而低潮。最近又因为AI的热潮开始high起来。到底芯片行业的规律是如何? 我谈谈自己观点:芯片设计是“劳动密集型”行业。 “EDA和工具高度标准化和代工厂的工艺标准化之后,芯…...
【弹性计算】异构计算云服务和 AI 加速器(二):适用场景
异构计算云服务和 AI 加速器(二):适用场景 1.图形处理2.视频处理3.计算4.人工智能 异构计算 目前已经被广泛地应用于生产和生活当中,主要应用场景如下图所示。 1.图形处理 GPU 云服务器在传统的图形处理领域具有强大的优势&…...
JVM常用概念之移动GC和局部性
问题 非移动GC一定比移动GC好吗? 基础知识 移动GC和非移动GC 移动GC 在进行垃圾回收时,为了减少碎片而移动对象来顺利完成垃圾回收的GC。 Serial GC 在单线程环境下,它在标记-清除(Mark-Sweep)算法的基础上进行…...
微服务保护:Sentinel
home | Sentinelhttps://sentinelguard.io/zh-cn/ 微服务保护的方案有很多,比如: 请求限流 线程隔离 服务熔断 服务故障最重要原因,就是并发太高!解决了这个问题,就能避免大部分故障。当然,接口的并发…...
使用Wireshark截取并解密摄像头画面
在物联网(IoT)设备普及的今天,安全摄像头等智能设备在追求便捷的同时,往往忽视了数据传输过程中的加密保护。很多摄像头默认通过 HTTP 协议传输数据,而非加密的 HTTPS,从而给潜在攻击者留下了可乘之机。本文…...
IDEA 基础配置: maven配置 | 服务窗口配置
文章目录 IDEA版本与MAVEN版本对应关系maven配置镜像源插件idea打开服务工具窗口IDEA中的一些常见问题及其解决方案IDEA版本与MAVEN版本对应关系 查找发布时间在IDEA版本之前的dea2021可以使用maven3.8以及以前的版本 比如我是idea2021.2.2 ,需要将 maven 退到 apache-maven-3.…...
20250-3-8 树的存储结构
一、树的逻辑结构回顾 树:一个分支结点可以有多课子树 如果按照二叉树的存储来实现树的存储,则只依靠数组下标,无法反映结点之间的逻辑关系。 二、双亲表示法(顺序存储) 1.因此:我们可以用链式存储的方法&…...
Visual-RFT视觉强化微调:用「试错学习」教会AI看图说话
📜 文献卡 英文题目: Visual-RFT: Visual Reinforcement Fine-Tuning;作者: Ziyu Liu; Zeyi Sun; Yuhang Zang; Xiaoyi Dong; Yuhang Cao; Haodong Duan; Dahua Lin; Jiaqi WangDOI: 10.48550/arXiv.2503.01785摘要翻译: 像OpenAI o1这样的大型推理模型中的强化微调…...
PDF处理控件Aspose.PDF,如何实现企业级PDF处理
PDF处理为何成为开发者的“隐形雷区”? “手动调整200页PDF目录耗时3天,扫描件文字识别错误导致数据混乱,跨平台渲染格式崩坏引发客户投诉……” 作为开发者,你是否也在为PDF处理的复杂细节消耗大量精力?Aspose.PDF凭…...
DeepSeek-R1本地化部署(Mac)
一、下载 Ollama 本地化部署需要用到 Ollama,它能支持很多大模型。官方网站:https://ollama.com/ 点击 Download 即可,支持macOS,Linux 和 Windows;我下载的是 mac 版本,要求macOS 11 Big Sur or later,Ol…...
Swift Package Manager (SPM) 创建并集成本地库
在macOS 项目中,使用 Swift Package Manager (SPM) 创建并集成本地库的完整步骤。 创建一个macos应用程序,选择 swift、oc、swiftui都可以。 创建好应用之后,开始创建SPM本地库。 打开终端app,进入项目根目录,逐次输…...
分布式锁—6.Redisson的同步器组件
大纲 1.Redisson的分布式锁简单总结 2.Redisson的Semaphore简介 3.Redisson的Semaphore源码剖析 4.Redisson的CountDownLatch简介 5.Redisson的CountDownLatch源码剖析 1.Redisson的分布式锁简单总结 (1)可重入锁RedissonLock (2)公平锁RedissonFairLock (3)联锁MultiL…...
文献分享: ConstBERT固定数目向量编码文档
😂图放这了,大道至简的 idea \text{idea} idea不愧是 ECIR \text{ECIR} ECIR 👉原论文 1. ConstBERT \textbf{1. ConstBERT} 1. ConstBERT的原理 1️⃣模型的改进点:相较于 ColBERT \text{ColBERT} ColBERT为每个 Token \text{Tok…...
如何使用SSH命令安全连接并转发端口到远程服务器
ssh -p 22546 rootconnect.westc.gpuhub.com d6IS/mQKq/iG ssh -CNgv -L 6006:127.0.0.1:6006 rootconnect.westc.gpuhub.com -p 22546 第一条命令:用于登录远程服务器,进行交互式操作。第二条命令:用于建立 SSH 隧道,进行端口转…...
SolidWorks 转 PDF3D 技术详解
在现代工程设计与制造流程中,不同软件间的数据交互与格式转换至关重要。将 SolidWorks 模型转换为 PDF3D 格式,能有效解决模型展示、数据共享以及跨平台协作等问题。本文将深入探讨 SolidWorks 转 PDF3D 的技术原理、操作流程及相关注意事项,…...
9.2 EvictionManager源码解读
本节重点总结 : evictionManager初始化了两个相同的manager对象 evictionManager做本机驱逐pod的判定和厨房evictionAdmitHandler用来kubelet创建Pod前进依据本机的资源压力进行准入检查 evictionManager判断内存驱逐阈值有两种方法 第一种使用内核的memcg的通知机制ÿ…...
考研数一非数竞赛复习之Stolz定理求解数列极限
在非数类大学生数学竞赛中,Stolz定理作为一种强大的工具,经常被用来解决和式数列极限的问题,也被誉为离散版的’洛必达’方法,它提供了一种简洁而有效的方法,使得原本复杂繁琐的极限计算过程变得直观明了。本文&#x…...
整理一下高级设施农业栽培学这门课程的所有知识点
整理一下高级设施农业栽培学这门课程的所有知识点 以下是高级设施农业栽培学这门课程从入门到精通需要学习的知识点: 一、设施农业概述 设施农业的概念与发展历程 了解设施农业的定义、特点及作用,掌握其发展历程、现状与未来趋势。熟悉国内外设施农业…...
2025最新软件测试面试八股文(含答案+文档)
1、请试着比较一下黑盒测试、白盒测试、单元测试、集成测试、系统测试、验收测试的区别与联系。 参考答案: 黑盒测试:已知产品的功能设计规格,可以进行测试证明每个实现了的功能是否符合要求。 白盒测试:已知产品的内部工作过程…...
系统架构设计师—系统架构设计篇—基于体系结构的软件开发方法
文章目录 概述基于体系结构的开发模型-ABSDM体系结构需求体系结构设计体系结构文档化体系结构复审体系结构实现体系结构演化 概述 基于体系结构(架构)的软件设计(Architecture-Based Software Design,ABSD)方法。 AB…...
求最大公约数【C/C++】
大家好啊,欢迎来到本博客( •̀ ω •́ )✧,我将带领大家详细的了解最大公约数的思想与解法。 一、什么是公约数 公约数,也称为公因数,是指两个或多个整数共有的因数。具体来说,如果一个整数能被两个或多个整数整除&…...
Transformer 代码剖析16 - BLEU分数(pytorch实现)
一、BLEU算法全景图 #mermaid-svg-uwjb5mQ2KAC6Rqbp {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-uwjb5mQ2KAC6Rqbp .error-icon{fill:#552222;}#mermaid-svg-uwjb5mQ2KAC6Rqbp .error-text{fill:#552222;stroke:…...
手机屏幕摔不显示了,如何用其他屏幕临时显示,用来导出资料或者清理手机
首先准备一个拓展坞 然后 插入一个外接的U盘 插入鼠标 插入有数字小键盘区的键盘 然后准备一根高清线,一端链接电脑显示器,一端插入拓展坞 把拓展坞的连接线,插入手机充电口(可能会需要转接头) 然后确保手机开机 按下键盘…...
labelimg标注的xml标签转换为yolo格式标签
本文不生产技术,只做技术的搬运工!!! 前言 在yolo训练时,我们需要对图像进行标注,而使用labelimg标注时如果直接选择输出yolo格式的数据集,则原始数据的很多信息无法被保存,因此一版…...
Linux云计算SRE-第十七周
1. 做三个节点的redis集群。 1、编辑redis节点node0(10.0.0.100)、node1(10.0.0.110)、node2(10.0.0.120)的安装脚本 [rootnode0 ~]# vim install_redis.sh#!/bin/bash # 指定脚本解释器为bashREDIS_VERSIONredis-7.2.7 # 定义Redis的版本号PASSWORD123456 # 设置Redis的访问…...
K8S学习之基础十八:k8s的灰度发布和金丝雀部署
灰度发布 逐步扩大新版本的发布范围,从少量用户逐步扩展到全体用户。 特点是分阶段发布、持续监控、逐步扩展 适合需要逐步验证和降低风险的更新 金丝雀部署 将新版本先部署到一小部分用户或服务器,观察其表现,再决定是否全面推广。 特点&…...
WSL with NVIDIA Container Toolkit
一、wsl 下安装 docker 会提示安装 docekr 桌面版,所以直接安装 docker 桌面版本即可 二、安装 NVIDIA Container Toolkit NVIDIA Container Toolkit仓库 https://github.com/NVIDIA/nvidia-container-toolkitgithub.com/NVIDIA/nvidia-container-toolkit 安装…...
PAT线上考试 真题/注意细节(甲/乙级)
闲谈 从此以后!参加竞赛! 都要为自己留够足够的时间练习! 都要为自己留够足够的时间练习! 都要为自己留够足够的时间练习! 重要的事情说三遍,毕竟这只是我参加各种竞赛的开始! \(ÿ…...
springcloud sentinel教程
QPS(Queries Per Second)即每秒查询率 TPS,每秒处理的事务数目 PV(page view)即页面浏览量 UV 访问数(Unique Visitor)指独立访客访问数 一、初识Sentinel 什么是雪崩问题? 微服务之间相…...
摄相机标定的基本原理
【相机标定的基本原理与经验分享】https://www.bilibili.com/video/BV1eE411c7kr?vd_source7c2b5de7032bf3907543a7675013ce3a 相机模型: 定义: 内参:就像相机的“眼睛”。它描述了相机内部的特性,比如焦距(镜头的放…...
HJ C++11 Day2
Initializer Lists 对于一个类P class P{P(int a, int b){cout << "P(int, int), a" << a << ", b " << b << endl;}P(initializer_list<int> initlist){cout << "P(initializer_list<int>), val…...
在 ASP.NET Core 中启用 Brotli 和 Gzip 响应压缩
在本文中,我们将探讨如何在 ASP.NET Core 应用程序中启用响应压缩,重点介绍 Brotli 和 Gzip 算法以及如何验证压缩是否有效。 什么是响应压缩? 响应压缩通过使用Brotli 或 Gzip等算法来最小化 HTTP 响应的大小。这些算法在传输文本资产&#…...
leetcode69.x 的平方根
题目: 给你一个非负整数 x ,计算并返回 x 的 算术平方根 。 由于返回类型是整数,结果只保留 整数部分 ,小数部分将被 舍去 。 注意:不允许使用任何内置指数函数和算符,例如 pow(x, 0.5) 或者 x ** 0.5 。…...
第11章 web应用程序安全(网络安全防御实战--蓝军武器库)
网络安全防御实战--蓝军武器库是2020年出版的,已经过去3年时间了,最近利用闲暇时间,抓紧吸收,总的来说,第11章开始学习利用web应用程序安全,主要讲信息收集、dns以及burpsuite,现在的资产测绘也…...