C++ 使用CURL开源库实现Http/Https的get/post请求进行字串和文件传输
CURL开源库介绍
CURL 是一个功能强大的开源库,用于在各种平台上进行网络数据传输。它支持众多的网络协议,像 HTTP、HTTPS、FTP、SMTP 等,能让开发者方便地在程序里实现与远程服务器的通信。
CURL 可以在 Windows、Linux、macOS 等多种操作系统上使用;
CURL 支持多种网络协议,能处理复杂的网络请求,如设置请求头、处理 cookies、上传和下载文件等。
使用前,编译CURL 源码,生成动态库,引入时包括头文件一起,网上也有别人已经编译好的现成的库可以下载使用。
生成的库:
在你要使用的项目里加上curl的头文件
#include <curl\curl.h>
这下你就可以使用CURL里的接口完成功能了。
CURL常用的接口说明:
- 初始化与清理相关的接口:
- curl_easy_init()
功能:创建并初始化一个新的 CURL 句柄,用于后续的网络操作。这个句柄就像一个会话的载体,后续的请求设置和执行都围绕它展开。
返回值:成功时返回一个指向新创建的 CURL 句柄的指针;失败则返回 NULL。 - curl_easy_cleanup(CURL *handle)
功能:释放 CURL 句柄占用的所有资源,包括内存、网络连接等。在使用完 CURL 句柄后,必须调用此函数以避免资源泄漏。
参数:handle 是之前通过 curl_easy_init() 得到的 CURL 句柄。
- 请求选项设置相关的接口:
- curl_easy_setopt(CURL *handle, CURLoption option, …)
功能:设置 CURL 句柄的各种选项,这些选项可以控制请求的各个方面,如请求的 URL、请求方法、请求头、回调函数等。
参数:
handle:CURL 句柄。
option:CURLoption 类型的常量,指定要设置的选项。
可变参数:根据不同的 option,需要传入相应的参数值。
常用 option 有:
CURLOPT_URL:设置请求的 URL。
CURLOPT_POST:将请求方法设置为 POST。
CURLOPT_HTTPHEADER:设置请求头。
CURLOPT_POSTFIELDS:设置 POST 请求的数据。 - curl_slist_append(struct curl_slist *list, const char *string)
功能:用于构建一个链表来存储请求头信息。每次调用该函数可以将一个新的请求头字符串添加到链表中。
参数:
list:指向 curl_slist 链表的指针,如果是第一次添加,可传入 NULL。
string:要添加的请求头字符串,格式为 Header-Name: Header-Value。
返回值:返回更新后的链表指针。
- 回调函数设置相关的接口:
- CURLOPT_WRITEFUNCTION 和 CURLOPT_WRITEDATA
功能:CURLOPT_WRITEFUNCTION:设置一个回调函数,当服务器返回响应数据时,CURL 会调用该回调函数来处理响应数据。
CURLOPT_WRITEDATA:传递一个用户自定义的指针给回调函数,用于在回调函数中存储或处理数据。 - CURLOPT_READFUNCTION 和 CURLOPT_READDATA
功能:CURLOPT_READFUNCTION:设置一个回调函数,用于在发送数据时从用户提供的数据源中读取数据。
CURLOPT_READDATA:传递一个用户自定义的指针给回调函数,用于标识数据源。
- 多线程与异步操作相关的接口:
- curl_multi_init()
功能:初始化一个 CURLM 句柄,用于多线程或异步的网络操作。该句柄可以管理多个 CURL 句柄,实现并发请求。
返回值:成功时返回一个新的 CURLM 句柄指针;失败返回 NULL。 - curl_multi_add_handle(CURLM *multi_handle, CURL *easy_handle)
功能:将一个 CURL 句柄添加到 CURLM 句柄管理的句柄列表中,以便进行并发处理。
参数:
multi_handle:CURLM 句柄。
easy_handle:要添加的 CURL 句柄。 - curl_multi_perform(CURLM *multi_handle, int *still_running)
功能:在 CURLM 句柄管理的所有 CURL 句柄上执行网络操作。该函数会尝试处理尽可能多的请求,并返回仍在运行的请求数量。
参数:
multi_handle:CURLM 句柄。
still_running:指向一个整数的指针,用于存储仍在运行的请求数量。 - curl_multi_remove_handle(CURLM *multi_handle, CURL *easy_handle)
功能:从 CURLM 句柄管理的句柄列表中移除一个 CURL 句柄。
参数:
multi_handle:CURLM 句柄。
easy_handle:要移除的 CURL 句柄。 - curl_multi_cleanup(CURLM *multi_handle)
功能:释放 CURLM 句柄占用的所有资源。在使用完 CURLM 句柄后,必须调用此函数进行清理。
参数:multi_handle 是 CURLM 句柄。
接口流程使用:
简单的同步调用模式的使用流程:
- 调用curl_global_init()初始化libcurl ;
- 调用curl_easy_init()函数得到 easy;
- interface型指针 调用curl_easy_setopt()设置传输选项;
- 根据curl_easy_setopt()设置的传输选项,实现回调函数以完成用户特定任务;
- 调用curl_easy_perform()函数完成传输任务,返回错误码 ;
- 调用curl_easy_cleanup()释放内存;
- 调用curl_global_cleanup() (可以不用调用);
在整过过程中设置curl_easy_setopt()参数是最关键的,了解相关参数及对应作用很重要。
举例说明CURL的调用实现
//http回调写函数
static size_t CurlWriteBuffer(char *buffer, size_t size, size_t nmemb, std::string* stream)
{//第二个参数为每个数据的大小,第三个为数据个数,最后一个为接收变量size_t sizes = size*nmemb;if(stream == NULL) return 0;stream->append(buffer,sizes);return sizes;
}//http发送封装
int HttpClient::posturl(std::string& msg, std::string& url, bool IsSSL)
{CURL* pCurl=NULL; //一个libcurl的handleCURLcode res; //返回状态码std::string response; //返回信息curl_global_init(CURL_GLOBAL_ALL); //全局初始化pCurl = curl_easy_init(); //创建一个handle//设置请求头struct curl_slist* pHeader = NULL;//传json格式,字符编码为utf8header_ = curl_slist_append(pHeader ,"Content-Type: application/json;charset=utf-8");//添加请求头到handlecurl_easy_setopt(pCurl, CURLOPT_HTTPHEADER, pHeader );//设置URLcurl_easy_setopt(pCurl, CURLOPT_URL, url.c_str()); CURLOPT_WRITEFUNCTION 将后继的动作交给write_data函数处理curl_easy_setopt(pCurl,CURLOPT_POSTFIELDS,msg.c_str()); //post请求消息数据 curl_easy_setopt(pCurl,CURLOPT_POSTFIELDSIZE,msg.length()); //消息长度curl_easy_setopt(pCurl, CURLOPT_WRITEFUNCTION, CurlWriteBuffer); //回调函数curl_easy_setopt(pCurl,CURLOPT_WRITEDATA,&response); //数据接收变量curl_easy_setopt(pCurl,CURLOPT_TIMEOUT,m_settinginfo.m_http_timeout); //连接超时时间//不支持ssl验证if(m_settinginfo.m_ssl == 0){curl_easy_setopt(pCurl, CURLOPT_SSL_VERIFYPEER, 0);//设定为不验证证书和HOSTcurl_easy_setopt(pCurl, CURLOPT_SSL_VERIFYHOST, 0);}else{// 配置 https 请求所需证书if (m_settinginfo.m_ssl == 1) //ssl单向验证,不验证服务器{curl_easy_setopt(pCurl, CURLOPT_SSL_VERIFYPEER, 0L); }else{//双向验证curl_easy_setopt(pCurl, CURLOPT_SSL_VERIFYPEER, 1L);curl_easy_setopt(pCurl, CURLOPT_SSL_VERIFYHOST, 0);curl_easy_setopt(pCurl,CURLOPT_CAINFO,ca_info.ca_path.c_str()); }//设置客户端信息curl_easy_setopt(pCurl, CURLOPT_SSLCERT, ca_info.client_cert_path.c_str());curl_easy_setopt(pCurl,CURLOPT_SSLCERTTYPE,"PEM"); curl_easy_setopt(pCurl, CURLOPT_SSLKEY, ca_info.client_key_path.c_str());curl_easy_setopt(pCurl,CURLOPT_SSLKEYTYPE,"PEM"); //如果客户端证书密钥使用密码加密,设置加密密码//curl_easy_setopt(pCurl, CURLOPT_KEYPASSWD, "your_key_password");}//执行http连接res = curl_easy_perform(pCurl);//清除消息头curl_slist_free_all(pHeader);//清除handlecurl_easy_cleanup(pCurl);return 0;
}
再看一段完整的CURL封装成get,post等形式,进行字串传输和文件上传的请求,可以直接拿去使用。
//Http的Get请求
int HttpClient::ExecuteGetRequestCURL(const char* strUrl, const char* pszGet, const char* pszCookie, int nTimeOut)
{CURLcode res;m_strResponse = "";struct curl_slist* headers = NULL;CURL* curl = curl_easy_init();if (NULL == curl){return CURLE_FAILED_INIT;}std::string strOutData = strUrl;strOutData += pszGet;curl_easy_setopt(curl, CURLOPT_URL, strOutData.c_str());curl_easy_setopt(curl, CURLOPT_READFUNCTION, NULL);curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, OnWriteData);curl_easy_setopt(curl, CURLOPT_WRITEDATA, (void *)&m_strResponse);/*** 当多个线程都使用超时处理的时候,同时主线程中有sleep或是wait等操作。* 如果不设置这个选项,libcurl将会发信号打断这个wait从而导致程序退出。*/curl_easy_setopt(curl, CURLOPT_NOSIGNAL, 1);//连接超时设置10s,数据请求超时设置60scurl_easy_setopt(curl, CURLOPT_CONNECTTIMEOUT, 10);curl_easy_setopt(curl, CURLOPT_TIMEOUT, nTimeOut);res = curl_easy_perform(curl);if (res != CURLE_OK)m_strResponse = "";curl_easy_cleanup(curl);return res;
}
//Http的post请求
int HttpClient::ExecutePostRequestCURL(const char* strUrl, const char* pszKey, const char* pszPost, const char* pszCookie, int nTimeOut)
{CURLcode res;m_strResponse = "";CURL* curl = curl_easy_init();if (NULL == curl){return CURLE_FAILED_INIT;}///struct curl_slist* headerlist = NULL;struct curl_httppost* formpost = NULL;struct curl_httppost* last = NULL;//headerlist = curl_slist_append(headerlist, "Content-Type:application/json;charset=UTF-8");//curl_easy_setopt(curl, CURLOPT_HTTPHEADER, headerlist);res = curl_easy_setopt(curl, CURLOPT_ACCEPT_ENCODING, "gzip, deflate, br");//设置CURLOPT_ACCEPT_ENCODING (7.21.8之前为CURLOPT_ENCODING )if (CURLE_OK != res){curl_easy_cleanup(curl);return CURLE_FAILED_INIT;}curl_easy_setopt(curl, CURLOPT_TCP_KEEPALIVE, 1L);if (CURLE_OK != res){curl_easy_cleanup(curl);return CURLE_FAILED_INIT;}curl_formadd(&formpost, &last, CURLFORM_PTRNAME, pszKey, CURLFORM_PTRCONTENTS, pszPost, CURLFORM_END); //以这种方式上传可以避免特殊字符被改变if (CURLE_OK != res){curl_easy_cleanup(curl);return CURLE_FAILED_INIT;}curl_easy_setopt(curl, CURLOPT_HTTPPOST, formpost); //构造post参数 if (CURLE_OK != res){curl_easy_cleanup(curl);return CURLE_FAILED_INIT;}/curl_easy_setopt(curl, CURLOPT_URL, strUrl);if (CURLE_OK != res){curl_easy_cleanup(curl);return CURLE_FAILED_INIT;}//curl_easy_setopt(curl, CURLOPT_POST, 1);//curl_easy_setopt(curl, CURLOPT_POSTFIELDS, pszPost);curl_easy_setopt(curl, CURLOPT_READFUNCTION, NULL);if (CURLE_OK != res){curl_easy_cleanup(curl);return CURLE_FAILED_INIT;}curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, OnWriteData);if (CURLE_OK != res){curl_easy_cleanup(curl);return CURLE_FAILED_INIT;}curl_easy_setopt(curl, CURLOPT_WRITEDATA, (void *)&m_strResponse);if (CURLE_OK != res){curl_easy_cleanup(curl);return CURLE_FAILED_INIT;}curl_easy_setopt(curl, CURLOPT_NOSIGNAL, 1);if (CURLE_OK != res){curl_easy_cleanup(curl);return CURLE_FAILED_INIT;}if ((pszCookie != NULL)&&(strlen(pszCookie)>0)){ curl_easy_setopt(curl, CURLOPT_COOKIEFILE, (void *)&pszCookie);curl_easy_setopt(curl, CURLOPT_COOKIEJAR, (void *)&pszCookie);}//连接超时设置,数据请求超时设置curl_easy_setopt(curl, CURLOPT_CONNECTTIMEOUT, 10);curl_easy_setopt(curl, CURLOPT_TIMEOUT, nTimeOut);res = curl_easy_perform(curl);if (res != CURLE_OK){m_strResponse = "";// 获取详细错误信息const char* szErr = curl_easy_strerror(res);fprintf(stderr, "curl_easy_perform() failed: %s\n", szErr);}// 清空curl_easy_cleanup(curl);// 释放表单curl_formfree(formpost);// 释放表头curl_slist_free_all (headerlist); return res;
}//https的Get请求
int HttpClient::ExecuteHttpsGetCURL(const std::string & strUrl, const char* pszGet, const char * pCaPath, int nTimeOut)
{CURLcode res;CURL* curl = curl_easy_init();if (NULL == curl){return CURLE_FAILED_INIT;}std::string strOutData = strUrl;strOutData += pszGet;curl_easy_setopt(curl, CURLOPT_URL, strOutData.c_str());curl_easy_setopt(curl, CURLOPT_HEADER, 0 ); curl_easy_setopt(curl, CURLOPT_READFUNCTION, NULL);curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, OnWriteData);curl_easy_setopt(curl, CURLOPT_WRITEDATA, (void *)&m_strResponse);curl_easy_setopt(curl, CURLOPT_NOSIGNAL, 1);curl_easy_setopt(curl, CURLOPT_TIMEOUT, nTimeOut);if (NULL == pCaPath){curl_easy_setopt(curl, CURLOPT_SSL_VERIFYPEER, false);curl_easy_setopt(curl, CURLOPT_SSL_VERIFYHOST, false);}else{curl_easy_setopt(curl, CURLOPT_SSL_VERIFYPEER, true);curl_easy_setopt(curl, CURLOPT_CAINFO, pCaPath);}curl_easy_setopt(curl, CURLOPT_CONNECTTIMEOUT, 10);//curl_easy_setopt(curl, CURLOPT_TIMEOUT, 3);//curl_easy_setopt(curl, CURLOPT_FOLLOWLOCATION, 1);//curl_easy_setopt(curl,CURLOPT_TRANSFERTEXT,1); res = curl_easy_perform(curl);if (res != CURLE_OK)m_strResponse = "";curl_easy_cleanup(curl);return res;
}//https的Post请求
int HttpClient::ExecuteHttpsPostCURL(const std::string& strUrl, const std::string& strKey, const std::string& strPost, const std::string& strCookie, const char* pCaPath, int nTimeOut)
{CURLcode res;CURL* curl = curl_easy_init();if (NULL == curl){return CURLE_FAILED_INIT;}///struct curl_slist* headers = NULL;struct curl_httppost* post = NULL;struct curl_httppost* last = NULL;curl_easy_setopt(curl, CURLOPT_ACCEPT_ENCODING, "gzip, deflate, br");//设置CURLOPT_ACCEPT_ENCODING (7.21.8之前为CURLOPT_ENCODING )curl_easy_setopt(curl, CURLOPT_TCP_KEEPALIVE, 1L);curl_formadd(&post, &last, CURLFORM_PTRNAME, strKey.c_str(), CURLFORM_PTRCONTENTS, strPost.c_str(), CURLFORM_END); //以这种方式上传可以避免特殊字符被改变curl_easy_setopt(curl, CURLOPT_HTTPPOST, post); //构造post参数curl_easy_setopt(curl, CURLOPT_URL, strUrl.c_str());
// curl_easy_setopt(curl, CURLOPT_POST, 1);
// curl_easy_setopt(curl, CURLOPT_POSTFIELDS, strPost.c_str());curl_easy_setopt(curl, CURLOPT_READFUNCTION, NULL);curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, OnWriteData);curl_easy_setopt(curl, CURLOPT_WRITEDATA, (void *)&m_strResponse);curl_easy_setopt(curl, CURLOPT_NOSIGNAL, 1);//curl_easy_setopt(curl, CURLOPT_TIMEOUT, 60*5);//curl_easy_setopt(curl, CURLOPT_TIMEOUT, 60*5);if (strCookie.length()>0){curl_easy_setopt(curl, CURLOPT_COOKIEFILE, (void *)&strCookie);curl_easy_setopt(curl, CURLOPT_COOKIEJAR, (void *)&strCookie);}if (NULL == pCaPath){//curl_easy_setopt(curl, CURLOPT_SSL_VERIFYPEER, false);//curl_easy_setopt(curl, CURLOPT_SSL_VERIFYHOST, false);curl_easy_setopt(curl, CURLOPT_SSL_VERIFYPEER, 0L);curl_easy_setopt(curl, CURLOPT_SSL_VERIFYHOST, 0L);}else{//缺省情况就是PEM,所以无需设置,另外支持DER//curl_easy_setopt(curl,CURLOPT_SSLCERTTYPE,"PEM");curl_easy_setopt(curl, CURLOPT_SSL_VERIFYPEER, true);curl_easy_setopt(curl, CURLOPT_CAINFO, pCaPath);}curl_easy_setopt(curl, CURLOPT_CONNECTTIMEOUT, 20);curl_easy_setopt(curl, CURLOPT_TIMEOUT, nTimeOut);curl_easy_setopt(curl, CURLOPT_SSLVERSION, 3);res = curl_easy_perform(curl);curl_easy_cleanup(curl);return res;
}static size_t OnWriteData(void* buffer, size_t size, size_t nmemb, void* lpVoid)
{ std::string* str = reinterpret_cast<std::string*>(lpVoid);if (NULL == str || NULL == buffer){return -1;}char* pData = reinterpret_cast<char*>(buffer);str->append(pData, size * nmemb);return nmemb;
}long HttpClient::GetRespone(char* pszResponse, long &lRespLen)
{long lRet = 0;if (m_strResponse.length() <= 0){lRet = 1;goto err;}if (pszResponse == NULL){lRespLen = m_strResponse.length();goto err;}if (lRespLen < m_strResponse.length()){lRet = 1;goto err;}memset(pszResponse, 0, lRespLen);memcpy(pszResponse, m_strResponse.c_str(), m_strResponse.length());lRespLen = m_strResponse.length();
err:return lRet;
}long HttpClient::GetFileNameAndExt(const std::string & strFilePath,std::string & strFileName,std::string & strFileExt)
{long lRet = 0;strFileExt = "";strFileName = "";int nPos = strFilePath.rfind('.');if (nPos == -1){lRet = CURLE_FAILED_INIT; //文件不存在goto err;}strFileExt = strFilePath.substr(nPos+1, strFilePath.length());nPos = strFilePath.rfind('\\');if (nPos == -1){nPos = strFilePath.rfind('/');if (nPos == -1){strFileName = strFilePath;goto err;}}strFileName = strFilePath.substr(nPos+1, strFilePath.length());
err:return lRet;
}
//Http的post传文件请求
//strParamName是"bindingSeal",strParamVal值是对应的json包,strParamName2是"sealImages",strParamVal2值是图片名称
long HttpClient::HttpUploadFileCURL(LPCTSTR strUrl, const string& strFilePath, const string& strParamName, const string& strParamVal, const string& strParamName2, const string& strParamVal2, string& strResponse)
{CURL* curl;CURLcode res;long lRet = 0;std::string strFileName;std::string strFileExt;StringTool strTool;string strCRUL = strTool.WideToAsc(strUrl);lRet = GetFileNameAndExt(strFilePath, strFileName, strFileExt);if (lRet != 0)goto err;curl = curl_easy_init();struct curl_httppost* post = NULL;struct curl_httppost* last = NULL;if (curl == NULL){lRet = CURLE_FAILED_INIT;goto err;}curl_easy_setopt(curl, CURLOPT_URL, (char *)strCRUL.c_str()); //指定url//form-data key(path) 和 value(device_cover)curl_formadd(&post, &last, CURLFORM_PTRNAME, strParamName.c_str()/*"parma"*/, CURLFORM_PTRCONTENTS, strParamVal.c_str(), CURLFORM_END);curl_formadd(&post, &last, CURLFORM_PTRNAME, strParamName2.c_str(), CURLFORM_FILE, strFilePath.c_str(),CURLFORM_FILENAME, strFileName.c_str(),CURLFORM_CONTENTTYPE,"image/png", CURLFORM_END);//curl_formadd(&post, &last, CURLFORM_PTRNAME, strParamName2.c_str(), CURLFORM_FILE, strFilePath.c_str(),CURLFORM_FILENAME, strFileName.c_str(),CURLFORM_CONTENTTYPE,"image/PNG", CURLFORM_END);curl_easy_setopt(curl, CURLOPT_HTTPPOST, post); //构造post参数 curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, OnWriteData); //绑定相应curl_easy_setopt(curl, CURLOPT_WRITEDATA, (void *)&strResponse); //绑定响应内容的地址res = curl_easy_perform(curl); //执行请求if(res == 0){curl_easy_cleanup(curl); lRet = res;goto err;}else{lRet = res;goto err;}lRet = res;err:return lRet;
}
相关文章:
C++ 使用CURL开源库实现Http/Https的get/post请求进行字串和文件传输
CURL开源库介绍 CURL 是一个功能强大的开源库,用于在各种平台上进行网络数据传输。它支持众多的网络协议,像 HTTP、HTTPS、FTP、SMTP 等,能让开发者方便地在程序里实现与远程服务器的通信。 CURL 可以在 Windows、Linux、macOS 等多种操作系…...
[创业之路-276]:从燃油汽车到智能汽车:工业革命下的价值变迁
目录 前言: 从燃油汽车到智能汽车:工业革命下的价值变迁 前言: 燃油汽车,第一次、第二次工业革命,机械化、电气化时代的产物,以机械和电气自动化为核心价值。 智能汽车,第三次、第四次工业革…...
DeepSeek服务器繁忙问题的原因分析与解决方案
一、引言 随着人工智能技术的飞速发展,DeepSeek 等语言模型在众多领域得到了广泛应用。然而,在春节这段时间的使用过程中,用户常常遭遇服务器繁忙的问题,这不仅影响了用户的使用体验,也在一定程度上限制了模型的推广和…...
【python】简单的flask做页面。一组字母组成的所有单词。这里的输入是一组字母,而输出是所有可能得字母组成的单词列表
目录结构如下: . ├── static │ ├── css │ │ └── styles.css │ └── js │ └── scripts.js ├── templates │ ├── base.html │ ├── case_converter.html │ ├── index.html │ └── word_finder.html ├── app.py ├── tree.py…...
【华为OD-E卷 - 114 找最小数 100分(python、java、c++、js、c)】
【华为OD-E卷 - 找最小数 100分(python、java、c、js、c)】 题目 给一个正整数NUM1,计算出新正整数NUM2,NUM2为NUM1中移除N位数字后的结果,需要使得NUM2的值最小 输入描述 输入的第一行为一个字符串,字…...
Maven 依赖管理全面解析
目录 1. Maven 简介 2. 依赖的基本概念 依赖坐标 依赖范围 3. Maven 仓库 本地仓库 远程仓库 4. 依赖传递 5. 依赖冲突 6. 在 pom.xml 文件中管理依赖 基本依赖配置 依赖范围配置 依赖排除配置 依赖管理配置() 1. Maven 简介 Maven 是一个…...
基于C#语言的海康威视智能车牌识别系统
基于C#语言的海康威视智能车牌识别系统,通过布控对来往车辆进行检测抓拍 资源文件列表 AICar.sln , 984 AICar.sln.GhostDoc.xml , 1306 AICar.v12.suo , 72704 AICar/AICar.csproj , 3573 AICar/AICar.csproj.user , 228 AICar/bin/Debug/AICar.exe , 220672 AIC…...
RabbitMQ 从入门到精通:从工作模式到集群部署实战(五)
#作者:闫乾苓 系列前几篇: 《RabbitMQ 从入门到精通:从工作模式到集群部署实战(一)》:link 《RabbitMQ 从入门到精通:从工作模式到集群部署实战(二)》: lin…...
清理服务器/docker容器
清理服务器 服务器或docker容器清理空间。 清理conda环境 删除不用的conda虚拟环境: conda env remove --name python38 conda env remove --name python310清理临时目录:/tmp du -sh /tmp # 查看/tmp目录的大小/tmp 目录下的文件通常是可以直接删除…...
【专题】2024-2025人工智能代理深度剖析:GenAI 前沿、LangChain 现状及演进影响与发展趋势报告汇总PDF洞察(附原数据表)
原文链接:https://tecdat.cn/?p39630 在科技飞速发展的当下,人工智能代理正经历着深刻的变革,其能力演变已然成为重塑各行业格局的关键力量。从早期简单的规则执行,到如今复杂的自主决策与多智能体协作,人工智能代理…...
广度优先搜索(BFS)算法详解——以走迷宫问题为例
引言:当算法遇见迷宫 想象你置身于一个复杂的迷宫,如何在最短时间内找到出口?这个问题不仅存在于童话故事中,更是计算机科学中经典的路径搜索问题。本文将带你通过走迷宫问题,深入理解广度优先搜索(BFS&am…...
【大数据技术】用户行为日志分析(python+hadoop+mapreduce+yarn+hive)
用户行为日志分析(python+hadoop+mapreduce+yarn+hive) 搭建完全分布式高可用大数据集群(VMware+CentOS+FinalShell) 搭建完全分布式高可用大数据集群(Hadoop+MapReduce+Yarn) 本机PyCharm远程连接虚拟机Python 搭建完全分布式高可用大数据集群(MySQL+Hive)...
C语言基础之【数组和字符串】(上)
C语言基础之【数组和字符串】(上) 概述一维数组一维数组的定义一维数组的初始化一维数组的访问一维数组的遍历数组名一维数组的常用数据强化训练一维数组的最值一维数组的逆置一维数组的排序(冒泡排序) 二维数组二维数组的定义二维…...
Maven插件—flatten-maven-plugin:工程模块统一版本依赖
文章目录 前言一、认识flatten-maven-plugin插件二、如何使用flatten-maven-plugin插件?未使用flatten-maven-plugin插件之前的情况描述配置flatten-maven-plugin插件步骤1:最外层父模块安装插件&配置版本变量步骤2:各个自模块使用版本使…...
Linux系统 环境变量
环境变量 写在前面概念查看环境变量main函数的参数argc & argvenv bash环境变量 写在前面 对于环境变量,本篇主要介绍基本概念及三四个环境变量 —— PATH、HOME、PWD。其中 PATH 作为 “ 敲门砖 ”,我们会更详细讲解;理解环境变量的全局…...
TAPEX:通过神经SQL执行器学习的表格预训练
摘要 近年来,语言模型预训练的进展通过利用大规模非结构化文本数据取得了巨大成功。然而,由于缺乏大规模高质量的表格数据,在结构化表格数据上应用预训练仍然是一个挑战。本文提出了TAPEX,通过在一个合成语料库上学习神经SQL执行…...
Ruby:从宝石到编程语言的奇妙联系(中英双语)
Ruby:从宝石到编程语言的奇妙联系 在珠宝世界中,红宝石(Ruby)是一种象征热情、力量和高贵的珍贵宝石;而在编程世界中,Ruby则是一门灵活、优雅且富有创造力的编程语言。那么,这两者究竟有何联系…...
RLHF中的on-policy和off-policy的区别
在LLM(大语言模型)和RLHF(基于人类反馈的强化学习)中,on-policy和off-policy的主要区别在于数据的来源和策略更新的方式。以下是两者的详细对比以及各自的典型算法: On-policy 和 Off-policy 的区别 特性…...
计算机考研复试上机02
目录 3、排序 1)排序(华中科技大学复试上机题) 2)成绩排序(清华大学复试上机题) 3)特殊排序(华中科技大学复试上机题) 4)整数奇偶排序(北京大学复试上机题) 5)小白鼠排队(北京大学复试上机题) 4、查找 1)找 x(哈尔滨工业大学复试上机题) 2)查找(北…...
利用ETL工具进行数据挖掘
ETL的基本概念 数据抽取(Extraction):从不同源头系统中获取所需数据的步骤。比如从mysql中拿取数据就是一种简单的抽取动作,从API接口拿取数据也是。 数据转换(Transformation):清洗、整合和转…...
02DevOps基础环境准备
准备两台Linux的操作系统,最简单的方式就是在本机上使用虚拟机搭建两个操作系统(实际生产环境是两台服务器,虚拟机的方式用于学习使用) 我搭建的两台服务器的ip分别是192.168.1.10、192.168.1.11 192.168.1.10服务器用于安装doc…...
Kafka 入门与实战
一、Kafka 基础 1.1 创建topic kafka-topics.bat --bootstrap-server localhost:9092 --topic test --create 1.2 查看消费者偏移量位置 kafka-consumer-groups.bat --bootstrap-server localhost:9092 --describe --group test 1.3 消息的生产与发送 #生产者 kafka-cons…...
VM虚拟机安装群晖系统
下载群晖系统 https://download.csdn.net/download/hmxm6/90351935 安装群晖连接软件 synology-assistant-6.2-24922(在上面的压缩包里面) 准备好VM虚拟机 创建群晖虚拟机 打开下载下来的虚拟机 添加硬盘 选择类型 创建新的磁盘 指定容量 指定存储文件 完成硬盘添加…...
关于ESP-IDF 5.4 中添加第三方组件esp32-camera找不到文件,编译错误解决办法(花了一天时间解决)
最近需要使用ESP32-S3-CAM 的OV2640摄像头采集图像,为了加速开发进度,于是选择了esp32-camera组件,该组件不是官方组件,需要自己git clone。但在为项目添加esp32-camera组件时,一直编译错误,找不到头文件&a…...
【C++】C++11
目录 C11简介 统一的列表初始化 {}初始化 std::initializer_list 声明 auto decltype nullptr 范围for循环 智能指针 STL中的一些变化 右值引用和移动语义 左值引用和右值引用 右值引用的意义 完美转发 lambda表达式 新的类功能 可变参数模版 包装器 func…...
Intellij IDEA如何查看当前文件的类
快捷键:CtrlF12,我个人感觉记快捷键很麻烦,知道具体的位置更简单,如果忘了快捷键(KeyMap)看一下就记起来了,不需要再Google or Baidu or GPT啥的,位置:Navigate > Fi…...
CF 278A.Circle Line
题目分析 输入n个数据作为路径,求从a到b的最短距离,需要将其相成一个圆圈,既可以从小往大走又可以从大往小走 思路分析 依然将数据存为数组,通过下标进行操作,既然说了有两种方式那就计算两种方式哪个更快就输出谁 代…...
Naive UI去掉n-select下拉框边框,去掉n-input输入框边框
1、第一种通过js去掉 <template><div><div style"margin-top:10px;width: 100%;"><dade-descriptions><tr><dade-descriptions-item label"代理名称"><dade-input placeholder"代理名称"></dade-…...
(文末提供数据集下载)ML.NET库学习001:基于PCA的信用卡异常检查之样本处理与训练
文章目录 (文末提供数据集下载)ML.NET库学习001:基于PCA的信用卡异常检查之样本处理与训练目标项目概述代码结构概述1. **主要类和文件**2. **命名空间和使用指令**3. **数据类 (TransactionObservation)**4. **主程序入口 (Main 方法)**5. **数据预处理 (DataPrepr…...
疯狂SQL转换系列- SQL for Milvs2.4
鉴于Milvus仍在不停的迭代新版本,推出新功能,其SDK目前并不稳定。目前其2.4版本的SDK接口已与之前的2.2版本有了较大的差别,功能上也有了一定的调整。为此,我们重新提供了针对[Milvus2.4](https://github.com/colorknight/moql-tr…...
C++的 I/O 流
本文把复杂的基类和派生类的作用和关系捋出来,具体的接口请参考相关文档 C的 I/O 流相关的类,继承关系如下图所示 https://zh.cppreference.com/w/cpp/io I / O 的概念:内存和外设进行数据交互称为 I / O ,例如:把数…...
基于ansible部署elk集群
ansible部署 ELK部署 ELK常见架构 (1)ElasticsearchLogstashKibana:这种架构是最常见的一种,也是最简单的一种架构,这种架构通过Logstash收集日志,运用Elasticsearch分析日志,最后通过Kibana中…...
4.Python字符串和列表:字符串输入、字符串输出、下标和切片、字符串常见函数、列表(list)、列表的循环遍历、列表的增删改查、列表的嵌套、列表的切片
1. Python 字符串 1.1 字符串输入 input() 函数用于从用户获取字符串输入。它总是返回一个字符串类型的值。 # 从用户输入字符串 name input("请输入你的名字:") print(f"你好, {name}")1.2 字符串输出 字符串的输出通常使用 print() 函数…...
51单片机之使用Keil uVision5创建工程以及使用stc-isp进行程序烧录步骤
一、Keil uVision5创建工程步骤 1.点击项目,新建 2.新建目录 3.选择目标机器,直接搜索at89c52选择,然后点击OK 4.是否添加起吊文件,一般选择否 5.再新建的项目工程中添加文件 6.选择C文件 7.在C文件中右键,添加…...
Redis - 全局ID生成器 RedisIdWorker
文章目录 Redis - 全局ID生成器 RedisIdWorker一、引言二、实现原理三、代码实现代码说明 四、使用示例示例说明 五、总结 Redis - 全局ID生成器 RedisIdWorker 一、引言 在分布式系统中,生成全局唯一ID是一个常见的需求。传统的自增ID生成方式在分布式环境下容易出…...
Linux ftrace 内核跟踪入门
文章目录 ftrace介绍开启ftraceftrace使用ftrace跟踪指定内核函数ftrace跟踪指定pid ftrace原理ftrace与stracetrace-cmd 工具KernelShark参考 ftrace介绍 Ftrace is an internal tracer designed to help out developers and designers of systems to find what is going on i…...
Visual Studio(VS)没有显示垂直滚轮or垂直滚轮异常显示
前言: 前段时间,我换上了新电脑。满心欢喜地安装好 VS,准备大干一场时,却发现了一个小麻烦 —— 垂直滚轮显示异常(如图 1)。这种显示方式实在让我难以适应,每一次操作都觉得别扭。 于是&#…...
大数据数仓实战项目(离线数仓+实时数仓)3
1.课程内容和课程目标 2.订单时间维度指标需求分析 根据时间数据,生成一个时间维度表,我们后面还可以去复用这个时间维度表 3.使用kettle生成日期维度数据 Hive创建日期维度表 使用Kettle构建以下组件结构图 使用kettle生成日期维度数据插入到我们的hi…...
通过acme生成与续签ssl证书,并部署到nginx
通过acme生成与续签ssl证书,并部署到nginx 介绍 官方介绍: acme.sh 实现了 acme 协议,可以从 ZeroSSL,Lets Encrypt 等 CA 生成免费的证书。 安装 acme.sh 1. curl方式 curl https://get.acme.sh | sh -s emailmyexample.com…...
c语言对应汇编写法(以中微单片机举例)
芯片手册资料 1. 赋值语句 C语言: a 5; b a; 汇编: ; 立即数赋值 LDIA 05H ; ACC 5 LD R01,A ; R01 ACC(a5); 寄存器间赋值 LD A,R01 ; ACC R01(读取a的值) LD R02,A ; R02 ACC&…...
React基础内容(面试一)
React大厂常见的面试题目涉及多个方面,包括React的基本概念、组件、状态管理、生命周期、性能优化等。以下是对这些面试题目的详细解析: 一、React基本概念 解释React是什么以及它的主要特点 React是一个用于构建用户界面的JavaScript库,由F…...
2025年软件测试五大趋势:AI、API安全、云测试等前沿实践
随着软件开发的不断进步,测试方法也在演变。企业需要紧跟新兴趋势,以提升软件质量、提高测试效率,并确保安全性,在竞争激烈的技术环境中保持领先地位。本文将深入探讨2025年最值得关注的五大软件测试趋势。 Parasoft下载https://…...
常用工具类——Collections集合框架
常用工具类——Collections集合框架 Collections 是 JDK 提供的一个工具类,提供了一系列静态方法,分类来复习! 1.排序操作 reverse(List list) :反转顺序shuffle(List list) : 洗牌,将顺序打乱sort(List list) &…...
【大数据技术】搭建完全分布式高可用大数据集群(ZooKeeper)
搭建完全分布式高可用大数据集群(ZooKeeper) apache-zookeeper-3.8.4-bin.tar.gz注:请在阅读本篇文章前,将以上资源下载下来。 写在前面 本文主要介绍搭建完全分布式高可用集群 ZooKeeper 的详细步骤。 注意: 统一约定将软件安装包存放于虚拟机的/software目录下,软件…...
Docker Desktop安装kubernetes时一直在Starting:Kubernetes failed to start
原因:由于墙的问题,导致拉取国外的K8s镜像失败 解决: 下载 k8s-for-docker-desktop 选中自己的kubernetes 版本 下载zip包 PowerShell运行load_images.ps1文件 重启docker kubernetes运行成功...
物流中的物联网:其含义、应用和优势
随着世界联系日益紧密,物流格局正经历重大变革。科技已成为供应链管理的支柱,推动物流公司迈入效率与连通性兼具的新时代。 物联网(IoT)是一股变革性力量,重塑着物流与运输行业的架构。物联网在物流领域并非昙花一现的…...
Axure设计教程:动态排名图(中继器实现)
一、开篇 在Axure原型设计中,动态图表是展示数据和交互效果的重要元素。今天,我们将学习如何使用中继器来创建一个动态的排名图,该图表不仅支持自动轮播,还可以手动切换,极大地增强了用户交互体验。此教程旨在提供一个…...
【人工智能】掌握图像风格迁移:使用Python实现艺术风格的自动化迁移
《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门! 解锁Python编程的无限可能:《奇妙的Python》带你漫游代码世界 图像风格迁移(Image Style Transfer)是一种基于深度学习的计算机视觉技术,通过将一张图像的内容与另一张图像的艺术风格结合,生成一幅具…...
# C指针地址CUP寄存器访问IO内存映射
C指针地址&CUP寄存器访问&IO内存映射 在裸机编程中,C语言可以像汇编语言一样直接操作芯片寄存器地址进行读取和写入,主要是由于以下几个原因: 1. 裸机环境下没有操作系统的干预 裸机编程是指直接在硬件上运行程序,没有…...
UE5 蓝图学习计划 - Day 14:搭建基础游戏场景
在上一节中,我们 确定了游戏类型,并完成了 项目搭建、角色蓝图的基础设置(移动)。今天,我们将进一步完善 游戏场景,搭建 地形、墙壁、机关、触发器 等基础元素,并添加角色跳跃功能,为…...