当前位置： 首页 > news >正文

Web安全 - “Referrer Policy“ Security 头值不安全

news 来源：原创 2025/7/21 5:15:10

文章目录

  • 概述
  • 原因分析
  • 风险说明
  • `Referrer-Policy` 头配置选项
    • 1. 不安全的策略
      • `no-referrer-when-downgrade`
      • `unsafe-url`
    • 2. 安全的策略
      • `no-referrer`
      • `origin`
      • `origin-when-cross-origin`
      • `same-origin`
      • `strict-origin`
      • `strict-origin-when-cross-origin`
  • 推荐配置
    • Nginx 配置示例
  • 在 Nginx 中配置 `Referrer-Policy`
    • 配置示例
  • 总结

在这里插入图片描述

概述

在这里插入图片描述

原因分析

Referrer Policy（引用策略）是 Web 应用程序的一个关键配置，用于定义浏览器在向目标网站发送请求时，如何处理并发送 Referer 头信息。Referer 头可能包含敏感信息（例如：用户名、密码、文件路径、页面 URL 等），如果没有正确配置 Referrer-Policy，这些信息可能被暴露给跨站点（第三方）请求，从而导致安全漏洞。

不正确的配置（例如使用 no-referrer-when-downgrade 或 unsafe-url）可能会导致：

  • 敏感信息泄露：例如，包含敏感信息的 URL 可能会被无意间暴露给第三方网站。
  • 跨站点泄漏：如果不适当地泄露了 Referer，其他站点可能会获得该敏感数据。
  • 攻击者利用信息：例如，攻击者通过分析泄露的 Referer 信息，可能会获得关于用户身份、账户、甚至敏感资源的线索，从而进行攻击。

风险说明

在这里插入图片描述

  1. 敏感数据泄露：

    • 如果 Referrer-Policy 配置不当，用户在浏览页面时，URL 地址中可能会暴露敏感信息（如用户名、密码、身份标识符、路径信息等），这些信息可能会通过 Referer 头发送到外部站点。
    • 特别是在 HTTP 到 HTTPS 跳转或跨站点请求时，URL 中的敏感数据可以被泄露，进一步加大了信息泄露的风险。

  2. 用户信任受损：

    • 防备心不强的用户在网站上提供敏感信息（如信用卡号、社会保险号等）时，若系统没有正确保护其数据隐私（如通过不安全的 Referer 配置泄露了敏感信息），可能会引发信任危机。

  3. 潜在的跨站点攻击：

    • 不正确的 Referrer-Policy 使得敏感信息可以通过 Referer 头泄漏给不受信任的第三方站点，这可能会为攻击者提供利用跨站点漏洞（如 CSRF、XSS 等）的机会。

Referrer-Policy 头配置选项

"no-referrer-when-downgrade" 和 "unsafe-url" 是泄露第三方网站完整 URL 的策略，它们可能导致敏感信息泄漏。

1. 不安全的策略

no-referrer-when-downgrade

  • 定义：当请求从 HTTPS 协议降级到 HTTP 时，不会发送 Referer 头；但在其他情况下（包括 HTTPS 到 HTTPS，HTTP 到 HTTP），仍会发送完整的 Referer 头。
  • 风险：
    • 当从 HTTPS 页面跳转到 HTTP 页面时，浏览器不会发送 Referer 头，以防泄露信息。
    • 然而，在 HTTPS 到 HTTPS 或 HTTP 到 HTTP 的情况下，Referer 头会包含完整的 URL（包括路径和查询参数），这可能会泄露敏感数据。
    • 该策略不能完全保护隐私，尤其是跨站点的情况。

unsafe-url

  • 定义：始终发送完整的 Referer 头，包括 URL 的协议、主机、路径和查询参数，无论目标页面的协议如何。
  • 风险：
    • 这种配置会导致 Referer 头泄漏所有请求的详细信息，包括路径和查询字符串。
    • 即使请求从 HTTPS 页面跳转到 HTTP 页面，浏览器仍会发送完整的 URL，这可能会导致敏感信息（如会话 ID、用户数据等）泄漏。
    • 强烈不建议使用该策略，尤其在涉及敏感数据的站点上。

2. 安全的策略

与上述不安全的策略相比，以下是一些更为安全的 Referrer-Policy 配置，能够有效防止敏感信息泄漏。

no-referrer

  • 定义：完全禁止浏览器发送 Referer 头。
  • 优点：
    • 提供最高级别的隐私保护，不会泄露任何来源信息。
    • 防止所有跨站点的 Referer 泄露。
  • 缺点：
    • 对某些需要依赖 Referer 信息的功能（例如，分析或日志记录）会有影响。
    • 如果网站内部的某些操作依赖于 Referer，则需要考虑是否适合使用该策略。

origin

  • 定义：仅发送请求的源（域名），而不包含路径和查询参数。
    • 例如，Referer: https://example.com/ 而不是 https://example.com/path?query=param。
  • 优点：
    • 只泄露源（域名），不泄露路径或查询字符串，适合保护用户隐私。
  • 缺点：
    • 适用于需要保护隐私的跨站点请求，但在某些情况下，源信息可能不足以满足需要跟踪源的应用程序需求。

origin-when-cross-origin

  • 定义：当请求是同源请求时，发送完整的 Referer 头（包括路径和查询参数）；当请求是跨站点请求时，仅发送源（域名）。
  • 优点：
    • 为同源请求提供完全的 Referer 信息，而对于跨站点请求则仅泄露源信息，最大限度地减少跨站点泄露敏感信息的风险。
    • 推荐用于保护隐私并确保同源请求的正常运作。
  • 缺点：
    • 对跨站点请求仍然可能会限制某些分析或跟踪功能，但在隐私和安全性方面提供了更好的平衡。

same-origin

  • 定义：只有在请求目标与当前页面同源时，才会发送 Referer 头。跨站点请求将不发送 Referer。
  • 优点：
    • 最大限度地保护跨站点隐私，完全防止了跨站点泄漏 Referer 信息。
  • 缺点：
    • 对于跨站点请求（如 API 调用），无法发送 Referer 信息，这可能影响一些站点功能（如跨站点资源共享等）。

strict-origin

  • 定义：只有在请求的目标是安全站点（即 HTTPS）并且协议一致时，才发送 Referer 头。对跨站点请求的保护比 origin 更严格。
  • 优点：
    • 对跨站点请求有更强的隐私保护，确保只有同协议的请求会发送源信息。
  • 缺点：
    • 如果目标站点使用的是 HTTP 协议，甚至源信息也不会被发送。

strict-origin-when-cross-origin

  • 定义：如果请求是同源请求，则发送完整的 Referer 头；如果请求是跨站点请求，则仅发送源（域名）；且目标站点需要使用 HTTPS 协议时才会发送 Referer。
  • 优点：
    • 这是目前最为推荐的策略，在保证跨站点隐私的同时，允许同源请求发送完整的 Referer 信息。即使是跨站点请求，也只会泄露源信息，并且只有目标是安全的 HTTPS 网站时，才会发送 Referer 信息。
    • 提供了对隐私的最大保护，同时不会干扰正常功能。
  • 缺点：
    • 对于不使用 HTTPS 的目标站点，Referer 信息将不被发送。

推荐配置

对于大多数站点，strict-origin-when-cross-origin 是最佳选择，因为它在保障隐私和安全的同时，不会对大多数跨站点请求产生负面影响。

Nginx 配置示例

http {add_header Referrer-Policy "strict-origin-when-cross-origin" always;
}
  • 不安全的策略（如 no-referrer-when-downgrade 和 unsafe-url）会泄漏敏感信息，尤其是在跨站点请求时。
  • 推荐的策略（如 strict-origin-when-cross-origin、origin-when-cross-origin）能够在保持功能正常的同时，最大限度地保护用户隐私。
  • 配置 Referrer-Policy 头是 Web 安全的重要措施，确保适当配置可以降低泄漏敏感数据的风险。

在 Nginx 中配置 Referrer-Policy

可以通过在 Nginx 配置中设置适当的 Referrer-Policy 来避免泄漏敏感信息。

配置示例

  1. 全局设置：

    http {add_header Referrer-Policy "strict-origin-when-cross-origin" always;
}

  2. 虚拟主机设置：

    server {listen 80;server_name example.com;add_header Referrer-Policy "strict-origin-when-cross-origin" always;# 其他配置...
}

  3. 特定路径设置：

    server {listen 80;server_name example.com;location /some-path/ {add_header Referrer-Policy "no-referrer" always;}# 其他配置...
}

总结

  • Referrer-Policy 头是防止敏感数据泄露的有效工具。合理配置此头可以保护用户隐私，防止跨站点泄露敏感信息。
  • 避免使用不安全的策略，如 no-referrer-when-downgrade 和 unsafe-url，并优选使用 strict-origin-when-cross-origin 或更严格的策略。
  • 定期检查并更新你的 Web 应用配置，确保所有安全头都已正确设置，以减少潜在的安全风险。

在这里插入图片描述

相关文章：

Web安全 - “Referrer Policy“ Security 头值不安全

文章目录 概述原因分析风险说明Referrer-Policy 头配置选项1. 不安全的策略no-referrer-when-downgradeunsafe-url 2. 安全的策略no-referreroriginorigin-when-cross-originsame-originstrict-originstrict-origin-when-cross-origin 推荐配置Nginx 配置示例 在 Nginx 中配置 …...

编程日记 2025/7/21 5:15:10

Milvus×EasyAi：如何用java从零搭建人脸识别应用

如何从零搭建一个人脸识别应用？不妨试试原生Java人工智能算法：EasyAi Milvus 的组合拳。 本文将使用到的软件和工具包括： EasyAi：人脸特征向量提取Milvus：向量数据库用于高效存储和检索数据。 01. EasyAi：…...

编程日记 2025/7/21 6:46:07

CGAL windows 安装教程

1.下载源代码 CGAL官网下载https://github.com/CGAL/cgal/releases 2.下载boost库 BOOST官网下载https://www.boost.org/ 3.下载 GMP and MPFR 4.配置VS2022 头文件： 库路径 做完以上步骤，可以使用CGAL了！...

编程日记 2025/7/21 13:51:14

低代码开源项目Joget的研究——Joget8社区版安装部署

大纲 环境准备安装必要软件配置Java配置JAVA_HOME配置Java软链安装三方库 获取源码配置MySql数据库创建用户创建数据库导入初始数据 配置数据库连接配置sessionFactory（非必须，如果后续保存再配置）编译下载tomcat启动下载aspectjweaver移动jw…...

编程日记 2025/7/15 4:57:41

【Ubuntu 20.4安装截图软件 flameshot 】

步骤一： 安装命令： sudo apt-get install flameshot 步骤二： 设置快捷方式： Ubuntu20.4 设置菜单，点击 号 步骤三： 输入软件名称， 软件快捷命令（flameshot gui）&am…...

编程日记 2025/7/21 13:50:10

AUTOSAR 平台介绍 (R24-11新标准发布！)

AUTOSAR 平台介绍——R24-11 0引言 随着技术的不断进步和市场需求的变化，AUTOSAR在汽车行业中的重要性日益增强。R24-11版本作为AUTOSAR平台的重要更新，旨在提升系统性能、安全性和用户体验。本文将详细介绍R24-11版本的主要更新内容 1 AUTOSAR介绍 AUTOSAR汽车软件架构，旨…...

编程日记 2025/7/21 10:09:56

Framework开发入门（一）之源码下载

一、使用Linux操作系统的小伙伴可以跳转到官网链接按提示操作 官网源码地址：下载源代码 | Android Open Source Project 1.创建一个空目录来存放您的工作文件。为其指定一个您喜欢的任意名称： mkdir WORKING_DIRECTORYcdWORKING_DIRECTORY …...

编程日记 2025/7/21 13:53:48

CentOS7下的 OpenSSH 服务器和客户端

目录 1. 在 IP 地址为 192.168.98.11 的 Linux 主机上安装 OpenSSH 服务器； 2. 激活 OpenSSH 服务，并设置开机启动； 3. 在 IP 地址为 192.168.98.22 的 Linux 主机上安装 OpenSSH 客户端，使用客户端命令（ssh、 scp、…...

编程日记 2025/7/14 13:35:22

rocketmq5--（三）--broker发送消息给消费者

202412/30回过头来记录一下：之前一直找不到在哪里把消息丢给消费者（2024/11/23），找了很久都没找到，就放弃了，然后发现，我靠原来是在poplongpollingservice里。。。。还是乱打断点，偶…...

编程日记 2025/7/16 23:11:15

QComboBox中使用树形控件进行选择

事情是这样的，要在一个ComboBox中通过树形结构进行内容的选择。 默认的QComboBox展开是下拉的列表。因此需要定制一下。 效果就是这样的 实现上面效果的核心代码就是下面这样的 MainWindow::MainWindow(QWidget *parent) : QMainWindow(parent) { treenew…...

编程日记 2025/7/19 16:13:24

单片机中运行多个定时器

在单片机的裸机编程环境中，同时运行多个定时器是完全可行的，但需要注意一些关键点以确保系统的稳定性和效率。以下是一些考虑因素和实现方法： 1. 硬件支持 定时器数量：首先确认您的单片机是否具备足够的定时器资源。大多数现代…...

编程日记 2025/7/21 13:59:55

go 模拟TCP粘包和拆包，及解决方法

1. 什么是 TCP 粘包与拆包？ 粘包（Sticky Packet） 粘包是指在发送多个小的数据包时，接收端会将这些数据包合并成一个数据包接收。由于 TCP 是面向流的协议，它并不会在每次数据发送时附加边界信息。所以当多个数据包按顺…...

编程日记 2025/7/19 11:16:42

论文笔记PhotoReg: Photometrically Registering 3D Gaussian Splatting Models

1.abstract 最近推出的3D高斯飞溅(3DGS)，它用多达数百万个原始椭球体来描述场景，可以实时渲染。3DGS迅速声名鹊起。然而，一个关键的悬而未决的问题仍然存在：我们如何将多个3DG融合到一个连贯的模型中？解决这个问题将使…...

编程日记 2025/7/21 14:05:57

宝塔服务器安装备份配置

1.服务器下载安装宝塔功能 if [ -f /usr/bin/curl ];then curl -sSO https://download.bt.cn/install/install_panel.sh;else wget -O install_panel.sh https://download.bt.cn/install/install_panel.sh;fi;bash install_panel.sh ed8484bec执行后选择y 等待下载完成会给出…...

编程日记 2025/7/21 14:01:03

ubuntu22 安装CUDA

在Ubuntu系统中，使用nvidia-smi命令可以看到当前GPU信息，在右上角可以看到CUDA Version，意思是最大支持的CUDA版本号。 安装下载 CUDA Toolkit 11.6 Downloads | NVIDIA Developer https://developer.nvidia.com/cuda-downloads?target_osL…...

编程日记 2025/7/20 17:22:29

LabVIEW故障诊断中的无故障数据怎么办

在使用LabVIEW进行故障诊断时，可能会面临“无故障数据”的情况。这种情况下，缺乏明确的故障参考，使得系统难以通过传统对比法进行故障识别。本文将介绍应对无故障数据的关键策略，包括数据模拟、特征提取和基于机器学习的方法&…...

编程日记 2025/7/21 13:50:10

开发模式选择与最佳实践指南20241230

开发模式选择与最佳实践指南 引言 在现代软件开发中，选择合适的开发模式直接影响项目的开发效率和质量。本文将帮助您： 🎯 了解三种主流开发模式的优缺点💡 根据项目特点选择最适合的开发模式🔧 掌握混合开发模式的…...

编程日记 2025/7/21 14:01:02

超详细！一文搞定PID！嵌入式STM32-PID位置环和速度环

本文目录 一、知识点1. PID是什么？2. 积分限幅--用于限制无限累加的积分项3. 输出值限幅--用于任何pid的输出4. PID工程 二、各类PID1. 位置式PID（用于位置环）（1）公式（2）代码使用代码 2. 增量式…...

编程日记 2025/7/21 13:55:56

Redhat7 PCS建立无共享存储浮动地址集群

更新记录 日期版本号内容9/22/2024Ver 1.0重新排版修正 0写在前面 0.1 简述 时间有限使用VMware6.7环境使用Centos7.8最小化安装方式（不用配置本地yum仓库）注意查看主机名（主机双机操作，部分单机操作） 序号HostIPAd…...

编程日记 2025/7/21 13:57:34

爱思唯尔word模板

爱思唯尔word模板 有时候并不一定非得latex https://download.csdn.net/download/qq_38998213/90199214 参考文献书签链接...

编程日记 2025/7/21 14:08:47

交换机Vlan中 tagged和untagged的区别

pvid，tagged与untagged pvid是交换机一个端口上的id，一个端口只能有一个pvid，多个端口可以有相同的pvid。 一：接收数据 Untagged：不管收到的数据帧是否已经有VLAN标记，将数据帧中的vlan标记修改为自己的pvi…...

编程日记 2025/7/16 14:57:26

软件需求分析期末知识点整理

前言：本文为wk学子量身打造，帮助大家少挂科。主要根据ls的会议进行整理。懂得都懂。 重点还是多看看课本 第2章 需求获取的方法 第3章 3.1.2 控制需求(案例*2) 第4章 4.3 范式 第5章 5.2.3 原子功能(案例) 5.2.4 划分功能(案例)5.3.3 工作流图(画图) 第…...

编程日记 2025/7/20 20:01:23

PyAudio使用手册

PyAudio 是一个功能强大的 Python 库，用于在 Python 中进行音频输入和输出操作 1. 安装 在使用 PyAudio 之前，需要先安装它。可以使用 pip 进行安装： pip install pyaudio在某些系统（如 Ubuntu）上，可能还需…...

编程日记 2025/7/16 21:06:08

总结TCP/IP四层模型

总结TCP/IP四层模型 阅读目录(Content) 一、TCP/IP参考模型概述 1.1、TCP/IP参考模型的层次结构二、TCP/IP四层功能概述 2.1、主机到网络层　 2.2、网络互连层　 2.3、传输层　 2.3、应用层 三、TCP/IP报文格式 3.1、IP报文格式3.2、TCP数据段格式3.3、UDP数据段格式3.4、套…...

编程日记 2025/7/21 4:59:42

《深入挖掘Python加解密：自定义加密算法的设计与实现》

利用python实现加解密 在正式编写各种加解密前，我们先写个小案例，如下。 封面在文末呦！ 基础加解密-源码 # 加密 def encode():source01 乐茵for c in source01:ascii01 ord(c)ascii01 1print(chr(ascii01), end)# 解密 def decode():…...

编程日记 2025/7/16 20:29:11

【前端，TypeScript】TypeScript速成（六）：函数

函数 函数的定义 定义一个最简单的加法函数： function add(a: number, b: number): number {return a b }（可以看到 JavaScript/TypeScript 的语法与 Golang 也非常的相似） 调用该函数： console.log(add(2, 3)) // out [LOG…...

编程日记 2025/7/21 4:31:06

Python中元组（tuple）内置的数据类型

在Python中，元组（tuple）是一种内置的数据类型，用于存储不可变的有序元素集合。元组在很多方面与列表（list）相似，但它们之间存在一些关键的区别。以下是关于Python元组的详细解释： 定…...

编程日记 2025/7/16 5:00:59

AI安全的挑战：如何让人工智能变得更加可信

引言 随着人工智能（AI）技术在各个领域的广泛应用，尤其是在医疗、金融、自动驾驶和智能制造等行业，AI正在重塑我们的工作和生活方式。从提高生产效率到实现个性化服务，AI带来了前所未有的便利。然而，在享受这…...

编程日记 2025/7/17 20:10:27

redis用途都有哪些

Redis，作为一个开源的高性能键值对数据库，其用途广泛且功能强大。 1. 缓存（Caching）： • Redis常被用作缓存层，存储那些频繁访问但不易改变的数据，如用户会话、商品详情等。 • 通过将这些数据存…...

编程日记 2025/7/20 6:02:38

【Django篇】--动手实现路由模块化与路由反转

一、路由模块化 在一个Django项目中，由于功能类别不同，因此需要将不同功能进行模块化设计。在Django项目中模块化设计则需要将不同模块封装为对应的app模块，每一个模块中涉及到的路由则也需要进行模块化设计，才能更好的让整个项目…...

编程日记 2025/7/21 10:09:20

自研国产零依赖前端UI框架实战008 用户表单以及随机ID

前言 通过前面的努力,我们的组件已经越来越多了,我们的功能也越来越完善. 不过我们的新增用户的功能还没有做. 接下来, 就让我们实现新增用户的功能. 显示新增用户的表单 首先, 我们先把新增用户的表单显示出来. 我们可以复用之前的组件. <zdp_button1 text"新增…...

编程日记 2025/7/11 8:11:53

【数据结构-单调队列】力扣LCR 184. 设计自助结算系统

请设计一个自助结账系统&#xff0c;该系统需要通过一个队列来模拟顾客通过购物车的结算过程&#xff0c;需要实现的功能有&#xff1a; get_max()&#xff1a;获取结算商品中的最高价格&#xff0c;如果队列为空&#xff0c;则返回 -1 add(value)&#xff1a;将价格为 value …...

编程日记 2025/7/19 13:28:37

项目管理和协作平台Maintainer、Guest、Reporter、Owner 和 Developer 是常见的用户角色

在项目管理和协作平台上&#xff0c;Maintainer、Guest、Reporter、Owner 和 Developer 是常见的用户角色&#xff0c;每个角色有不同的权限和责任。以下是这些角色的详细区别&#xff1a; 1. Guest&#xff08;访客&#xff09; 权限&#xff1a;最低级别的权限。访问&#…...

编程日记 2025/7/19 23:24:32

探索电商数据：爬取不同平台商品信息的Python实践

在数字化时代&#xff0c;电商平台的商品信息成为了宝贵的数据资源。除了亚马逊&#xff0c;全球还有许多电商平台的商品信息值得爬取。本文将介绍几个值得关注的电商平台&#xff0c;并提供Python代码示例&#xff0c;展示如何爬取这些平台的商品信息。 1. 京东 (JD.com) 京…...

编程日记 2025/7/20 19:30:09

Autoware Universe 安装记录

前提&#xff1a; ubuntu20.04&#xff0c;英伟达显卡。 演示&#xff1a;https://www.bilibili.com/video/BV1z4CbYFEwr/?spm_id_from333.337.search-card.all.click ROS2-Galactic安装 wget http://fishros.com/install -O fishros && . fishros 选择galactic(R…...

编程日记 2025/7/18 1:14:36

CAT3D: Create Anything in 3D with Multi-View Diffusion Models 论文解读

24年5月的论文&#xff0c;上一版就是ReconFusion 目录 一、概述 二、相关工作 1、2D先验 2、相机条件下的2D先验 3、多视角先验 4、视频先验 5、前馈方法 三、Method 1、多视角扩散模型 2、新视角生成 3、3D重建 一、概述 该论文提出一种CAT3D方法&#xff0c;实现…...

编程日记 2025/7/19 6:38:34

群落生态学研究进展▌Hmsc包对于群落生态学假说的解读、Hmsc包开展单物种和多物种分析的技术细节及Hmsc包的实际应用

HMSC&#xff08;Hierarchical Species Distribution Models&#xff09;是一种用于预测物种分布的统计模型。它在群落生态学中的应用广泛&#xff0c;可以帮助科学家研究物种在不同环境条件下的分布规律&#xff0c;以及预测物种在未来环境变化下的潜在分布范围。 举例来说&a…...

编程日记 2025/7/19 13:28:19

C 进阶 — 程序环境和预处理

C 进阶 — 程序环境和预处理 主要内容 程序的编译和执行环境 C 程序编译和链接 预定义符号 预处理指令 #define 预处理指令 #include 预处理指令 #undef 预处理操作符 # 和 ## 宏和函数对比 命令行定义 条件编译 一 程序的编译和执行环境 ANSI C 存在两个不同环境…...

编程日记 2025/7/20 14:04:20

基于单片机的温湿度采集系统（论文+源码）

2.1系统的功能 本系统的研制主要包括以下几项功能&#xff1a; (1)温度检测功能&#xff1a;对所处环境的温度进行检测&#xff1b; (2)湿度检测功能&#xff1a;对所处环境的湿度进行检测&#xff1b; (3)加热和制冷功能&#xff1a;可以完成加热和制冷功能。 (4)加湿和除…...

编程日记 2025/7/21 12:12:09

【数据分析处理之缺失值】

文章目录 一、缺失值的影响1. 统计分析的偏差2. 机器学习模型的性能下降3. 数据质量和可信度下降4. 数据利用率降低5. 增加数据预处理的复杂度 二、识别缺失值1. 使用工具识别缺失值2. 可视化缺失数据 三、处理缺失值的策略1. 删除含缺失值的行或列2. 填充缺失值a. 用常数填充b…...

编程日记 2025/7/20 22:00:27

【大模型实战篇】Mac本地部署RAGFlow的踩坑史

1. 题外话 最近一篇文章还是在11月30日写的&#xff0c;好长时间没有打卡了。最近工作上的事情特别多&#xff0c;主要聚焦在大模型的预训练、微调和RAG两个方面。主要用到的框架是Megatron-DeepSpeed&#xff0c;后续会带来一些分享。今天的文章主要聚焦在RAG。 近期调研了一系…...

编程日记 2025/7/18 1:31:25

SQL Server实现将分组的其他字段数据拼接成一条数据

在 SQL Server 中&#xff0c;可以使用 STRING_AGG 函数&#xff08;SQL Server 2017 及更高版本支持&#xff09;将分组的其他字段数据拼接成一条数据。以下是示例代码&#xff1a; 假设有一个表 Orders&#xff0c;结构如下&#xff1a; OrderIDCustomerIDProduct1C001Appl…...

编程日记 2025/7/20 8:52:42

STM32 高级 物联网通讯之蓝牙通讯

目录 蓝牙基础知识 蓝牙概述 蓝牙产生背景 蓝牙发展历程 蓝牙技术类型 经典蓝牙（BR/EDR和AMP） 低功耗蓝牙（BLE） 市场上常见蓝牙架构 SOC蓝牙单芯片方案 SOC蓝牙+MCU方案 蓝牙host+controller分开方案 蓝牙协议栈 蓝牙芯片架构 BLE低功耗蓝牙协议栈框架 物理…...

编程日记 2025/7/18 20:33:07

堆排序基础与实践：如何在Java中实现堆排序

目录 一、堆排序的基本原理 二、堆排序的实现步骤 三、堆排序的时间复杂度和空间复杂度 四、堆排序的工作流程 五、堆排序的优缺点 六、堆排序的应用场景 堆排序&#xff08;Heap Sort&#xff09;是一种基于堆数据结构的排序算法。堆是一种特殊的完全二叉树&#xff0c;…...

编程日记 2025/7/20 10:08:56

你有哪些Deep Learning（RNN、CNN）调参的经验？

在深度学习的实践中&#xff0c;调参是一项既艺术又科学的工作。它不仅需要理论知识的支撑&#xff0c;还需要大量的实践经验。以下是一些在RNN和CNN模型调参中积累的经验&#xff0c;希望对正在这个领域摸索的朋友们有所帮助。 1. 从成熟的开源项目开始 对于初学者来说&…...

编程日记 2025/7/16 23:05:56

小程序租赁系统开发的优势与应用探索

内容概要 在如今这个数码科技飞速发展的时代&#xff0c;小程序租赁系统开发仿佛是一张神奇的魔法卡&#xff0c;能让租赁体验变得顺畅如丝。想象一下&#xff0c;无论你需要租用什么&#xff0c;从单车到房屋&#xff0c;甚至是派对用品&#xff0c;只需动动手指&#xff0c;…...

编程日记 2025/7/20 20:21:50

Spring Boot教程之三十九： 使用 Maven 将 Spring Boot 应用程序 Docker 化

如何使用 Maven 将 Spring Boot 应用程序 Docker 化&#xff1f; Docker是一个开源容器化工具&#xff0c;用于在隔离环境中构建、运行和管理应用程序。它方便开发人员捆绑其软件、库和配置文件。Docker 有助于将一个容器与另一个容器隔离。在本文中&#xff0c;为了将Spring B…...

编程日记 2025/7/10 9:23:06

Day58 图论part08

拓扑排序精讲 拓扑排序看上去很复杂，其实了解其原理之后，代码不难 代码随想录 import java.util.*;public class Main{public static void main (String[] args) {Scanner sc = new Scanner(System.in);int n = sc.nextInt();int m = sc.nextInt();List<List<Integer&…...

编程日记 2025/7/20 18:12:19

u3d中JSON数据处理

一.认识JSON 1.1 Json概述 JSON&#xff08;JavaScript Object Notation&#xff0c;JavaScript对象表示法&#xff09;JSON和XML是比较类似的技术&#xff0c;都是用来存储文本信息数据的&#xff1b;相对而言&#xff0c;JSON比XML体积更小巧&#xff0c;但是易读性不如XML…...

编程日记 2025/7/19 1:10:32

大语言模型（LLM）一般训练过程

大语言模型（LLM）一般训练过程 数据收集与预处理 收集：从多种来源收集海量文本数据，如互联网的新闻文章、博客、论坛，以及书籍、学术论文、社交媒体等，以涵盖丰富的语言表达和知识领域。例如，训练一个通用型的LLM时，可能会收集数十亿甚至上百亿字的文本数据.清洗：去除…...

编程日记 2025/7/18 18:53:17