当前位置：首页 > news >正文

nginx自编译重现gzip和chunked的现象

news 来源：原创 2025/8/26 10:40:17

前言

最近做项目，发现一个比较好玩的事，nginx的module gzip模式默认支持1KB压缩，和chunked返回，本来现在的很多框架都很完善了，但是，一些新语言框架或者一些老旧框架会不能完整支持chunked，导致出现各种各样的问题，表现为实际已经chunked，但是因为是1KB才触发，所以打上了content-length的属性，但是chunked不能有这个属性，实际也不需要。

自编译

笔者本机是macmini m4，本来也可以brew安装nginx，但是因为ARM cpu的特性，自编译以求最大性能，brew目前不知道有多少是x86的软件。

第一步，下载nginx源码：nginx: download

然后解压执行

./configure

报错

./configure: error: the HTTP rewrite module requires the PCRE library.
You can either disable the module by using --without-http_rewrite_module
option, or install the PCRE library into the system, or build the PCRE library
statically from the source with nginx by using --with-pcre=<path> option.

好吧，没安装pcre的包，下载：https://sourceforge.net/projects/pcre/

指定路径，当然也可以不使用http_rewrite_module

./configure --with-pcre=./pcre-8.45

然后执行

make

再执行

make install

提示没有权限，加上权限后，因为放在/usr/local/下

cd /usr/local/nginx && ll && pwd

可以设置环境变量，方便直接命令启动

示例

启动nginx需要root权限

sudo ./nginx -c ../conf/nginx.conf

这里的-c config是指从nginx的安装目录查找配置

然后看看nginx加载了哪些模块，实际上因为刚刚启动没加载模块配置，只有编译的默认模块

huahua@huahuadeMac-mini sbin % ./nginx -V
nginx version: nginx/1.26.3
built by clang 16.0.0 (clang-1600.0.26.6)
configure arguments: --with-pcre=./pcre-8.45

默认不gzip

这个时候可以看到nginx没加载什么模块，当然也包括gzip，如果放一些html文件看看

然后执行：localhost:80/1.html

并没有gzip，源文件返回

gzip模块加载

./configure --help | grep gzip

enable表示需要加上模块，disable表示不需要，一般是without开头，表示默认就加载了这个模块

重新编译，加上这些模块，当然生产上尽量多编译一些模块，或者使用别人编译好模块的2进制程序

./configure --with-http_gzip_static_module --with-pcre=./pcre-8.45

这里千万别加上--without-http_gzip_module，我看网上很多说这个约等于--with-http_gzip_static_module，实际不是的，这个without默认状态是disable，表示支持gzip，加上就是without enable，表示不开启gzip

退出nginx，当然也可以指定nginx目录编译，再reload

./configure --prefix=/usr/local/nginx --with-http_gzip_static_module --with-pcre=./pcre-8.45

再执行make，然后nginx reload

此时如果不配置，仍然不会执行gzip，配置如下

# 开启和关闭gzip模式
gzip on;
# gizp压缩起点，文件大于1k才进行压缩
gzip_min_length 1k;
# 设置压缩所需要的缓冲区大小，以4k为单位 
gzip_buffers 4 16k;
# 设置gzip压缩针对的HTTP协议版本
gzip_http_version 1.0;
# gzip 压缩级别，1-9，数字越大压缩的越好，占用CPU时间越长
gzip_comp_level 2;
# 进行压缩的文件类型
gzip_types text/plain application/javascript text/css application/xml;
# 是否在http header中添加Vary: Accept-Encoding，建议开启
gzip_vary on;

再试一次，请求方把可接受的编码发送出去，其中有gzip（最常用）

服务端，根据自身支持情况，比如gzip，默认1k就压缩了，然后chunked返回

chunked编码的格式

springboot

实际上SpringBoot默认就会使用chunked编码

明显跟nginx有所区别，nginx有大小限制，比如1K，但是SpringBoot默认使用chunked的编码，header跟nginx略有不同，表现为响应header少了nginx的配置内容。

总结

其实gzip并不是最近才有的，以前我们经常压缩html，节省前端资源的传输带宽，只不过最近发现一些老旧项目对chunked支持不友好，导致nginx 1K以上就chunked导致请求报错。然后发现SpringBoot默认就chunked😁。

nginx编译中实际上网上很多内容是复制的，笔者自己实践发现有些参数实际上不应该加上，理解也是跟我们认知有一定的理解偏差，实践发现without 状态要为disable，表示默认已经支持了，不需要加参数， with的模块需要编译加上参数，状态为enable。

nginx自编译重现gzip和chunked的现象

前言最近做项目，发现一个比较好玩的事，nginx的module gzip模式默认支持1KB压缩，和chunked返回，本来现在的很多框架都很完善了，但是，一些新语言框架或者一些老旧框架会不能完整支持chunked，导致…...

编程日记 2025/8/26 10:40:17

RNN - 循环神经网络（概念介绍）

RNN 潜变量自回归模型使用潜变量 h t h_t ht 总结过去信息 p ( h t ∣ h t − 1 , x t − 1 ) p(h_t | h_{t-1}, x_{t-1}) p(ht∣ht−1,xt−1) p ( x t ∣ h t , x t − 1 ) p(x_t | h_t, x_{t-1}) p(xt∣ht,xt−1) 循环神经网络更新隐藏状态&#xff1…...

编程日记 2025/8/26 10:37:42

OpenCV的详细介绍与安装（一）

1.OpenCV概述 OpenCV是一个开源的计算机视觉和机器学习软件库， 它轻量级而且高效——由一系列 C 函数和少量 C 类构成，它支持多种编程语言（如C、Python、Java），并可在Windows、Linux、macOS、Android和iOS等平台上运行…...

编程日记 2025/8/25 17:35:25

50、Spring Boot 详细讲义（七） Spring Boot 与 NoSQL

七 Spring Boot 与 NoSQL 目录 MongoDB 集成Redis 集成Elasticsearch 集成1、 MongoDB 集成 1.1 MongoDB 概述 1.1.1 MongoDB 的基本概念文档型数据库：数据存储为类似 JSON 的文档结构（BSON 格式）。每个文档由字段和值对组成，类似于键值对。支持嵌入式文档和数组，灵活…...

编程日记 2025/8/25 17:24:06

微信小程序组件传参

微信小程序组件传参感觉和vue还是挺像的父组件向子组件传参在小程序中父组件子组件传参，主要使用properties属性。演示下： 创建组件文件夹component，创建组件demoComponent，记得创建的时候选择组件，不是page页面 …...

编程日记 2025/8/26 10:31:01

C++实用函数：bind

本篇来介绍了C++中bind功能。 1 std::bind 在 C++ 里，std::bind 是一个函数模板，其作用是创建一个可调用对象，该对象可绑定到一组参数上。std::bind 的函数原型如下： template< class F, class... Args > /*unspecified*/ bind( F&& f, Args&&...…...

编程日记 2025/8/26 10:29:25

C# 程序结构||C# 基本语法

原文：C# 程序结构_w3cschool （注：本文为教程文章，请勿标记为付费文章！特此声明） 本节我们将学习 C# 编程语言的结构，为了让大家能够对 C# 程序结构有个更好的理解，我们会先演示一个…...

编程日记 2025/8/25 13:27:27

分库分表-除了hash分片还有别的吗？

在分库分表的设计中，除了常见的 Hash 分片，还有多种策略根据业务场景灵活选择。以下是几种主流的分库分表策略及其应用场景、技术实现和优缺点分析，结合项目经验（如标易行投标服务平台的高并发场景）进行说明：一、常见分库分表策略 1. 范围分片（Range Sharding）原理：…...

编程日记 2025/8/26 10:29:25

单片机非耦合业务逻辑框架

在小型单片机项目开发初期，由于业务逻辑相对简单，我们往往较少关注程序架构层面的设计。然而随着项目经验的积累，开发者会逐渐意识到模块间的耦合问题：当功能迭代时，一处修改可能引发连锁反应。此时，构…...

编程日记 2025/8/25 13:49:24

WordPress - 此站点出现严重错误

本篇讲当WordPress出现此站点出现严重错误时，该如何解决。目录 1，现象 2， FAQ 3，管理Menu无法打开下面是详细内容。 1，现象此站点出现严重错误（このサイトで重大なエラーが発生しました&#x…...

编程日记 2025/8/26 10:31:23

Java EE(8)——线程安全总结(翻新版)——定时器(Timer)线程池(ThreadPoolExecutor)

1.Timer 1.1Timer基本介绍 1.Timer的主要作用任务调度：Timer允许你安排一个任务在未来的某个时间点执行，或者以固定的间隔重复执行后台执行：Timer可以使用一个后台线程来执行任务，这意味着调度和执行任务不会阻塞主线程(主线程…...

编程日记 2025/8/26 10:37:43

#[特殊字符]Rhino建模教程 · 第一章：正方体建模入门

🦏Rhino建模教程第一章：正方体建模入门本章将从最基础的操作入手，带你一步步掌握Rhino建模的核心流程，适合新手或需要复习基础的用户。 🎯 目标：制作一个带凹槽、圆角、封盖的正方体模型，并…...

编程日记 2025/8/25 16:18:49

Build ERSEM Make a “build” folder, and go into the build folder. Create “build_archer2.edit.sh” #!/usr/bin/env bash# Script for compiling FVCOM-FABM-ERSEM for ARCHER2 # # The build is split into three phases: # # 1) Build the FABM-ERSEM library. Her…...

编程日记 2025/8/22 19:08:34

关于QT5项目只生成一个CmakeLists.txt文件

编译器自动检测明明可以检测,Kit也没有报红但是最后生成项目只有一个文件一：检查cmake版本，我4.1版本cmake一直报错 cmake3.10可以用解决之后还是有问题把环境变量加上去：...

编程日记 2025/8/24 5:02:31

C++ string类

1.标准库中的string类在 C 里，string类属于标准库的一部分，它在<string>头文件中定义，用于处理和操作字符串。 1.1string类的常用接口说明 1.1.1. string类对象的常见构造 string() （重点） 构造空的string类…...

编程日记 2025/8/25 13:00:04

如何使用ChatGPT撰写短视频爆款文案

短视频已经成为了互联网内容消费的重要形式，吸引观众的眼球成为内容创作者的首要任务。在短视频平台的内容过载中，如何写出一篇能够迅速吸引观众点击、分享并获得高互动的爆款文案，是每个短视频创作者都在追求的目标。今天，我们将…...

编程日记 2025/8/22 4:14:38

基于Tesseract与Opencv的电子发票识别[1]

本文我们将尝试使用tesseract识别电子发票上的信息并不断提高识别准确率，是一个逐渐调整的过程，仅用于记录研究过程。图像识别：使用tesseract识别。图像预处理：使用OpenCV等图像处理库对发票图像进行预处理，如灰度化…...

编程日记 2025/8/26 7:27:40

数据库—函数笔记

一，数据库函数的分类内置函数（Built-in Functions） 数据库系统自带的函数，无需额外定义即可直接调用。聚合函数：对数据集进行计算（如 SUM, AVG, COUNT）。字符串函数：处理文本数据…...

编程日记 2025/8/25 23:03:44

产品研发流程说明记录

1. 前言在小型公司，产品研发流程通常较为简单，需求提出后经过简单评审便直接开发上线。而在中大型互联网公司，研发流程更加规范和系统，涉及多部门协作和多环节把控。本文将详细介绍一个标准的产品需求研发流程，帮助相…...

编程日记 2025/8/21 8:56:51

智慧城市：如同为城市装上智能大脑，开启智慧生活

智慧城市的概念随着信息技术的飞速发展而逐渐兴起，它通过集成物联网、大数据、人工智能和数字孪生等先进技术，为城市管理和居民生活带来了前所未有的智能化变革。本文将深入探讨这些核心技术及其在智慧城市的典型应用场景，展示智慧城市如何提…...

编程日记 2025/8/21 15:49:40

游戏测试入门知识

高内聚指的是一个模块或组件内部的功能应该紧密相关。这意味着模块内的所有元素都应该致力于实现同一个目标或功能，并且该模块应当尽可能独立完成这一任务。低耦合则是指不同模块之间的依赖程度较低，即一个模块的变化对其它模块造成的影响尽可能小。理…...

编程日记 2025/8/25 22:16:58

Sentinel源码—2.Context和处理链的初始化二

大纲 1.Sentinel底层的核心概念 2.Sentinel中Context的设计思想与源码实现 3.Java SPI机制的引入 4.Java SPI机制在Sentinel处理链中的应用 5.Sentinel默认处理链ProcessorSlot的构建 4.Java SPI机制在Sentinel处理链中的应用 (1)初始化Entry会初始化处理链 (2)初始化处…...

编程日记 2025/8/26 0:21:58

Java基础第20天-JDBC

JDBC为访问不同的数据库提供了统一的接口，为使用者屏蔽了细节问题，程序员使用JDBC可以连接任何提供了JDBC驱动程序的数据库系统，从而完成对数据库的各种操作 ResultSet 表示数据库结果集的数据表，通常通过执行查询数据库的语句生…...

编程日记 2025/8/25 12:51:25

VMware下Ubuntu空间扩容

目的： Ubuntu空间剩余不足，需要对Ubuntu进行扩容。使用工具： 使用Ubuntu系统中的gparted工具进行系统扩容。前提： 1、电脑有多余的未分配磁盘空间，比如我的Ubuntu磁盘G盘是200G，现在快满了&#xff0c…...

编程日记 2025/8/24 5:18:33

第十一章网络编程

在TCP/IP协议中，“IP地址TCP或UDP端口号”唯一标识网络通讯中的一个进程。因此可以用Socket来描述网络连接的一对一关系。常用的Socket类型有两种：流式Socket（SOCK_STREAM）和数据报式Socket（SOCK_DGRAM&#xff09…...

编程日记 2025/8/26 0:28:27

Bad Request 400

之前一直以为400就是前端代码有问题这下遇到了，发现是因为前后端不一致后端代码注意：现在我写的int 前端请求原因 ：前后端不一致 💡 问题核心：后端 amount 类型是 int，但前端传了小数 237.31...

编程日记 2025/8/24 18:45:57

行业深度：金融数据治理中的 SQL2API 应用创新

金融行业作为数据密集型领域，面临着监管合规要求严苛、数据交互频次高、安全风险防控难度大等多重挑战。SQL2API 技术通过 “数据服务化合规化” 的双重赋能，成为金融机构破解数据治理难题的核心工具，在多个关键场景实现突破性创新。 &…...

编程日记 2025/8/24 14:28:34

记录学习的第二十六天

还是每日一题。今天这道题有点难度，我看着题解抄的。之后做了两道双指针问题。这道题本来是想用纯暴力做的，结果出错了。😓...

编程日记 2025/8/20 17:26:43

MySQLQ_数据库约束

目录什么是数据库约束约束类型NOT NULL 非空约束UNIQUE 唯一约束PRIMARY KEY主键约束FOREIGN KEY外键约束CHECK约束DEFAULT 默认值(缺省)约束什么是数据库约束数据库约束就是对数据库添加一些规则，使数据更准确，关联性更强比如加了唯一值约束&#…...

编程日记 2025/8/25 1:02:06

数据库ocp证书是什么水平

专业知识与技能：OCP 证书是对持证人在 Oracle 数据库管理、安装、配置、性能调优、备份恢复等方面专业知识和技能的权威认证。它要求考生通过一系列严格的考试，包括理论知识和实际操作能力的考核，以证明其具备扎实的 Oracle 数据库专业知识和…...

编程日记 2025/8/26 9:16:42

1022 Digital Library

1022 Digital Library 分数 30 全屏浏览切换布局作者 CHEN, Yue 单位浙江大学 A Digital Library contains millions of books, stored according to their titles, authors, key words of their abstracts, publishers, and published years. Each book is assigned an u…...

编程日记 2025/8/23 14:55:46

基于Python的PC控制Robot 小程序开发历程

1、Background：用万能语言Python进行Robot 的控制一直以来是我想做的事，刚好有机会付诸实践。Just Do It~ 2、Python 代码编写： import socket import time HOST "192.168.0.1" #IP PORT 2008 #Por…...

编程日记 2025/8/24 14:33:13

Coze平台技术解析：零代码AI开发与智能体应用实践

【资源软件】伏脂撺掇蒌葶苘洞座 /835a36NvQn😕 链接：https://pan.quark.cn/s/5180c62aacf7 「微信被删好友检测工具」筷莱坌教狴犴狾夺郝链接：https://pan.quark.cn/s/fe4976448ca1 HitPaw Watermark Remover 链接：https://pan…...

编程日记 2025/8/24 18:10:27

在 K8s 上构建和部署容器化应用程序（Building and Deploying Containerized Applications on k8s）

在 Kubernetes 上构建和部署容器化应用程序 Kubernetes 是一个用于管理容器化工作负载和服务的开源平台。它提供了一个强大的框架来自动化部署、扩展和管理容器化应用程序。本博客将指导您完成在 Kubernetes 上构建和部署容器化应用程序的过程，重点介绍技术方面并使…...

编程日记 2025/8/25 22:43:03

【教程】如何使用Labelimg查看已经标注好的YOLO数据集标注情况

《------往期经典推荐------》一、AI应用软件开发实战专栏【链接】项目名称项目名称1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】3.【手势识别系统开发】4.【人脸面部活体检测系统开发】5.【图片风格快速迁移软件开发】6.【人脸表表情识别系统】7.【…...

编程日记 2025/8/23 19:09:37

Windows 系统的常用快捷键大全

以下是 Windows 系统的常用快捷键大全，涵盖日常操作、文件管理、窗口控制、系统功能等，助你大幅提升效率： 一、基础系统操作 Win：打开/关闭「开始菜单」Win E：打开「文件资源管理器」Win D：一键显示桌面…...

编程日记 2025/8/25 4:12:25

L1-025 正整数A+B

L1-025 正整数AB L1-025 正整数AB - 团体程序设计天梯赛-练习集 (pintia.cn) 题解第一次做这道题时，没有注意到num1 和 num2 是在区间 [1, 1000] 内，num1和num2的长度应该是4位数并且num1和num2不能等于0，num1和num2不能大于1000。这两个…...

编程日记 2025/8/26 1:15:15

Go 语言的 map 在解决哈希冲突时，主要使用了链地址法同时参考了开放地址法的思想即每个桶的 8个 key val对是连续的

总结一下 Go map 的哈希冲突解决机制。 1. 哈希表结构： Go 语言的 map 底层有两个主要结构：hmap 和 bmap，它们分别负责管理整个 map 的元数据和存储键值对的桶。 hmap：包含 map 的元数据，如桶的数量、已插入的键值对…...

编程日记 2025/8/24 9:47:40

未支付订单如何释放库存

在电商或交易系统中，处理未支付订单的库存释放是典型的高并发场景问题。以下是结合 Java 技术栈的完整解决方案，涵盖设计思路、技术实现、容错机制，并基于实际项目经验（如标易行平台的标书资源预约场景）进行分析：一、核心设计原则最终一致性：确保库存释放与订单状态的…...

编程日记 2025/8/26 6:50:47

HDFS Full Block Report超限导致性能下降的原因分析

文章目录前言发现问题失败的为什么是FBR块汇报频率的变化为什么FBR会反复失败HDFS性能下降导致Yarn负载变高的形式化分析理解线程理解IO Wait理解HDFS性能下降导致Yarn负载和使用率增高引用前言我们的Yarn Cluster主要用来运行一批由Airflow定时调度的Spark Job&#xff0…...

编程日记 2025/8/23 17:57:36

[Java实战经验]链式编程与Builder模式

目录链式编程Builder模式链式编程链式编程（Fluent AP）是一种编程风格，它通过在同一个对象上连续调用多个方法来执行一系列操作（让方法返回对象本身（return this））。这种风格的编程使代码更加…...

编程日记 2025/8/25 22:14:30

TypeScript 快速上手--禹神

TypeScript 快速上手 🪩 禹神：三小时快速上手TypeScript，TS速通教程_哔哩哔哩_bilibili ⼀、TypeScript 简介 TypeScript 由微软开发,是基于 JavaScript 的⼀个扩展语⾔。 TypeScript 包含了 JavaScript 的所有内容,即: TypeScript 是 Jav…...

编程日记 2025/8/25 3:31:48

YOLOv2 快速入门与核心概念：更快、更准的目标检测利器

今天，我们就来聊聊 YOLO 系列的第二代—— YOLOv2，看看它是如何在速度的基础上，进一步提升检测精度的。目标检测的重要性：让机器“看懂”世界想象一下，自动驾驶汽车需要实时识别道路上的车辆、行人、交通标志&…...

编程日记 2025/8/26 0:26:48

Differentiable Micro-Mesh Construction 论文阅读

信息 2024 CVPR 论文地址摘要本文提出了一个可微分框架，用于将标准网格转换为Micro-mesh( μ \mu μ-mesh)这种非常高效的格式，与以前基于阶段的方法相比，提供了一个整体方案。本文的框架为高质量的 μ \mu μ 网格生产提供了许多优势&…...

编程日记 2025/8/25 12:21:20

groovy运行poi包处理xlsx文件报NoClassDefFoundError

背景：简单的在java上运行poi包处理xlsx文件，正常解析。使用groovy执行相关xlsx文件解析的程序时，报错。报错日志： java.lang.NoClassDefFoundError: org/openxmlformats/schemas/spreadsheetml/x2006/main/CTExtensionList poi版…...

编程日记 2025/8/25 12:54:23

基于Espressif-IDE的esp32开发

日后填坑新建工程基本操作创建一个工程编译工程下载程序运行成功...

编程日记 2025/8/22 1:56:47

emotn ui桌面软件tv版下载安装教程-emotn ui桌面好用吗

在智能电视和电视盒子的使用场景中，一款出色的桌面软件能显著提升用户体验。Emotn UI桌面软件TV版就是这样一款备受关注的产品，与此同时，乐看家桌面也以其独特功能在市场中占据一席之地。接下来，我们将会详细介绍Emotn UI桌面软件…...

编程日记 2025/8/25 15:02:44

抖音ai无人直播间助手场控软件

获取API权限若使用DeepSeek官方AI服务，登录其开发者平台申请API Key或Token。若为第三方AI（如ChatGPT），需通过接口文档获取访问权限。配置场控软件打开DeepSeek场控软件，进入设置界面找到“AI助手”或“自动化”…...

编程日记 2025/8/26 8:22:58

机器学习中的距离度量与优化方法：从曼哈顿距离到梯度下降

目录前言一、曼哈顿距离(Manhattan Distance)：二、切比雪夫距离 (Chebyshev Distance)：三、闵可夫斯基距离(Minkowski Distance)：小结四、余弦距离(Cosine Distance)五、杰卡德距离(Jaccard Distance)六、交叉验证方法6.1 HoldOut Cross-v…...

编程日记 2025/8/26 0:03:34

在GitHub action中使用添加项目中配置文件的值为环境变量

比如我项目的根目录有一个package.json文件，但是我想在工作流中使用某个值，例如使用version的值，就需要从package.json里面取出来，然后存储到环境变量中，供后续步骤使用这个值。读值存储读取项目根目录中的某个jso…...

编程日记 2025/8/24 10:09:40

前言

自编译

示例

默认不gzip

gzip模块加载

springboot

总结

相关文章：