当前位置：首页 > news >正文

aws(学习笔记第十六课) 使用负载均衡器(ELB)解耦webserver以及输出ELB的日志到S3

news 来源：原创 2025/7/15 12:15:02

aws(学习笔记第十六课)

使用负载均衡器(ELB)以及输出ELB的日志到S3

学习内容：

使用负载均衡器(ELB)解耦web server
输出ELB的日志到S3

1. 使用负载均衡器(`ELB`)

全体架构
使用ELB(Elastic Load Balancer)能够解耦外部internet访问和web server之间的耦合，让外部internet访问只能认识ELB，只知道是ELB为它服务，但是具体的web server对于外部来说却是不意识的。

在这里插入图片描述
2. 代码解析

全体代码

{"AWSTemplateFormatVersion": "2010-09-09","Description": "AWS in Action: chapter 12 (Load Balancer)","Parameters": {"KeyName": {"Description": "Key Pair name","Type": "AWS::EC2::KeyPair::KeyName","Default": "my-cli-key"},"NumberOfServers": {"Description": "Number of servers","Type": "Number","Default": "2","MinValue": "2","MaxValue": "4"}},"Mappings": {"EC2RegionMap": {"ap-northeast-1": {"AmazonLinuxAMIHVMEBSBacked64bit": "ami-cbf90ecb"},"ap-southeast-1": {"AmazonLinuxAMIHVMEBSBacked64bit": "ami-68d8e93a"},"ap-southeast-2": {"AmazonLinuxAMIHVMEBSBacked64bit": "ami-fd9cecc7"},"eu-central-1": {"AmazonLinuxAMIHVMEBSBacked64bit": "ami-a8221fb5"},"eu-west-1": {"AmazonLinuxAMIHVMEBSBacked64bit": "ami-a10897d6"},"sa-east-1": {"AmazonLinuxAMIHVMEBSBacked64bit": "ami-b52890a8"},"us-east-1": {"AmazonLinuxAMIHVMEBSBacked64bit": "ami-1ecae776"},"us-west-1": {"AmazonLinuxAMIHVMEBSBacked64bit": "ami-d114f295"},"us-west-2": {"AmazonLinuxAMIHVMEBSBacked64bit": "ami-e7527ed7"}}},"Resources": {"VPC": {"Type": "AWS::EC2::VPC","Properties": {"CidrBlock": "172.31.0.0/16","EnableDnsHostnames": "true"}},"InternetGateway": {"Type": "AWS::EC2::InternetGateway","Properties": {}},"VPCGatewayAttachment": {"Type": "AWS::EC2::VPCGatewayAttachment","Properties": {"VpcId": {"Ref": "VPC"},"InternetGatewayId": {"Ref": "InternetGateway"}}},"Subnet": {"Type": "AWS::EC2::Subnet","Properties": {"AvailabilityZone": {"Fn::Select": ["0", {"Fn::GetAZs": ""}]},"CidrBlock": "172.31.38.0/24","VpcId": {"Ref": "VPC"}}},"RouteTable": {"Type": "AWS::EC2::RouteTable","Properties": {"VpcId": {"Ref": "VPC"}}},"RouteTableAssociation": {"Type": "AWS::EC2::SubnetRouteTableAssociation","Properties": {"SubnetId": {"Ref": "Subnet"},"RouteTableId": {"Ref": "RouteTable"}}},"RoutePublicNATToInternet": {"Type": "AWS::EC2::Route","Properties": {"RouteTableId": {"Ref": "RouteTable"},"DestinationCidrBlock": "0.0.0.0/0","GatewayId": {"Ref": "InternetGateway"}},"DependsOn": "VPCGatewayAttachment"},"NetworkAcl": {"Type": "AWS::EC2::NetworkAcl","Properties": {"VpcId": {"Ref": "VPC"}}},"SubnetNetworkAclAssociation": {"Type": "AWS::EC2::SubnetNetworkAclAssociation","Properties": {"SubnetId": {"Ref": "Subnet"},"NetworkAclId": {"Ref": "NetworkAcl"}}},"NetworkAclEntryIngress": {"Type": "AWS::EC2::NetworkAclEntry","Properties": {"NetworkAclId": {"Ref": "NetworkAcl"},"RuleNumber": "100","Protocol": "-1","RuleAction": "allow","Egress": "false","CidrBlock": "0.0.0.0/0"}},"NetworkAclEntryEgress": {"Type": "AWS::EC2::NetworkAclEntry","Properties": {"NetworkAclId": {"Ref": "NetworkAcl"},"RuleNumber": "100","Protocol": "-1","RuleAction": "allow","Egress": "true","CidrBlock": "0.0.0.0/0"}},"LoadBalancerSecurityGroup": {"Type": "AWS::EC2::SecurityGroup","Properties": {"GroupDescription": "elb-sg","VpcId": {"Ref": "VPC"},"SecurityGroupIngress": [{"CidrIp": "0.0.0.0/0","FromPort": 80,"IpProtocol": "tcp","ToPort": 80}]}},"LoadBalancer": {"Type": "AWS::ElasticLoadBalancing::LoadBalancer","Properties": {"Subnets": [{"Ref": "Subnet"}],"LoadBalancerName": "elb","Listeners": [{"InstancePort": "80","InstanceProtocol": "HTTP","LoadBalancerPort": "80","Protocol": "HTTP"}],"HealthCheck": {"HealthyThreshold": "3","Interval": "10","Target": "HTTP:80/index.html","Timeout": "5","UnhealthyThreshold": "2"},"SecurityGroups": [{"Ref": "LoadBalancerSecurityGroup"}],"Scheme": "internet-facing"},"DependsOn": "VPCGatewayAttachment"},"WebServerSecurityGroup": {"Type": "AWS::EC2::SecurityGroup","Properties": {"GroupDescription": "awsinaction-sg","VpcId": {"Ref": "VPC"},"SecurityGroupIngress": [{"CidrIp": "0.0.0.0/0","FromPort": 22,"IpProtocol": "tcp","ToPort": 22}, {"FromPort": 80,"IpProtocol": "tcp","SourceSecurityGroupId": {"Ref": "LoadBalancerSecurityGroup"},"ToPort": 80}]}},"LaunchTemplate": {"Type": "AWS::EC2::LaunchTemplate","Metadata": {"AWS::CloudFormation::Init": {"config": {"packages": {"yum": {"httpd": []}},"files": {"/tmp/config": {"content": {"Fn::Join": ["", ["#!/bin/bash -ex\n","PRIVATE_IP=`curl -s http://169.254.169.254/latest/meta-data/local-ipv4`\n","echo \"<html><head><title>$PRIVATE_IP</title></head><body><h1>$PRIVATE_IP</h1></body></html>\" > index.html\n"]]},"mode": "000500","owner": "root","group": "root"}},"commands": {"01_config": {"command": "/tmp/config","cwd": "/var/www/html"}},"services": {"sysvinit": {"httpd": {"enabled": "true","ensureRunning": "true"}}}}}},"Properties": {"LaunchTemplateData":{"EbsOptimized": false,"ImageId": {"Fn::FindInMap": ["EC2RegionMap", {"Ref": "AWS::Region"}, "AmazonLinuxAMIHVMEBSBacked64bit"]},"InstanceType": "t2.micro","NetworkInterfaces":[{"DeviceIndex":0,"AssociatePublicIpAddress":true,"Groups":[{"Ref": "WebServerSecurityGroup"}],"DeleteOnTermination":true}],"KeyName": {"Ref": "KeyName"},"UserData": {"Fn::Base64": {"Fn::Join": ["", ["#!/bin/bash -ex\n","yum update -y aws-cfn-bootstrap\n","/opt/aws/bin/cfn-init -v --stack ", {"Ref": "AWS::StackName"}, " --resource LaunchTemplate --region ", {"Ref": "AWS::Region"}, "\n","/opt/aws/bin/cfn-signal -e $? --stack ", {"Ref": "AWS::StackName"}, " --resource AutoScalingGroup --region ", {"Ref": "AWS::Region"}, "\n"]]}}}}},"AutoScalingGroup": {"Type": "AWS::AutoScaling::AutoScalingGroup","Properties": {"LoadBalancerNames": [{"Ref": "LoadBalancer"}],"LaunchTemplate" : {"LaunchTemplateId" : {"Ref" : "LaunchTemplate"},"Version" : {"Fn::GetAtt" : ["LaunchTemplate","LatestVersionNumber"]}},"MinSize": {"Ref": "NumberOfServers"},"MaxSize": {"Ref": "NumberOfServers"},"DesiredCapacity": {"Ref": "NumberOfServers"},"VPCZoneIdentifier": [{"Ref": "Subnet"}]},"CreationPolicy": {"ResourceSignal": {"Timeout": "PT10M"}},"DependsOn": "VPCGatewayAttachment"}},"Outputs": {"URL": {"Value": {"Fn::Join": ["", ["http://", {"Fn::GetAtt": ["LoadBalancer", "DNSName"]}]]},"Description": "Load Balancer URL"}}
}

主要代码分析

WebServerSecurityGroup中的SourceSecurityGroupId
这里，WebServerSecurityGroup的SourceSecurityGroupId为LoadBalancerSecurityGroup，表明只有LoadBalancerSecurityGroup所在的主机，也就是LoadBalancer才能对web server访问80端口。

"WebServerSecurityGroup": {"Type": "AWS::EC2::SecurityGroup","Properties": {"GroupDescription": "awsinaction-sg","VpcId": {"Ref": "VPC"},"SecurityGroupIngress": [{"CidrIp": "0.0.0.0/0","FromPort": 22,"IpProtocol": "tcp","ToPort": 22}, {"FromPort": 80,"IpProtocol": "tcp","SourceSecurityGroupId": {"Ref": "LoadBalancerSecurityGroup"},"ToPort": 80}]}},

LoadBalancer加入HealthCheck
这里，LoadBalancer里面，加入了对web server的HealthCheck，当web server的index.hmlt在80端口能够访问之后，才能够开始转送到web server

		"LoadBalancer": {"Type": "AWS::ElasticLoadBalancing::LoadBalancer","Properties": {"Subnets": [{"Ref": "Subnet"}],"LoadBalancerName": "elb","Listeners": [{"InstancePort": "80","InstanceProtocol": "HTTP","LoadBalancerPort": "80","Protocol": "HTTP"}],"HealthCheck": {"HealthyThreshold": "3","Interval": "10","Target": "HTTP:80/index.html","Timeout": "5","UnhealthyThreshold": "2"},"SecurityGroups": [{"Ref": "LoadBalancerSecurityGroup"}],"Scheme": "internet-facing"},"DependsOn": "VPCGatewayAttachment"},

2. 输出`ELB`的日志到`S3`

首先设置S3 存储桶策略，允许ELB写入log到S3

policy.json策略文件
事先作成elb-log-20241208的S3 bucket，之后写出policy文件允许logdelivery.elasticloadbalancing.amazonaws.com这个service能够putObject给S3 bucket。
```
{"Id": "Policy1429136655940","Version": "2012-10-17","Statement": [{"Sid": "Stmt1429136633762","Action": ["s3:PutObject"],"Effect": "Allow","Resource": "arn:aws:s3:::elb-log-20241208/*","Principal": {"AWS": ["127311923021", "027434742980", "797873946194","156460612806", "054676820928", "582318560864","114774131450", "783225319266", "507241528517"]}}]
}
```
这里，127311923021，027434742980像是一些magic code，这到底是什么呢？可以参照enable-access-logging.html，它们是所在地区的 Elastic Load Balancing 的 ID： AWS 账户。

设置policy.json策略文件给S3的bucket

aws s3api put-bucket-policy --bucket elb-log-20241208 --policy file://policy/elb-log-policy.json

配置cloudformation让ELB输入log到S3 bucket
AccessLoggingPolicy这里就是设置描述log输出的设置。

		"LoadBalancer": {"Type": "AWS::ElasticLoadBalancing::LoadBalancer","Properties": {"Subnets": [{"Ref": "Subnet"}],"LoadBalancerName": "elb","Listeners": [{"InstancePort": "80","InstanceProtocol": "HTTP","LoadBalancerPort": "80","Protocol": "HTTP"}],"HealthCheck": {"HealthyThreshold": "3","Interval": "10","Target": "HTTP:80/index.html","Timeout": "5","UnhealthyThreshold": "2"},"AccessLoggingPolicy":{"ENabled": true,"S3BucketName":"elb-log-20241208","S3BucketPrefix":"my-application/production"}"SecurityGroups": [{"Ref": "LoadBalancerSecurityGroup"}],"Scheme": "internet-facing"},"DependsOn": "VPCGatewayAttachment"},

重新访问ELB
检查S3的log文件夹
可以看到log已经开始写入到S3

aws(学习笔记第十六课) 使用负载均衡器(ELB)解耦webserver以及输出ELB的日志到S3

aws(学习笔记第十六课) 使用负载均衡器(ELB)以及输出ELB的日志到S3 学习内容： 使用负载均衡器(ELB)解耦web server输出ELB的日志到S3 1. 使用负载均衡器(ELB) 全体架构使用ELB(Elastic Load Balancer)能够解耦外部internet访问和web server之间的耦合&#xff0c…...

编程日记 2025/7/15 12:15:02

Ubuntu与Centos系统有何区别？

Ubuntu和CentOS都是基于Linux内核的操作系统，但它们在设计理念、使用场景和技术实现上有显著的区别。以下是详细的对比： 1. 基础和发行版本 Ubuntu： 基于Debian，使用.deb包管理系统。包含两个主要版本： LTS&#xff…...

编程日记 2025/7/13 23:05:54

【OpenDRIVE_Python】使用python脚本读取txt指定内容，输出OpenDRIVE数据中对应的信息

示例代码说明： 读取txt指定内容如地物id，输出OpenDRIVE数据中的对应地物id和名称name信息为xml文件 import xml.dom.minidom from xml.dom.minidom import parse from xml.dom import Node import sys import os # 读取OpenDRIVE文件路径 xml_filepath…...

编程日记 2025/7/15 4:00:45

Qt入门8——Qt文件

1. Qt文件概述文件操作是应用程序必不可少的部分。Qt作为⼀个通用开发库，提供了跨平台的文件操作能力。Qt 提供了很多关于文件的类，通过这些类能够对文件系统进行操作，如文件读写、文件信息获取、文件复制或重命名等。 2. 输入输出设备类在…...

编程日记 2025/7/15 11:51:41

【每天一道面试题】JWT是什么？Java-jwt是什么？（2024/12/7)

【每天一道面试题】JWT是什么？Java-jwt是什么？（2024/12/7) JWT：JSON Web Token 俗称令牌当我们想实现： 1.用户不用输入用户名和密码就可以登录（不用每次都输入用户名和密码） 2.用户的信息在传…...

编程日记 2025/7/15 11:50:48

ORB-SLAM3源码学习：ImuTypes.cc：Eigen::Matrix3f RightJacobianSO3计算右雅可比矩阵

前言计算右雅可比矩阵这个函数涉及到了函数重载，可以接受不同的参数来实现计算右雅可比矩阵。代码分析右雅可比矩阵： /** * brief 计算右雅可比* param xyz 李代数* return Jr*/ Eigen::Matrix3f RightJacobianSO3(const float &x, const fl…...

编程日记 2025/7/15 11:56:24

电子公文交换系统设计 ——基于商用密码标准的密码模块的应用

文章目录《密码系统设计》实验实验项目实验四密码模块的应用实践要求（40 分） 《密码系统设计》实验实验项目实验序号实验名称实验学时数实验目的实验内容实验类型学生学习预期成果实验四密码模块的应用6基于商用密码标准的密码模块的应用对电子公文…...

编程日记 2025/7/15 12:04:40

java抽象类

目录一.抽象类 1.什么是抽象类 2.抽象类特点 (1)抽象类不能直接实例化对象 (2)可以包含抽象方法和具体方法 (3)可以有构造方法 (4)抽象类必须被继承，并且继承后子类要重写父类中的抽象方法，否则子类也是抽象类，必须要使用 abstract 修…...

编程日记 2025/7/15 12:11:33

渤海证券基于互联网环境的漏洞主动防护方案探索与实践

来源：中国金融电脑作者：渤海证券股份有限公司信息技术总部刘洋伴随互联网业务的蓬勃发展，证券行业成为黑客进行网络攻击的重要目标之一，网络攻击的形式也变得愈发多样且复杂。网络攻击如同悬于行业之上的达摩克利斯之剑&…...

编程日记 2025/7/15 11:58:45

ClouderaManager 集群搭建

前提：服务器之前做过域名映射、免密登录 ClouderaManager 集群 1. 组件分布规划服务器服务器h1zk、hdfs(dn)、yarn(nm)、spark、kafka、flumeh2hdfs(nn-standy)、yarn(rm-active)、sparkh3hdfs(nn-active)、yarn(rm-standy)、hive、sparkh4zk、hdfs(dn)、yarn(n…...

编程日记 2025/7/9 14:38:42

Nginx部署PHP服务端跨域以及跨域携带cookie

🤵 作者：coderYYY 🧑 个人简介：前端程序媛，目前主攻web前端，后端辅助，其他技术知识也会偶尔分享🍀欢迎和我一起交流！🚀（评论和私信一般会回！！） 👉 个人专栏推荐：《前端项目教程以及代码》 ✨一、前言前端技术栈Vue+后端技术栈PHP+Mysql鉴权以及存储信息用…...

编程日记 2025/7/15 6:02:55

流量转发利器之Burpsuite概述(1)

目录一、Burpsuite Burp Suite Spider 的主要特点： 在 Burp Suite 中使用 Spider： Spider 的用例： 限制： 声明：学习视频来自b站up主泷羽sec，如涉及侵权马上删除文章声明：本文主要用作技…...

编程日记 2025/7/15 11:52:37

【优选算法二分查找】二分查找算法入门详解：二分查找小专题

x 的平方根题目解析算法原理解法一： 暴力解法如果要求一个数(x)的平方根，可以从 0 往后枚举，直到有一个数(a)，a^2<x，(a1)^2>x，a即为所求； 解法二：二分查找 …...

编程日记 2025/7/10 13:34:45

LeetCode—56. 合并区间（中等）

题目描述： 以数组 intervals 表示若干个区间的集合，其中单个区间为 intervals[i] [starti, endi] 。请你合并所有重叠的区间，并返回一个不重叠的区间数组，该数组需恰好覆盖输入中的所有区间。示例1： 输入&#x…...

编程日记 2025/7/14 16:47:33

SHELL----正则表达式

一、文本搜索工具——grep grep -参数条件文件名其中参数有以下： -i 忽略大小写 -c 统计匹配的行数 -v 取反，不显示匹配的行 -w 匹配单词 -E 等价于 egrep ，即启用扩展正则表达式 -n 显示行号 -rl 将指定目录内的文件打…...

编程日记 2025/7/15 11:06:58

web斗地主游戏实现指北

前后端通信作为一个即时多人游戏，不论是即时聊天还是更新玩家状态，都需要服务端有主动推送功能，或者客户端轮询。轮询的时间间隔可能导致游玩体验差，因为不即时更新，而且请求数量太多可能会打崩服务器。建议在cs间…...

编程日记 2025/7/13 23:10:58

ES(elasticsearch)整合Spring boot使用实例

1.1通过docker安装es详细教程参考 docker部署elasticsearch(内涵集群部署的compose文件)-CSDN博客 2.1创建MySQL数据库，通过sql命令进行表的创建与数据的写入（sql命令如下） /*Navicat Premium Data TransferSource Server : localSo…...

编程日记 2025/7/14 15:40:13

创建简单的 PL/pgSQL 存储过程

文章目录创建简单的 PL/pgSQL 存储过程CREATE OR REPLACE FUNCTIONadd_two_numbers(a integer, b integer)RETURNS integerAS$$ ... $$函数体LANGUAGE plpgsql 创建带有 IN 和 OUT 参数的存储过程创建修改数据的存储过程创建带有异常处理的复杂存储过程在 PostgreSQL 中&…...

编程日记 2025/7/15 8:38:45

前端路径“@/“的使用和配置

环境：vitets 需要安装types/node npm install types/node --save-dev在tsconfig.json中添加如果有tsconfig.app.json和tsconfig.node.json文件，则在app.json中添加 "compilerOptions": {"baseUrl":".","paths&q…...

编程日记 2025/7/15 12:10:24

彻底理解ThreadLocal的应用场景和底层实现

一.概念定义： ThreadLocal 是 Java 中所提供的线程本地存储机制，可以利用该机制将数据缓存在某个线程内部，该线程可以在任意时刻、任意方法中获取缓存的数据。其实是可以通过调用 Set() 方法往里面存入值，存入的值是每个线程互…...

编程日记 2025/7/13 9:57:27

机器学习（5）无监督模型之降维PCA算法

主成分分析（Principal Component Analysis, PCA） 是一种经典的无监督学习算法，主要用于数据降维、特征提取和数据可视化。它通过线性变换将数据从原始空间映射到一个新的空间，使得数据的方差最大化，从而实现降维。PCA …...

编程日记 2025/7/15 12:14:03

React 组件中 State 的定义、使用及正确更新方式

🌈个人主页：前端青山 🔥系列专栏：React篇 🔖人终将被年少不可得之物困其一生依旧青山,本期给大家带来React篇专栏内容React 组件中 State 的定义、使用及正确更新方式前言在 React 应用开发中，state …...

编程日记 2025/7/15 11:07:06

18 设计模式之迭代器模式（书籍遍历案例）

一、什么是迭代器模式迭代器模式（Iterator Pattern）是一种行为型设计模式，允许客户端通过统一的接口顺序访问一个集合对象中的元素，而无需暴露集合对象的内部实现。这个模式主要用于访问聚合对象（如集合、数组等&…...

编程日记 2025/7/14 8:54:26

Springboot3介绍

一、Springboot3简介: https://docs.spring.io/spring-boot/docs/current/reference/html/getting-started.html?spmwolai.workspace.0.0.68b62306Q6jtTw#getting-started.introducing-spring-boot 无论使用XML、注解、Java配置类还是他们的混合用法，配置文件过于…...

编程日记 2025/7/15 11:31:23

【Leetcode Top 100】23. 合并 K 个升序链表

问题背景给你一个链表数组，每个链表都已经按升序排列。请你将所有链表合并到一个升序链表中，返回合并后的链表。数据约束 k l i s t s . l e n g t h k lists.length klists.length 0 ≤ k ≤ 1 0 4 0 \le k \le 10^4 0≤k≤104 0 ≤ l i s t s […...

编程日记 2025/7/15 11:59:40

显存和GPU之间的通信；GPUDirect P2P，NVLink，NCCL；聚合通信和点对点通信

目录显存和GPU之间的分配显存和GPU之间的通信原语是什么，简单举例说明 GPUDirect P2P，NVLink，NCCL的全称及解释聚合通信和点对点通信聚合通信（Collective Communication）点对点通信（Point-to-Point Communication）为什么使用GPUDirect P2P，NVLink，NCCL…...

编程日记 2025/7/13 14:19:37

2412d,d的7月会议

原文总结卡斯滕 Carsten说,Decard一直在大量试验WebAssembly.他们一直在把d运行时挖出来,直到它工作.他们在浏览器中运行了一些库函数,并试了不同虚机. 他们在移动方面遇见了很多问题,因为不同芯片按不同方式工作.他们想让他们的整个SDK在WASM上运行,但可能需要一年时间才…...

编程日记 2025/7/15 12:12:28

vue框架

以下是一个简单的基于Vue框架的日历组件示例： <template><div class"calendar"><div class"header"><button click"prevMonth"><</button><h2>{{ currentMonth }}</h2><button cli…...

编程日记 2025/7/15 12:09:28

Django drf基于APIView 快速使用

1. 注册 # settings.pyINSTALLED_APPS [,rest_framework, ]2. 路由 from django.urls import pathurlpatterns [path(task/, views.TaskAPIView.as_view()) ]3. 视图 from rest_framework.views import APIView from rest_framework.response import Responseclass TaskAPIV…...

编程日记 2025/7/15 12:13:18

aws(学习笔记第十六课)

学习内容：

1. 使用负载均衡器(ELB)

2. 输出ELB的日志到S3

相关文章：

1. 使用负载均衡器(`ELB`)

2. 输出`ELB`的日志到`S3`