当前位置: 首页 > news >正文

Twitter 工作原理|架构解析|社交APP逻辑

这是对Twitter 工作原理|架构解析|社交APP逻辑_哔哩哔哩_bilibili的学习,感谢up小凡生一

 在两年半前,埃隆·马斯克收购了Twitter,并且进行了一系列重大改革。今天我们来解析一下这个全球知名社交平台的架构。首先,我们根据马斯克两年前晒出的草图来绘制一个大体的框架图。按照草图,Twitter的前端页面会根据来源判断,以不同方式向后端发送请求。如果是安卓设备,就通过T2S API请求后端;如果是苹果设备或Web端,就直接基于Web SQL发送请求给后端。Web SQL是一个类似JSON的数据结构。

T2S API有两种解释:一种说法是Twitter的经典传输层,安全的API网关系统,也就是沿用了HTTPS;另一种说法是T2S是Twitter系统的缩写,即Twitter的最初主业务。马斯克曾提到,可能会淘汰T2S API,因为只有当安卓应用程序使用超过一年后,才需要使用这个API。

 接下来,我们来看Twitter的两个主要模块:“For you”和“Following”。这两个模块对应着以前的“Home”和“Letters”。“For you”模块根据用户平时浏览的内容推荐相似内容,也会有一些“Following”的内容。这样做的目的是为了提高留存率,因为“For you”大部分是推荐内容,如果推荐的内容不感兴趣,可能会导致点击率低,从而影响留存率。所以在召回时,会召回一些“Following”的内容,以保持留存率,并根据算法推送可能感兴趣的内容,来调整推荐和关注内容的比例。

 “Following”模块主要是关注的人发布的推文。我们了解了这两个模块后,来分析这两个模块。“Following”是时间轴模块,而时间轴模块是Twitter的核心模块,位于草图中间偏上的位置。时间轴上60%的推文来自于关注的人,推荐内容占20%,广告也占20%,然后基于此进行调整。

我们逐个分析小模块:

  • People discover:关注的人所发推文的服务。

  • Reservers:需要召回的广告,并且是该用户可能感兴趣的广告。这是Twitter主要的变现手段,马斯克也有补充,广告混合器可以大大提高相关性,并且用更少的曝光获取更多的点击。

  • On boring server:基于所关注的人去推荐新内容来扩展内容板块,也就是引流。

  • Ta scholar:对召回的推文广告新内容做打分进行排序,来决定展示在用户面前的顺序。排序非常重要,排在前面意味着有更高的曝光,可能带来更大的收益。

  • 这几个小模块之间都是以微服务的形式做调用关系,多个微服务之间用的是Free RPC做RPC调用,主要由阿帕奇社区做维护。

总体来说,Twitter的架构和大部分推荐系统的架构相似。接下来我们来看Home页面,这部分其实和时间线也有类似的召回计算排序,只是召回和计算的重点不一,重点更多的放在了推荐上。不过这部分的计算要比探探模块要快,因为历史原因,导致它耐模块很难做变动,毕竟Home模块是比较新的模块。

接着来介绍一下存储介质:

  • Manhattan:Twitter的分布式数据库,类似于一个分布式的MySQL。

  • GIS:Twitter的分布式缓存,类似于Redis。

  • Show show gap:我猜测是一个存储社交图数据库,存储用户和用户之间的联系,这样就不需要每一次召回的时候都计算一次用户和用户之间的关系了。

 

Twitter处理所有与推文相关的服务,然后到了推荐模块,这个模块在草图的右下角。推荐模块包括召回动作,尽可能的召回数据,然后进行特征提取,做特征工程,输出的特征是后续推荐系统的输入,也就是推荐系统会推出具备这些特征的内容,而这些内容是符合用户特征的,尽可能的留住用户。这些特征会根据fit的数据来做权重比例,而这个权重比例就会在下一个score环节做计算,来决定最终的排序。

  • Publication service:对用户特征进行预测,预测出可能会对哪一些特征感兴趣。

  • Future hydration:其实就是将用户的特征进行存储,方便快速调用。

 

相关文章:

Twitter 工作原理|架构解析|社交APP逻辑

这是对Twitter 工作原理|架构解析|社交APP逻辑_哔哩哔哩_bilibili的学习,感谢up小凡生一 在两年半前,埃隆马斯克收购了Twitter,并且进行了一系列重大改革。今天我们来解析一下这个全球知名社交平台的架构。首先&#x…...

模拟集成电路设计与仿真 : Feedback System

前情提要 此為作者針對迴授系統,進行資料統整,以便日後查詢 原理 1. The Whole System 更正 : V - V feedback 是 並 - 串 迴授 2. Feedback Block Beta 更正 : ,所以 the whole systemfeedback block左 2右 1 feedback block feed…...

Linux权限管理进阶:文件归属、特殊权限与ACL详解

一、文件归属管理:chown命令 1. 基础语法与作用 chown 命令用于修改文件或目录的 属主(Owner) 和 属组(Group),是Linux权限管理中调整资源归属的核心工具。 chown [选项] 新属主:新属组 文件/目录 常用…...

MyBatis、MyBatis-Plus、Hibernate、Spring Data JPA 等 Java 持久层技术的理解和对比

一、基本概念 1. MyBatis 是一个 半自动的 ORM 框架(Object-Relational Mapping),用于简化 JDBC 开发。它允许你通过 XML 或注解配置 SQL 语句,将 Java 对象与 SQL 查询结果进行映射。 2. MyBatis-Plus(MP&#xff…...

如何用vivado导出pin delay

目录 简介: Vivado工具导出pin delay步骤: 简介: 通过在一些等长要求比较严格的场合,会考虑到FPGA内部的走线,这时候就需要用到方法去导出fpga的pin delay。本文以xinlinx 的UltraScale系列的XCKU060-2FFVA1156I为例…...

【图片识别改名】批量读取图片区域文字识别后批量改名,基于Python和腾讯云的实现方案

项目场景 ​​办公文档管理​​:将扫描的发票、合同等文档按编号、日期自动重命名。例如,识别“编号:2023001 日期:20230403”生成“2023001_20230403.jpg”。​​产品图片整理​​:电商产品图片按产品编号、名称自动命名。例如,…...

数字中国浪潮下:Coremail AI赋能邮件办公,筑牢安全防线引领转型

4月28日,在第八届数字中国建设峰会新产品新技术发布会上,Coremail分享了AI在邮件产品领域的最新应用成果和实践经验。 作为互联网之后的又一波技术浪潮,人工智能(AI)已成为推动各行业变革的核心力量,为企业…...

软件设计师-软考知识复习(1)

写在前面 复习软考,把一些忘记了的知识整理一下,方便后续查看。 设码长为8,补码为11111111,其真值是多少( ) A.1 B.-1 C.127 D.128 参考答案:B 解题步骤 1. 理解补码表示法 在计算机中&…...

快速安装Arduino IED的STM32 MCU开发包

从github安装STM32 MCU开发包非常慢,很难安装成功。因此我将Arduino IED的TM32 MCU开发包上传到国内网站,亲测安装成功。 1.打开Arduino IED,文件--首选项--其它开发板管理地址,添加http://www.aluoyun.cn/BoardManagerFiles-mai…...

Html 2

一&#xff0c;表单 1.概念&#xff1a;在一个区域中&#xff0c;拥有许多输入和最终组件&#xff0c;可以让用户输入、选择信息&#xff0c;最终将信息传入服务器端 2.常用组件&#xff1a; &#xff08;1&#xff09;<form action " " methon "get&qu…...

业务层在事务中高频创建动态表然后删除或者回滚导致 pg_dump 概率出现备份失败问题分析

文章目录 测试环境&#xff0c;业务层在事务中高频创建动态表然后删除或者回滚导致 pg_dump 概率出现备份失败职责划分​​应用层对 DDL 事务的滥用​​ 导致的目录污染怎么理解&#xff1f;应用层在事务中大量高频新建动态表&#xff0c; 然后删除表, 有啥隐患​​目录版本风暴…...

图漾官网Sample_V1版本C++语言完整参考例子---单相机版本

文章目录 1.参考例子 主要梳理了图漾官网Sample_V1版本的例子 1.参考例子 主要增加了从storage区域读取相机参数的设置&#xff0c;使用图漾PercipioViewer软件&#xff0c;如何将相机参数保存到srorage区&#xff0c;可参考链接&#xff1a;保存相机参数操作 保存参数设置 注…...

SSM书籍管理(业务编写)

查询书籍功能 编写Controller类 Controller RequestMapping("/book") public class BookController {//controller调用service层AutowiredQualifier("BookServiceImpl")private BookService bookService;//查询全部的书籍&#xff0c;并且返回到书籍展示…...

kafka消息的顺序性如何保持一致的

目录 背景&#xff1a; 原理&#xff1a; 情况一&#xff1a;如果只有一个分区 情况二&#xff1a;如果有多个分区 总结 背景&#xff1a; 最近面试总是被问这个问题&#xff0c;然后总感觉答得不好就写博客总结一下&#xff0c;可以先看总结 原理&#xff1a; Kafka 中&#…...

在Java中基于Geotools对PostGIS数据库的空间查询实践

目录 前言 一、相关技术背景介绍 1、评价对象AOI 2、数据处理流程 二、对AOI空间范围查询实践 1、空间查询构建 2、空间样式创建 3、成果出图 三、总结 前言 在当今数字化浪潮下&#xff0c;空间数据的应用价值日益凸显&#xff0c;从城市规划到环境监测&#xff0c;从…...

生活需要一些思考

总分总 写文章、做事情、写邮件、写信&#xff0c;都是要【总分总】。 先总【因为没人有耐心一上来就看细节&#xff0c;先总结&#xff0c;别人感兴趣才会看分】 然后分【分中包括多个子部分&#xff0c;或子章节、子目标&#xff0c;他们之间层层递进&#xff0c;最终引出最…...

Scrapy框架之CrawlSpider爬虫 实战 详解

CrawlSpider 是 Scrapy 框架中一个非常实用的爬虫基类&#xff0c;它继承自 Spider 类&#xff0c;主要用于实现基于规则的网页爬取。相较于普通的 Spider 类&#xff0c;CrawlSpider 可以根据预定义的规则自动跟进页面中的链接&#xff0c;从而实现更高效、更灵活的爬取。 Scr…...

DeepSeek主动学习系统:低质量数据炼金术的工程化实践

文章目录 一、技术体系架构升级1.1 四层协同系统架构1.2 关键技术组件解析(1) 跨模态特征对齐引擎(2) 动态采样策略库 二、低质量数据治理全流程2.1 数据清洗与增强流水线2.2 主动学习迭代流程 三、工业级部署方案3.1 分布式计算架构3.2 动态环境应对策略(1) 概念漂移检测(2) 持…...

学习记录:DAY20

技术探索之旅&#xff1a;YAML配置&#xff0c;依赖注入、控制反转与Java注解 前言 最近有点懒了&#xff0c;太松懈可不行。为了让自己保持学习的动力&#xff0c;我决定将最近的学习内容整理成博客&#xff0c;目标是让未来的自己也能轻松理解。我会尽量以整体记录的方式呈…...

[AI]browser-use + web-ui 大模型实现自动操作浏览器

[AI]browser-use web-ui 大模型实现自动操作浏览器 介绍 官方地址&#xff1a;https://github.com/browser-use/web-ui browser-use主要作用是将 AI Agent 与浏览器链接起来从而实现由 AI 驱动的浏览器自动化。今天会给大家介绍如何通过browser-use web-ui来搭建并操作browse…...

使用LangChain连接远程Oracle数据库尝试LLM 提供的SQL智能助理

使用LangChain连接远程Oracle数据库尝试LLM 提供的SQL智能助理 为完成此次数据库连接实验&#xff0c;笔者用自己的笔记本电脑搭建了一台linux虚机&#xff0c;安装了oracle 23C&#xff0c;并借助deepseek创建了若干与电商业务有关的表并插入了一些记录。 接着在windows实体…...

训练神经网络的批量标准化(使用 PyTorch)

构建神经网络是一门艺术&#xff0c;而非一个结果固定的过程。你无法预知最终能否得到有效的模型&#xff0c;而且有很多因素可能导致你的机器学习项目失败。 然而&#xff0c;随着时间的推移&#xff0c;您还将学会一套特定的笔触&#xff0c;这将大大提高您成功的几率。 在…...

阿里Qwen3 8款模型全面开源,免费商用,成本仅为 DeepSeek-R1 的三分之一

想要掌握如何将大模型的力量发挥到极致吗&#xff1f;叶梓老师带您深入了解 Llama Factory —— 一款革命性的大模型微调工具&#xff08;限时免费&#xff09;。 1小时实战课程&#xff0c;您将学习到如何轻松上手并有效利用 Llama Factory 来微调您的模型&#xff0c;以发挥其…...

Vue常用的修饰符有哪些有什么应用场景(含deep seek讲解)

Vue.js 事件修饰符的功能与具体应用场景 一、事件修饰符 .stop .stop 的主要作用是 阻止事件冒泡&#xff0c;防止事件从子元素传播到父元素。这在处理嵌套组件或多层 DOM 结构时非常有用。 <div click"parentClick">Parent<button click.stop"chi…...

案例分享|20倍提效!水力设备电磁仿真的云端实战

在现代水力设备制造领域&#xff0c;电磁仿真是贯穿设计、研发到故障诊断的核心技术之一。而随着"双碳"目标驱动下清洁能源设备的迭代加速&#xff0c;水轮机、水泵等设备研发的多物理场耦合特性对仿真精度提出前所未有的挑战。传统仿真工具在处理复杂多物理场耦合等…...

ShenNiusModularity项目源码学习(25:ShenNius.Admin.Mvc项目分析-10)

本文学习并分析ShenNiusModularity项目中的留言管理页面、回收站页面。 1、留言管理页面 留言管理页面用于检索、删除系统中的留言数据&#xff0c;该页面对应的文件Index.cshtml位于ShenNius.Admin.Mvc项目的Areas\Cms\Views\Message内。页面使用的控制器类MessageController…...

github使用记录

1. 首次上传本地项目到 GitHub 1.1 准备 GitHub 仓库 登录 GitHub&#xff0c;点击右上角 → New repository输入仓库名称&#xff08;建议与本地目录同名&#xff09;选择公开&#xff08;Public&#xff09;或私有&#xff08;Private&#xff09;不要勾选 "Initiali…...

NFS-网络文件系统

NFS介绍 NFS &#xff08; Network File System &#xff09; 即网络文件系统 &#xff0c;它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中&#xff0c;本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件&#xff0c;就像访问本地文件一样NFS的好…...

Andorid车机UI适配,AndroidUI图px的单位,如何适配1920x720,PPI100的屏幕设备

在 Android 开发中&#xff0c;针对 1920720 分辨率、PPI 100 的屏幕设备进行 UI 适配&#xff0c;需要综合考虑 像素密度&#xff08;PPI&#xff09;、屏幕尺寸 和 Android 的密度无关像素&#xff08;dp&#xff09; 体系。以下是完整的适配方案&#xff1a; &#x1f4cc; …...

4.2.4 MYSQL的缓存策略

文章目录 4.2.4 MYSQL的缓存策略1. MYSQL缓存方案用来干什么 2. 缓存相关知识1. mysql主从复制2. 为什么需要缓冲层3. 还有哪些类型数据库 3. 那些方式会提升MYSQL读写性能1. mysql读写分离2. 连接池3. 异步连接 4. 缓存方案是怎么解决的1. redis和MYSQL一致性状态分析1. 流程&…...

省科学技术奖申报答辩PPT设计制作美化

自然科学奖、技术发明奖和科技进步奖是科学技术奖励体系中的三大核心奖项 省科学技术奖的含金量极高&#xff0c;主要体现在经济激励、社会认可、创新驱动及资源整合等方面。其价值不仅在于奖金和荣誉&#xff0c;更在于对科研生态的长远影响&#xff0c;国家科学技术奖的敲门…...

基于 ARM 的自动跟拍云台设计

标题:基于 ARM 的自动跟拍云台设计 内容:1.摘要 摘要&#xff1a;随着摄影和监控需求的不断增长&#xff0c;自动跟拍云台的应用越来越广泛。本设计的目的是开发一款基于 ARM 的自动跟拍云台&#xff0c;以实现对目标的精准跟拍。采用 ARM 微控制器作为核心控制单元&#xff0…...

Linux电源管理(3)_关机和重启的过程

原文&#xff1a;Linux电源管理&#xff08;3&#xff09;_Generic PM之重新启动过程 1.前言 在使用计算机的过程中&#xff0c;关机和重启是最先学会的两个操作。同样&#xff0c;这两个操作在Linux中也存在&#xff0c;可以关机和重启。这就是这里要描述的对象。在Linux Ke…...

SQLMesh增量模型实战指南:时间范围分区

引言 在数据工程领域&#xff0c;处理大规模数据集和高频率数据更新是一项挑战。SQLMesh作为一款强大的数据编排工具&#xff0c;提供了增量模型功能&#xff0c;帮助数据工程师高效地管理和更新数据。本文将详细介绍如何使用SQLMesh创建和管理基于时间范围的增量模型&#xf…...

LeetCode -160.相交链表

题目 160. 相交链表 - 力扣&#xff08;LeetCode&#xff09; 解法一 哈希表 哈希表解决方案的思路 这个使用哈希表&#xff08;unordered_set&#xff09;的解决方案基于一个简单的观察&#xff1a;如果两个链表相交&#xff0c;那么相交点及之后的所有节点都是两个链表共…...

针对Linux挂载NAS供Minio使用及数据恢复的需求

针对Linux挂载NAS供Minio使用及数据恢复的需求&#xff0c;设计以下分阶段解决方案&#xff1a; 一、存储架构设计 存储拓扑 [Minio Server] --> [NAS挂载点 (/mnt/nas/minio-data)] --> [企业级NAS设备]│└─[备份服务器/存储] (可选异地备份)组件版本要求 Minio版本&a…...

【大厂实战】API网关进化史:从统一入口到智能AB分流,如何构建灰度无感知系统?

【大厂实战】API网关进化史&#xff1a;从统一入口到智能AB分流&#xff0c;如何构建灰度无感知系统&#xff1f; 1. 为什么API网关是AB面架构的天然起点&#xff1f; 在分布式微服务架构中&#xff0c;API网关&#xff08;API Gateway&#xff09;承担着重要职责&#xff1a…...

开放平台架构方案- GraphQL 详细解释

GraphQL 详细解释 GraphQL 是一种用于 API 的查询语言&#xff0c;由 Facebook 开发并开源&#xff0c;旨在提供一种更高效、灵活且强大的数据获取和操作方式。它与传统的 REST API 有显著不同&#xff0c;通过类型系统和灵活的查询能力&#xff0c;解决了 REST 中常见的过度获…...

使用 TypeScript 开发并发布一个 npm 包(完整指南)

本教程将一步步教你从零开发、打包并发布一个 TypeScript 工具库到 npm。以日期时间格式化工具为例&#xff0c;涵盖项目初始化、Vite 打包、类型声明输出、npm 配置、实际发布等完整流程&#xff0c;适合开发者直接套用。 文章目录 &#x1f4c1; 项目结构预览&#x1f9f1; 初…...

在Anolis OS 8上部署Elasticsearch 7.16.1与JDK 11的完整指南

目录 1. 环境与版本选择 1.1 操作系统选择:Anolis OS 8 1.2 版本匹配说明 1.3 前置条件检查 2. JDK 11安装与配置 2.1 安装流程 2.2 配置详解 3. Elasticsearch 7.16.1安装与优化 3.1 基础安装 3.2 目录规划与权限 3.3 核心配置文件详解 3.4 JVM调优 4. 用户权限管…...

SELinux 从理论到实践:深入解析与实战指南

文章目录 引言&#xff1a;为什么需要 SELinux&#xff1f;第一部分&#xff1a;SELinux 核心理论1.1 SELinux 的三大核心模型1.2 安全上下文&#xff08;Security Context&#xff09;1.3 策略语言与模块化 第二部分&#xff1a;实战操作指南2.1 SELinux 状态管理2.2 文件上下…...

巧用 `unittest.mock` 模块实现依赖服务隔离测试

巧用 unittest.mock 模块实现依赖服务隔离测试 引言 在软件开发过程中,单元测试是保障代码质量的核心手段。然而,许多代码依赖于外部服务,如数据库、API 或文件系统,直接进行测试可能会导致: 环境不可控:测试数据可能变化,影响测试结果的稳定性。执行时间长:依赖外部…...

水利三维可视化平台怎么做?快速上手的3步指南

分享大纲&#xff1a; 1、了解水利三维可视化平台 2、选择合适的开发平台 3、快速搭建水利三维可视化平台 第一步&#xff1a;了解水利三维可视化平台 水利三维可视化平台是利用大数据、物联网、数字孪生等技术&#xff0c;将物理实体数字化建模&#xff0c;并通过三维可视化技…...

【DB2】逻辑导出导入注意事项

DB2异构操作系统之间迁移需选择逻辑备份恢复 导出环节 1、设置字符集&#xff0c;源端创建导出目录&#xff0c;并导出数据库DDL db2set db2codepage1208 db2stop force db2start db2look -d YS-e -l -o -createdb db2look_YS.sql导出文件:db2look_YS.sql –详细参数请参考…...

Fiddler抓取APP端,HTTPS报错全解析及解决方案(一篇解决常见问题)

环境&#xff1a;雷电模拟器Android9系统 ​ 你所遇到的fiddler中抓取HTTPS的问题可以分为三类&#xff1a;一类是你自己证书安装上逻辑错误&#xff0c;另一种是APP中使用了“证书固定”的手段。三类fiddler中生成证书时的参数过程。 1.Fiddler证书安装上的逻辑错误 更新Opt…...

C语言教程(二十三):C 语言强制类型转换详解

一、强制类型转换的概念 强制类型转换是指在程序中手动将一个数据类型的值转换为另一种数据类型。在某些情况下&#xff0c;编译器可能不会自动进行类型转换&#xff0c;或者自动转换的结果不符合我们的预期&#xff0c;这时就需要使用强制类型转换来明确指定要进行的类型转换。…...

阿里云服务器 篇十二:加入 Project Honey Pot 和使用 http:BL

文章目录 系列文章背景前提条件注册和准备注册安装蜜罐捐赠MX记录(可选)添加 QuickLinks(快速链接)使用 http:BL(HTTP黑名单)获取Access Key(访问秘钥)Apache自动拦截黑名单IP模块Http:BL API文档更多实现案例监控IP空间系列文章 阿里云服务器 篇一:申请和初始化 阿里…...

Android 手动删除 AAR jar 包 中的文件

Duplicate class com.xxxa.naviauto.sdk.listener.OnChangeListener found in modules jetified-xxxa-sdk-v1.1.2-release-runtime (:xxx-sdk-v1.1.2-release:) and jetified-xxxb-sdk-1.1.3-runtime (:xxxb-sdk-1.1.3:) A.aar B.aar 有类冲突; 使用 exclude 排除本地aar无效…...

Tomcat 部署配置指南

## 1. 环境要求 - JDK 8 或更高版本 - Tomcat 8.5/9.x/10.x - Windows 操作系统 ## 2. 安装步骤 ### 2.1 安装JDK 1. 下载并安装JDK 2. 配置环境变量&#xff1a; - JAVA_HOME: JDK安装目录 - Path: 添加 %JAVA_HOME%\bin 3. 验证安装&#xff1a;打开命令提示符&#…...

阿里千问Qwen3技术解析与部署指南 :混合推理架构突破性优势与对DeepSeek R1的全面超越

阿里千问Qwen3技术解析&#xff1a;突破性优势与对DeepSeek R1的全面超越 在2025年4月29日&#xff0c;阿里巴巴发布了新一代开源大模型Qwen3&#xff08;通义千问3&#xff09;&#xff0c;凭借其创新架构与显著性能提升&#xff0c;迅速成为全球开源AI领域的焦点。本文将从技…...