当前位置: 首页 > news >正文

解除diffusers库的prompt长度限制(SDXL版)

 2025-5-21 注:本文只提供思路,没有解决“权重识别”、“BREAK”问题。

要想实现与webui一样的绘图效果与无限prompt,可参考diffusers/examples/community/lpw_stable_diffusion_xl.py

1、上代码

from diffusers import StableDiffusionXLPipeline,EulerAncestralDiscreteScheduler# 1. 加载模型
config_path = "anime_illust_diffusion_xl"
model_id="anime_illust_diffusion_xl/animeIllustDiffusion_v08.safetensors"
pipe = StableDiffusionXLPipeline.from_single_file(model_id, dtype=torch.bfloat16,config=config_path,local_files_only=True)pipe = pipe.to("cuda") # 2. 准备输入图像和提示词
#======================================
clip_skip = 1prompt = 40 * "1girl, solo, black background,(best quality:1.5)" # 超出77长度限制
negative_prompt = "worst quality, low quality, multi views"max_length = pipe.tokenizer.model_max_length
tokenizers = [pipe.tokenizer,pipe.tokenizer_2]
text_encoders = [pipe.text_encoder,pipe.text_encoder_2]
prompts = [prompt,prompt]
negative_prompts = [negative_prompt,negative_prompt]prompt_embeds_list = []
negative_prompt_embeds_list= []for prompt,negative_prompt, tokenizer, text_encoder in zip(prompts,negative_prompts, tokenizers, text_encoders):input_ids = tokenizer(prompt, return_tensors="pt").input_idsinput_ids = input_ids.to("cuda")negative_ids =tokenizer(negative_prompt, truncation=False, padding="max_length", max_length=input_ids.shape[-1], return_tensors="pt").input_ids                                                                                                     negative_ids = negative_ids.to("cuda")# 分段处理promptconcat_embeds = [] neg_embeds = []for i in range(0, input_ids.shape[-1], max_length):embeds_1 = text_encoder(input_ids[:, i: i + max_length], output_hidden_states=True)pooled_prompt_embeds = embeds_1[0]concat_embeds.append(embeds_1.hidden_states[-(clip_skip+2)])embeds_2 = text_encoder(negative_ids[:, i: i + max_length],output_hidden_states=True)negative_pooled_prompt_embeds = embeds_2[0]neg_embeds.append(embeds_2.hidden_states[-2])# 拼接text_encoder结果# 例:(1,77,768)+(1,22,768) = (1,99,768)prompt_embeds = torch.cat(concat_embeds, dim=1)negative_prompt_embeds = torch.cat(neg_embeds, dim=1)prompt_embeds_list.append(prompt_embeds)negative_prompt_embeds_list.append(negative_prompt_embeds)# 拼接两个text_encoder的特征
# 例:(1,99,768)+(1,99,1280) = (1,99,2048)
prompt_embeds = torch.concat(prompt_embeds_list, dim=-1)
negative_prompt_embeds = torch.concat(negative_prompt_embeds_list, dim=-1)#=====================================# 3. 设置生成参数
num_inference_steps = 28  # 推理步数,可根据需要调整
guidance_scale = 7     # 引导比例,控制生成图像与提示的匹配程度
generator = torch.Generator("cuda").manual_seed(31)# 4. 执行生成
with torch.no_grad():images = pipe(#prompt=prompt,#negative_prompt=negative_prompt,prompt_embeds = prompt_embeds, pooled_prompt_embeds = pooled_prompt_embeds,negative_prompt_embeds = negative_prompt_embeds, negative_pooled_prompt_embeds = negative_pooled_prompt_embeds,height = 1216,width= 832,num_inference_steps=num_inference_steps,guidance_scale=guidance_scale,clip_skip=clip_skip,num_images_per_prompt=2,generator = generator).imagesprint(type(images))
# 5. 保存结果
for id in range(len(images)):images[id].save(f"output_image_{id}.png")

 2、分析

需要准备下面四样东西:

        prompt_embeds   # 正向提示词编码

        pooled_prompt_embeds   # 正向提示词编码的全局池化

        negative_prompt_embeds   # 负向提示词编码

        negative_pooled_prompt_embeds   # 负向提示词的全局池化

前置知识:

1. sdxl有两个text_encoder,不妨设为t1,t2:

        将prompt输入t1,得到768维的数据;输入t2,得到1280维的数据

        最后送入Unet进行cross_attention的,是拼接后2048维的数据

        t1、t2的输入限制了大小,最大为77

2. pooled_prompt_embeds,这玩意的原理我不懂,不过生成方式在上面代码里有写

解决方案

把长度为99的prompt,拆分为77+22,分别输入text_encoder,然后将结果拼接

相关文章:

解除diffusers库的prompt长度限制(SDXL版)

2025-5-21 注:本文只提供思路,没有解决“权重识别”、“BREAK”问题。 要想实现与webui一样的绘图效果与无限prompt,可参考diffusers/examples/community/lpw_stable_diffusion_xl.py 1、上代码 from diffusers import StableDiffusionXLP…...

RISC-V 开发板 MUSE Pi Pro CSI测试,一把点亮ov5647摄像头

视频讲解: RISC-V 开发板 MUSE Pi Pro CSI测试,一把点亮ov5647摄像头 手上正好有一颗ov5674,看了下接口排线都是一致的,硬件条件满足的情况下,剩下的就是驱动软件的问题,直接接上CSI排线 https://bianbu-li…...

Word2Vec模型学习和Word2Vec提取相似文本体验

文章目录 说明Word2Vec模型核心思想两种经典模型关键技术和算法流程优点和局限应用场景 Word2Vec提取相似文本完整源码执行结果 说明 本文适用于初学者,体验Pytorch框架在自然语言处理中的使用。简单了解学习Word2Vec模型,体验其使用。 Word2Vec模型 …...

[测试_3] 生命周期 | Bug级别 | 测试流程 | 思考

目录 一、软件测试的生命周期(重点) 1、软件测试 & 软件开发生命周期 (1)需求分析 (2)测试计划 (3)测试设计与开发 (4)测试执行 (5&am…...

epoll_wait未触发的小Bug

上次看了一下epoll监听的原理,在Android Jni里使用epoll,来监听Gpio口的变化事件,具体代码如下: 打开 GPIO 文件描述符,因为该文件是内核虚拟出来的,不是实际文件,所以无法使用FileObserver来监…...

Unity异步加载image的材质后,未正确显示的问题

简述: 此问题涉及到Unity的UI刷新机制 问题描述: 如图所示,想要实现在打开新的界面时候,通过修改材质的方式,修改image的显示内容。 明明已经给image添加上材质了,可还是一片空白? 先看看代…...

Python----循环神经网络(Word2Vec)

一、Word2Vec Word2Vec是word to vector的简称,字面上理解就是把文字向量化,也就是词嵌入 的一种方式。 它的核心就是建立一个简单的神经网络实现词嵌入。 其模型仅仅包括输入层、隐藏层和输出层,模型框架根据输入输出的不同,主要…...

Oracle Enqueue Names

Oracle Enqueue Names Enqueue(排队锁)是Oracle数据库中用于协调多进程并发访问共享资源的锁机制。 This appendix lists Oracle enqueues. Enqueues are shared memory structures (locks) that serialize access to database resources. They can be…...

微服务中API网关作用(统一入口、路由转发、协议转换、认证授权、请求聚合、负载均衡、熔断限流、监控日志)

文章目录 在微服务架构中,API网关主要有以下作用1. 统一入口:作为所有客户端请求的单一入口点,隐藏后端服务的复杂性2. 路由转发:将客户端请求准确路由到适当的微服务(如图中的服务A、B、C)3. 协议转换&…...

Linux `cat` 命令深度解析与高阶应用指南

Linux `cat` 命令深度解析与高阶应用指南 一、核心功能解析1. 基本作用2. 与类似命令对比二、选项系统详解1. 常用选项矩阵2. 组合使用技巧三、高阶应用场景1. 数据流处理2. 系统维护操作3. 开发调试应用四、安全与权限管理1. 访问控制策略2. 二进制文件处理五、性能优化策略1.…...

融云 uni-app IMKit 上线,1 天集成,多端畅行

融云 uni-app IMKit 正式上线,支持一套代码同时运行在 iOS、Android、H5、小程序主流四端,集成仅需 1 天,并可确保多平台的一致性体验。 融云 uni-app IMKit 在 Vue 3 的高性能加持下开发实现,使用 Vue 3 Composition API&#x…...

VLA模型:自动驾驶与机器人行业的革命性跃迁,端到端智能如何重塑未来?

当AI开始操控方向盘和机械臂,人类正在见证一场静默的产业革命。 2023年7月,谷歌DeepMind抛出一枚技术核弹——全球首个视觉语言动作模型(VLA)RT-2横空出世。这个能将“把咖啡递给穿红衣服的阿姨”这类自然语言指令直接转化为机器人…...

IP地址详解

IP地址详解(技术向) 一、核心定义 IP地址(Internet Protocol Address)是 网络层逻辑地址,用于在网络中唯一标识设备。本质上是 32位(IPv4)或128位(IPv6)二进制数。 本机的地址为127.0.0.1,主机名:localhost192.168.0.0-192.168.255.255为私有地址,属于非注册地址,…...

C++网络编程入门学习(四)-- GDB 调试 学习 笔记

GDB 调试 学习 笔记 GDB 调试 学习 笔记调试准备启动和退出gdbgdb中启动程序退出gdb查看代码断点调试命令继续运行gdb手动打印信息 自动打印信息单步调试step 可简写 snext 可简写成 nfinish 可简写成 finuntil 可简写成 u 设置变量值 GDB 调试 学习 笔记 学习地址&#xff1a…...

C#面:Server.UrlEncode、HttpUtility.UrlDecode的区别

在C#编程中,Server.UrlEncode 和 HttpUtility.UrlDecode 是两个常用的方法,用于处理URL编码和解码操作。理解它们的区别对于确保数据在Web应用程序中的正确传输和解析至关重要。 Server.UrlEncode 和 HttpUtility.UrlDecode的区别 Server.UrlEncode 和…...

kafka配置SASL_PLAINTEXT简单认证

Kafka ZooKeeper 开启 SASL_PLAINTEXT 认证(PLAIN机制)最全实战教程 💡 本教程将手把手教你如何为 Kafka 配置基于 SASL_PLAINTEXT PLAIN 的用户名密码认证机制,包含 Kafka 与 ZooKeeper 的全部配置,适合入门。 &…...

Flink SQL 计算实时指标同比的实现方法

在 Flink SQL 中计算实时指标的同比(Year-on-Year),核心是通过时间窗口划分周期(如日、月、周),并关联当前周期与去年同期的指标值。以下是结合流数据处理特性的具体实现方法,包含数据准备、窗口聚合、历史数据关联等关键步骤。 一、同比的定义与场景 同比指当前周期指…...

Vue Router动态路由与导航守卫实战

在 Vue Router 中,动态路由与导航守卫的结合使用能够实现复杂的路由控制逻辑,例如权限验证、动态路由加载、数据预取等功能。以下是一个结合实战的详细说明: 一、动态路由基础 动态路由通过路径参数(:)实现动态匹配&a…...

数据库健康监测器(BHM)实战:如何通过 HTML 报告识别潜在问题

在数据库运维中,健康监测是保障系统稳定性与性能的关键环节。通过 HTML 报告,开发者可以直观查看数据库的运行状态、资源使用情况与潜在风险。 本文将围绕 数据库健康监测器(Database Health Monitor, BHM) 的核心功能展开分析,结合 Prometheus + Grafana + MySQL Export…...

Oracle基础知识(二)

目录 1.聚合函数 2.COUNT(1)&COUNT(*)&COUNT(字段)区别(面试常问) 3.分组聚合——group by 4.去重:DISTINCT 、GROUP BY 5.聚合函数的过滤HAVING 6.oracle中having与where的区别 (面试常问) 7.ROUND与TRUNC函数 8.ROLLUP上卷…...

轻量化MEC终端 特点

MEC(多接入边缘计算)解决方案通过将计算能力下沉至网络边缘,结合5G网络特性,已在多个行业实现低延迟、高可靠、高安全的应用部署。以下从技术架构、核心优势及典型场景三方面进行总结: 一、技术架构 分层设计‌ MEC架…...

Git 提交大文件 this exceeds GitHub‘s file size limit of 100.00 MB

报错核心: File …/encoder-epoch-99-avg-1.int8.onnx is 173.47 MB File …/encoder-epoch-99-avg-1.onnx is 314.79 MB this exceeds GitHub’s file size limit of 100.00 MB 正确做法:使用 Git LFS 上传大文件 GitHub 对 单个文件最大限制是 100MB&…...

前后端的双精度浮点数精度不一致问题解决方案,自定义Spring的消息转换器处理JSON转换

在 Java 中,Long 是一个 64 位的长整型,通常用于表示很大的整数。在后端,Long 类型的数据没有问题,因为 Java 本身使用的是 64 位的整数,可以表示的范围非常大。 但是,在前端 JavaScript 中,Lo…...

C语言—Linux环境下CMake设置库(动态/静态)

1. Yesterday Once More 由于昨日我们在VSCode设置了如何使用CMake构建与编译c语言项目,如有疑问,请看以下链接,今日根据昨天的配置来进一步完成项目的构建。 c语言- 如何构建CMake项目(Linux/VSCode)-CSDN博客 2. 动态…...

C语言---内存函数

memcpy函数的使用及模拟实现 memcpy的功能和strcpy类似,都是用来拷贝数据的。与strcpy不同的是,memcpy的适用性更广并且是以字节为单位来拷贝的。 void * memcpy ( void * destination, const void * source, size_t num ) memcpy函数的作用就是拷贝从so…...

vue项目启动报错(node版本与Webpack)

一、问题 因为项目需要将node版本从v14.17.0升级到v20.9.1了,然后启动项目报错 报错有些多,直接省略部分 building 2/2 modules 0 activeError: error:0308010C:digital envelope routines::unsupported at new Hash (node:internal/crypto/hash:79:19) …...

Vite + Vue 工程中,为什么需要关注 `postcss.config.ts`?

📜 前言:当传统 CSS 遇见现代工程 在 Vue 项目开发中,CSS 管理一直是一个容易被忽视但极其重要的环节。传统的 CSS 编写方式(如手动处理浏览器兼容性、全局样式污染)已无法适应现代前端工程的需求。而 PostCSS 作为 C…...

LeetCode热题100:Java哈希表中等难度题目精解

49. 字母异位词分组 题目描述 给定一个字符串数组,要求将字母异位词组合在一起。可以按任意顺序返回结果列表。 字母异位词是由重新排列源单词的所有字母得到的一个新单词。 示例 示例 1: 输入: strs ["eat", "tea", "tan", &…...

设计模式1 ——单例模式

定义 在 C 里,单例模式是一种常用的设计模式,其目的是保证一个类仅存在一个实例,并且为该实例提供一个全局访问点。 实现 1 饿汉式 class Singleton { private:static Singleton instance;Singleton() default;~Singleton() default;Si…...

日语学习-日语知识点小记-构建基础-JLPT-N4阶段(26):のは ・ のが ・ のを

日语学习-日语知识点小记-构建基础-JLPT-N4阶段(26):のは ・ のが ・ のを 1、前言(1)情况说明(2)工程师的信仰2、知识点(1)復習:(2)のは ・ のが ・ のを3、单词(1)日语(2)日语片假名单词4、相近词练习5、单词辨析记录6、总结1、前言 (1)情况说明…...

第18天-NumPy + Pandas + Matplotlib多维度直方图

示例1:带样式的柱状图 python 复制 下载 import numpy as np import pandas as pd import matplotlib.pyplot as plt# 生成数据 df = pd.DataFrame(np.random.randint(10, 100, size=(8, 4)),columns=[Spring, Summer, Autumn, Winter],index=[2015, 2016, 2017, 2018, 20…...

Qt初识.

认识 QLabel 类,能够在界面上显示字符串. 通过 setText 来设置的。参数 QString (Qt 中把 C 里的很多容器类,进行了重新封装。历史原因) 内存泄露 / 文件资源泄露对象树. Qt 中通过对象树,来统一的释放界面的控件对象. Qt 还是推荐使用 new 的…...

linux系统查看硬盘序列号

Linux系统查看硬盘信息指南 方法一:hdparm工具 sudo hdparm -i /dev/sda输出示例:在返回信息中查找"SerialNo"字段为序列号,"Model"字段为硬盘型号注意:必须使用root权限,普通用户需在命令前加s…...

用户栈的高效解析逻辑

一、背景 在之前的博客 内核逻辑里抓取用户栈的几种方法-CSDN博客 里,介绍了使用内核逻辑进行用户栈的函数地址的抓取逻辑,但是并没有涉及如何解析出函数符号的逻辑。 就如perf工具一样,它也是分为两个步骤,一个步骤是内核态抓取…...

【713. 乘积小于 K 的子数组】

Leetcode算法练习 笔记记录 713. 乘积小于 K 的子数组 713. 乘积小于 K 的子数组 此题和 209题什么区别&#xff0c;没有什么区别&#xff0c;关键时理解滑动窗口的作用。 public int numSubarrayProductLessThanK(int[] nums, int k) {if (k < 1){return 0;}int left 0;in…...

springboot 1.x2.x依赖spring版本

springboot 1.x&2.x依赖spring版本 Spring Boot 1.x 系列版本主要依赖于 Spring Framework 4.x。具体对应关系如下&#xff1a; Spring Boot 1.0.x → Spring Framework 4.0.xSpring Boot 1.1.x → Spring Framework 4.0.xSpring Boot 1.2.x → Spring Framework 4.1.xSp…...

TYUT-企业级开发教程-第9章

考点不多&#xff0c;不会考大题 异步任务 异步任务通常用于耗时较长或者不需要立即得到执行结果的业务&#xff0c;在 Spring 中&#xff0c;可以使用 Async 注解实现异步任务&#xff0c;被Async 注解标注的方法称之为异步方法&#xff0c;异步方法将在执行的时候&#xff…...

独占内存访问指令LDXR/STXR

一、原子操作的介绍 在计算机领域里&#xff0c;如果要在多线程的情况下要保持数据的同步&#xff0c;需要引入称作Load-Link&#xff08;LL&#xff09;和Store-Conditional&#xff08;SC&#xff09;的操作&#xff0c;通常简称为LL/SC。 LL操作返回一个内存地址上当前存储…...

FlashAttention:传统自注意力( Self-Attention)优化加速实现

摘要 FlashAttention 是一套专为 GPU 优化的精确自注意力&#xff08;Self-Attention&#xff09;实现&#xff0c;通过“输入/输出感知”&#xff08;IO-awareness&#xff09;和块化&#xff08;Tiling&#xff09;策略&#xff0c;利用片上 SRAM 缓存大幅降低对高带宽显存&…...

DSP定时器的计算

以下是 0 到 F 的十六进制数对应的四位二进制表示的对照表&#xff1a; 十六进制二进制00000100012001030011401005010160110701118100091001A1010B1011C1100D1101E1110F1111 定时器周期&#xff1a; 我们先将 0x1742 转换成二进制形式&#xff1a; 0x1742 0001 0111 0100 …...

2025.05.21华为暑期实习机考真题解析第二题

📌 点击直达笔试专栏 👉《大厂笔试突围》 💻 春秋招笔试突围在线OJ 👉 笔试突围OJ 02. 灾区物资调度路径规划 问题描述 在一次严重的自然灾害后,LYA负责协调救援物资的配送工作。救援区域包含多个受灾乡镇和一个物资集结点,各个地点之间的道路状况各异,有些甚至…...

ATT Global赞助非小号全球行,引领RWA创新浪潮

领先的Web3广告生态系统构建者Advertising Time Trace (ATT Global) 今日宣布&#xff0c;将作为特别赞助商&#xff0c;鼎力支持即将于2025年5月26日在吉隆坡盛大举行的非小号全球行之“You Deserve to be Loved” WALL X特别慈善活动。此次盛会由知名Web3平台非小号与WALL X、…...

在 stm32 中 volatile unsigned signed 分别有什么作用,分别在什么场景下使用?

在STM32开发中&#xff0c; plaintext 复制 volatile 、 plaintext 复制 unsigned 和 plaintext 复制 signed 是三个关键的关键字&#xff0c;它们的用途和场景如下&#xff1a; 1. plaintext 复制 volatile 关键字 作用&#xff1a; 禁止编译器优化&#xff…...

Pandoc3.7新特性:存在合并单元格的 HTML 表格会被保留为嵌入的 HTML 表格

问题描述 在 Pandoc 3.6 中&#xff0c;当将包含合并单元格的 HTML 表格 (<table>) 转换为 Markdown 格式时&#xff0c;表格会被直接转换为 Markdown 表格格式。然而&#xff0c;在 Pandoc 3.7 中&#xff0c;同样的操作结果发生了变化&#xff1a;合并单元格的 HTML 表…...

WPS深度适配鸿蒙电脑折叠形态,国产替代下的未来何在?

首先&#xff0c;从产业升级与国产替代的角度来看&#xff0c;这是中国信息技术产业由“可用”向“好用”跃迁的重要信号。长期以来&#xff0c;中国的办公软件市场高度依赖微软Office等国外产品&#xff0c;操作系统也主要被Windows、macOS等垄断。而随着鸿蒙系统的成熟以及WP…...

[java]数组

数组 Scanner innew Scanner(System.in); int[] numbersnew int[100]; int x; int cnt0; xin.nextInt(); while(x!-1){numbers[cnt]x;sumx;xin.nextInt(); } if(cnt>0){System.out.println(sum/cnt); }所有的元素具有相同的数据类型创建后不能改变大小 定义数组 元素个数…...

torch.matmul() VS torch.einsum()

torch.matmul():标准的矩阵乘法 向量-向量&#xff08;点积&#xff09; a torch.randn(3) # [3] b torch.randn(3) # [3] c torch.matmul(a, b) # 点积&#xff0c;标量输出矩阵-向量 A torch.randn(3, 4) # [3, 4] x torch.randn(4) # [4] y torch.matmul(A, x…...

leetcode 92. Reverse Linked List II

题目描述 92. Reverse Linked List II 是第206题的进阶版206. Reverse Linked List 思路很简单&#xff0c;但一次性通过还是有点难度的。 /*** Definition for singly-linked list.* struct ListNode {* int val;* ListNode *next;* ListNode() : val(0), next(n…...

VUE3使用provice、inject实现组件间的方法调用

问题&#xff1a;A组件》B组件》C组件 C可以调用A的方法吗&#xff1f; A组件&#xff1a;提供一个refreshTable方法 provide(refreshTable,(e:params)>{ ElMessage(底层组件请求刷新表格e.staff_ide.shijian) params e renderTableData() }) C组件&#xff1a; 注入refres…...

WebSocket 是什么?

好记忆不如烂笔头&#xff0c;能记下点东西&#xff0c;就记下点&#xff0c;有时间拿出来看看&#xff0c;也会发觉不一样的感受. WebSocket 是一种基于 TCP 协议的全双工通信协议&#xff0c;用于在客户端&#xff08;如浏览器&#xff09;和服务器之间建立持久化的双向实时…...