当前位置：首页 > news >正文

pytorch实现文本摘要

news 来源：原创 2025/5/16 17:29:44

人工智能例子汇总：AI常见的算法和例子-CSDN博客

import numpy as npfrom modelscope.hub.snapshot_download import snapshot_download
from transformers import BertTokenizer, BertModel
import torch# 下载模型到本地目录
model_dir = snapshot_download('tiansz/bert-base-chinese', cache_dir='./bert-base-chinese')
print(f"模型已下载到: {model_dir}")# 本地模型路径
model_path = model_dir  # 使用下载的模型路径# 从本地加载分词器和模型
tokenizer = BertTokenizer.from_pretrained(model_path)
model = BertModel.from_pretrained(model_path)def get_sentence_embeddings(text):"""获取输入文本的句子级别嵌入（BERT模型的输出）用于摘要任务"""inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True)with torch.no_grad():outputs = model(**inputs)# 获取最后一层的[CLS] token的嵌入向量作为句子的表示return outputs.pooler_output.detach().numpy()def summarize(text, num_sentences=3):"""使用抽取式摘要从输入文本中提取最重要的句子"""sentences = text.split("。")  # 以句号分割句子sentence_embeddings = []for sentence in sentences:embedding = get_sentence_embeddings(sentence)sentence_embeddings.append(embedding)# 使用句子得分来排序sentence_scores = np.array([embedding[0][0] for embedding in sentence_embeddings])ranked_sentences = [sentences[i] for i in sentence_scores.argsort()[-num_sentences:][::-1]]# 返回排名靠前的句子return "。".join(ranked_sentences)# 示例中文文本
text = """
机器学习（Machine Learning，简称 ML）是人工智能（AI）领域的一个分支，重点研究开发能够使计算机在没有明确编程指令的情况下进行任务的算法和统计模型。机器学习通过从数据中学习，识别模式，并根据少量人为干预做出决策。 
近年来，深度学习（Deep Learning）作为机器学习的一个子集，取得了显著的进展，尤其是在计算机视觉、自然语言处理和语音识别等领域。 
深度学习技术使用多层神经网络结构，能够通过处理大量的数据来自动提取特征，从而提高机器学习的性能。 
目前，人工智能已经在多个行业中得到广泛应用，包括医疗健康、金融、自动驾驶等领域。
"""# 获取摘要
summary = summarize(text)
print("原文：\n", text)
print("\n摘要：\n", summary)

～困了🥱，通宵写了一个晚上

结果：

Downloading Model to directory: ./bert-base-chinese/tiansz/bert-base-chinese
模型已下载到: ./bert-base-chinese/tiansz/bert-base-chinese
Asking to truncate to max_length but no maximum length is provided and the model has no predefined maximum length. Default to no truncation.
原文：机器学习（Machine Learning，简称 ML）是人工智能（AI）领域的一个分支，重点研究开发能够使计算机在没有明确编程指令的情况下进行任务的算法和统计模型。机器学习通过从数据中学习，识别模式，并根据少量人为干预做出决策。 
近年来，深度学习（Deep Learning）作为机器学习的一个子集，取得了显著的进展，尤其是在计算机视觉、自然语言处理和语音识别等领域。 
深度学习技术使用多层神经网络结构，能够通过处理大量的数据来自动提取特征，从而提高机器学习的性能。 
目前，人工智能已经在多个行业中得到广泛应用，包括医疗健康、金融、自动驾驶等领域。摘要：目前，人工智能已经在多个行业中得到广泛应用，包括医疗健康、金融、自动驾驶等领域。机器学习通过从数据中学习，识别模式，并根据少量人为干预做出决策。 
深度学习技术使用多层神经网络结构，能够通过处理大量的数据来自动提取特征，从而提高机器学习的性能

pytorch实现文本摘要

人工智能例子汇总：AI常见的算法和例子-CSDN博客 import numpy as npfrom modelscope.hub.snapshot_download import snapshot_download from transformers import BertTokenizer, BertModel import torch# 下载模型到本地目录 model_dir snapshot_download(tians…...

编程日记 2025/5/16 17:29:44

大数据相关职位介绍之一（数据分析，数据开发，数据产品经理，数据运营）

大数据相关职位介绍之一随着大数据、人工智能（AI）和机器学习的快速发展，数据分析与管理已经成为各行各业的重要组成部分。从互联网公司到传统行业的数字转型，数据相关职位在中国日益成为推动企业创新和提升竞争力的关键力量。以…...

编程日记 2025/5/17 14:24:34

Vue3.0实战：大数据平台可视化（附完整项目源码）

文章目录创建vue3.0项目项目初始化项目分辨率响应式设置项目顶部信息条创建页面主体创建全局引入echarts和axios后台接口创建express销售总量图实现完整项目下载项目任何问题都可在评论区，或者直接私信即可。创建vue3.0项目创建项目： vue create vueecharts选择第三项：…...

编程日记 2025/5/17 14:10:12

多模态论文笔记——NaViT

大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本文详细解读多模态论文NaViT（Native Resolution ViT），将来自不同图像的多个patches打包成一个单一序列——称为Patch n’ Pack—…...

编程日记 2025/5/16 21:16:31

AI大模型开发原理篇-5：循环神经网络RNN

神经概率语言模型NPLM也存在一些明显的不足之处:模型结构简单，窗口大小固定，缺乏长距离依赖捕捉，训练效率低，词汇表固定等。为了解决这些问题，研究人员提出了一些更先进的神经网络语言模型，如循环神经网络、…...

编程日记 2025/5/17 9:18:14

无人机图传模块 wfb-ng openipc-fpv，4G

openipc 的定位是为各种模块提供底层的驱动和linux最小系统，openipc 是采用buildroot系统编译而成，因此二次开发能力有点麻烦。为啥openipc 会用于无人机图传呢？因为openipc可以将现有的网络摄像头ip-camera模块直接利用起来，从而…...

编程日记 2025/5/12 22:25:06

C++ Primer 自定义数据结构

欢迎阅读我的【CPrimer】专栏专栏简介：本专栏主要面向C初学者，解释C的一些基本概念和基础语言特性，涉及C标准库的用法，面向对象特性，泛型特性高级用法。通过使用标准库中定义的抽象设施，使你更加适应高级…...

编程日记 2025/5/14 10:20:27

Kanass快速安装配置教程(入门级)

Kanass是一款国产开源免费的项目管理工具，工具简洁易用、开源免费，本文将介绍如何快速安装配置kanass，以快速上手。 1、快速安装 1.1 Linux 安装点击官网 -> 演示与下载 ->下载，下载Linux安装包，…...

编程日记 2025/5/17 13:47:59

【自然语言处理（NLP）】基于Transformer架构的预训练语言模型：BERT 训练之数据集处理、训练代码实现

文章目录介绍BERT 训练之数据集处理BERT 原理及模型代码实现数据集处理导包加载数据生成下一句预测任务的数据从段落中获取nsp数据生成遮蔽语言模型任务的数据从token中获取mlm数据将文本转换为预训练数据集创建Dataset加载WikiText-2数据集 BERT 训练代码实现导包加载数据构建…...

编程日记 2025/5/17 14:30:00

深度解析：网站快速收录与网站安全性的关系

本文转自：百万收录网原文链接：https://www.baiwanshoulu.com/58.html 网站快速收录与网站安全性之间存在着密切的关系。以下是对这一关系的深度解析： 一、网站安全性对收录的影响搜索引擎惩罚： 如果一个网站存在安全隐患&am…...

编程日记 2025/5/17 0:43:58

《基于Scapy的综合性网络扫描与通信工具集解析》

在网络管理和安全评估中，网络扫描和通信是两个至关重要的环节。Python 的 Scapy 库因其强大的网络数据包处理能力，成为开发和实现这些功能的理想工具。本文将介绍一个基于 Scapy 编写的 Python 脚本，该脚本集成了 ARP 扫描、端口扫描以及 TCP…...

编程日记 2025/5/16 5:54:57

MySQL索引详解

MySQL索引详解什么是索引索引的原理索引的分类索引的数据结构二叉树平衡二叉树B树B树聚集索引与非聚集索引概念利用聚集索引查找数据利用非聚集索引查找数据覆盖索引与回表操作如何正确使用索引什么是索引索引是存储引擎中一种数据结构，或者说数据的组织方式&…...

编程日记 2025/5/15 13:01:30

【NEXT】网络编程——上传文件（不限于jpg/png/pdf/txt/doc等），或请求参数值是file类型时，调用在线服务接口

最近在使用华为AI平台ModelArts训练自己的图像识别模型，并部署了在线服务接口。供给客户端（如：鸿蒙APP/元服务）调用。 import核心能力： import { http } from kit.NetworkKit; import { fileIo } from kit.CoreFileK…...

编程日记 2025/5/17 6:51:23

【Qt】界面优化

界面优化设置全局样式样式文件使⽤ Qt Designer 编辑样式选择器设置子控件样式伪类选择器样式属性盒模型设置按钮样式设置复选框样式输入框样式列表样式菜单栏样式在 Qt 中对界面的优化和 CSS 类似。语法结构如下： 选择器 {属性名: 属性值; }例如： QP…...

编程日记 2025/5/17 14:11:28

机器学习算法在网络安全中的实践

机器学习算法在网络安全中的实践本文将深入探讨机器学习算法在网络安全领域的应用实践，包括基本概念、常见算法及其应用案例，从而帮助程序员更好地理解和应用这一领域的技术。"> 序言网络安全一直是信息技术领域的重要议题，随着互联…...

编程日记 2025/5/16 23:35:26

课题介绍：基于惯性与单目视觉信息融合的室内微小型飞行器智能自主导航研究

室内微小型飞行器在国防、物流和监测等领域中应用广泛，但在复杂的非合作环境中实时避障和导航仍面临诸多挑战。由于微小型飞行器的载荷和能源限制，迫切需要开发高效的智能自主导航系统。本项目旨在研究基于惯性导航与单目视觉信息融合的技术，…...

编程日记 2025/5/17 12:58:07

Observability：实现 OpenTelemetry 原生可观察性的商业价值

作者：来自 Elastic David Hope 利用开放标准和简化的数据收集转变组织的可观察性策略。现代组织面临着前所未有的可观察性挑战。随着系统变得越来越复杂和分散，传统的监控方法难以跟上步伐。由于数据量每两年翻一番，系统跨越多个云和技术&am…...

编程日记 2025/5/14 9:28:30

nginx 报错404

404：服务器无法正常解析页面，大多是配置问题(路径配置错误)、或访问页面不存在如果你也是用nginx来转接服务的话，那你有可能碰到过这种情况，当你启动服务后，在本地打开页面，发现404，然后你找遍…...

编程日记 2025/5/12 12:42:07

2.2.1 人眼色觉与色度图

文章目录人眼色觉色度图人眼色觉视网膜上的视杆细胞、视锥细胞在人眼色觉中起到重要作用。视杆细胞主要用在弱光暗环境下，其数量远远多于视锥细胞。视锥细胞负责明亮环境的视觉，有L,M,S三种类型的细胞，分别对长、中、短波长敏感&#xff0…...

编程日记 2025/5/14 14:37:02

DeepSeek 遭 DDoS 攻击背后：DDoS 攻击的 “千层套路” 与安全防御 “金钟罩”

当算力博弈升级为网络战争：拆解DDoS攻击背后的技术攻防战——从DeepSeek遇袭看全球网络安全新趋势在数字化浪潮席卷全球的当下，网络已然成为人类社会运转的关键基础设施，深刻融入经济、生活、政务等各个领域。从金融交易的实时清算&#xf…...

编程日记 2025/5/17 14:34:42

c语言（关键字）

前言： 感谢b站鹏哥c语言内容： 栈区（存放局部变量） 堆区静态区（存放静态变量） rigister关键字寄存器，cpu优先从寄存器里边读取数据 #include <stdio.h>//typedef，类型…...

编程日记 2025/5/14 23:47:27

眼见着折叠手机面临崩溃，三星计划增强抗摔能力挽救它

据悉折叠手机开创者三星披露了一份专利，通过在折叠手机屏幕上增加一个抗冲击和遮光层的方式来增强折叠手机的抗摔能力，希望通过这种方式进一步增强折叠手机的可靠性和耐用性，来促进折叠手机的发展。据悉三星和研发可折叠玻璃的企业的做法是在…...

编程日记 2025/5/17 14:38:24

Excel to form ？一键导入微软表单

一句话痛点 “你的Excel越强大，手动复制到Forms就越痛苦。” 合并单元格崩溃成乱码、下拉菜单变纯文本、条件逻辑消失无踪——这些不是技术问题，而是低效工作模式的死刑判决书。直击解决方案：3分钟，3步，300%效率 1…...

编程日记 2025/5/16 7:13:58

使用Ollama本地化部署DeepSeek

1、Ollama 简介 Ollama 是一个开源的本地化大模型部署工具，旨在简化大型语言模型（LLM）的安装、运行和管理。它支持多种模型架构，并提供与 OpenAI 兼容的 API 接口，适合开发者和企业快速搭建私有化 AI 服务。 Ollama …...

编程日记 2025/5/16 10:46:32

【xdoj-离散线上练习】T251（C++）

解题反思： 开始敲代码前想清楚整个思路比什么都重要嘤嘤嘤！看到输入m, n和矩阵，注意不能想当然地认为就是高m，宽n的矩阵，细看含义比如本题给出了树的邻接矩阵，就是n*n的，代码实现中没有用到m这…...

编程日记 2025/5/17 8:44:23

【数据结构】_链表经典算法OJ（力扣/牛客第二弹）

目录 1. 题目1：返回倒数第k个节点 1.1 题目链接及描述 1.2 解题思路 1.3 程序 2. 题目2：链表的回文结构 2.1 题目链接及描述 2.2 解题思路 2.3 程序 1. 题目1：返回倒数第k个节点 1.1 题目链接及描述题目链接： 面试题 …...

编程日记 2025/5/14 11:00:55

线性代数复习笔记

1. 课程学习 1.1 3Blue1Brown 线性代数 2. 基本术语 eigenvector（特征向量）：线性变换中方向保持不变的向量可以视作3D旋转矩阵形成的旋转的轴...

编程日记 2025/5/17 14:39:39

51单片机 01 LED

一、点亮一个LED 在STC-ISP中单片机型号选择 STC89C52RC/LE52RC；如果没有找到hex文件（在objects文件夹下），在keil中options for target-output- 勾选 create hex file。如果要修改编程 ：重新编译-下载/编程-单片机重…...

编程日记 2025/5/17 6:23:37

用一个例子详细说明python单例模式

单例模式是一种设计模式，它确保一个类只有一个实例，并提供一个全局访问点来访问该实例。这在需要控制资源（如数据库连接、文件系统等）的访问时非常有用。下面是一个使用Python实现单例模式的例子： class Singleton:…...

编程日记 2025/5/14 21:21:04

QT知识点复习

1.qt核心机制对象树、信号和槽、事件机制 2.对象树的作用优化了内存回收机制。子对象实例化的时候，被父对象放对象树上，父对象释放内存，子对象也释放内存 3.信号和槽的作用实现多个组件之间的通讯 4.信号和槽的几种连接方式 1.UI界面提…...

编程日记 2025/5/17 14:07:13

医学图像分割任务的测试代码

测试集进行测试 import os import torch import numpy as np from torch.utils.data import DataLoader from sklearn.metrics import (precision_score,recall_score,f1_score,roc_curve,auc,confusion_matrix, ) import matplotlib.pyplot as plt from utils import NiiData…...

编程日记 2025/5/16 8:50:12

相关文章：