当前位置: 首页 > news >正文

火山引擎VeDI在AI+BI领域的演进与实践

随着数字化时代的到来,企业对于数据分析与智能决策的需求日益增强。作为新一代企业级数据智能平台,火山引擎数智平台VeDI基于字节跳动多年的“数据驱动”实践经验,也正逐步在AI(人工智能)与BI(商业智能)领域演进和探索。

火山引擎数智平台VeDI旗下智能数据洞察DataWind产品已推出分析助手能力,将AI+BI能力融合,通过自然语言对话快速完成数据准备、加工、可视化查询与分析探索等操作。目前,DataWind分析助手已支持数据集处理、SQL编写、自然语言取数、图表生成、仪表盘创建与探索分析等功能,有效降低了数据分析门槛,提升了工作效率。无论是数据准备还是分析探索,DataWind分析助手都能为企业提供全方位、智能化的数据支持。

本篇内容将聚焦在火山引擎VeDI在AI+BI领域的演进与实践,从背景趋势、演进过程、实践落地三个方面,具体拆解如何为BI平台加持智能化能力。

背景与趋势

BI平台演进 - 全⾯进⼊智能化

在探讨火山引擎VeDI旗下BI工具的发展历程时,可以清晰地划分为几个关键阶段,这些阶段亦与市面上主流BI工具的演进过程相吻合。

最初,传统BI工具主要聚焦于报表平台,由业务方提出需求,产研团队作为数据的主要生产者,负责制造简单的报表,以辅助经营仪表盘的制作。这一阶段的生产过程相对原始,成本较高,主要服务于一线业务和决策层,提供聚合性数据的定向查看。

随后,BI工具进入全民数据分析时代,即第二阶段。此阶段,业务方和数据分析师对数据的生产准备、看板制作及数据分析产生了强烈诉求,自助分析的概念应运而生。这一阶段标志着自助BI的普及,全民数据分析成为主流。

进入第三阶段,当数据生产、加工及简单的数据呈现不再是瓶颈时,基于AI能力、自动化及智能化的数据分析、提取及加工需求变得愈发重要。这一阶段,归因能力、基于数据的智能洞察与决策能力,以及分析助手等功能的诉求逐渐增强。火山引擎的BI平台正是在这三个阶段的逐步演进中,不断成熟与发展。

火山引擎VeDI旗下企业级 BI 平台建设历程

DataWind是火山引擎VeDI推出的BI平台。在建设初始阶段,DataWind主要聚焦于MVP产品路径的构建,致力于满足研发者、分析师、一线业务及日常协同办公等多方面的需求。具体而言,它涵盖了搜索查询、可视化查询、仪表盘搭建、数据协同及数据集构建等核心功能,为平台的后续发展奠定了坚实的基础。

随着基础能力的逐步完善,DataWind平台迈入了第二个发展阶段。在这一阶段,平台开始关注数据隔离、智能归因及移动端能力等更高层次的需求。项目中心的建立、智能归因系统的引入以及移动端多端能力的提升,不仅满足了经营者及一线业务人员在移动端查看数据的迫切需求,也进一步增强了平台的决策支持能力。

如今,DataWind正经历着创新与突破的关键时期。平台不仅补全了可视化建模的能力,还在近年来逐步拓展了洞察决策、归因分析以及结合大模型构筑的copilot等前沿能力。这些创新不仅提升了平台的智能化水平,也为其在未来的发展中注入了新的活力。

产品能⼒矩阵

DataWind展现了一个全面且强大的能力矩阵。其核心价值体现在“零门槛、全自助、强协调、强协作”上,旨在使业务用户能够轻松学习并高效运用该工具。

DataWind巧妙融合了当前先进的大模型技术,从而实现了BI与AI的深度融合,为用户提供了洞察决策与交互式分析等高级功能。特别是智能归因预警及数据协同办公等功能。

服务于抖音集团内部业务的数据产品

DataWind在抖音集团内部是极为关键的数据产品工具之一,其用户规模庞大覆盖了集团内500余条业务,为超过80%的日常业务用户提供服务。此外,DataWind在性能上表现出色,能够实现秒级的数据查询。

⽕⼭引擎VeDI在AI+BI的探索与落地

文章第二部分将重点探讨火山引擎VeDI旗下DataWind如何与大模型或AI能力相结合,以推动其在多个场景中的探索与落地。从业务闭环分析和决策的视角出发,详细阐述DataWind在大模型结合上的探索路径。

探索路径

整个数据生产与分析链路被清晰地划分为几个阶段。

首先,数据生产阶段,主要由产品研发团队负责数据准备。随后,数据进入分析阶段,由分析师或运营团队进行数据加工、分析与洞察。对于一线业务团队而言,他们可能不具备数据加工或分析能力,但可以通过临时查询获得核心数据相关KPI,进行定性或定向的分析。然而,这些查询结果往往不足以指导业务决策,因此需要对加工或查询后的数据进行深入洞察,以辅助业务发展与决策。

DataWind紧密配合这一业务分析与数据使用链路,通过融入大模型技术,旨在提升整个分析闭环链路的效率并降低成本。在上述四个层次中,每一层都加入了大模型的加持,以实现这一目标。

智能数据洞察的⼤模型能⼒矩阵

从产品架构的视角来看,DataWind与大模型的结合展现出了全新的发展方向。在数据准备阶段,该工具充分利用大模型的能力,实现了指标维度的智能识别、描述备注的自动填充以及字段表达式的智能生成。此外,针对研发视角的数据准备工作,DataWind还提供了SQL自动生成、SQL自动解释、SQL优化,以及SQL一键修复等功能。

在分析师、运营及产品研发的视角,DataWind在分析功能上投入了大量精力。在可视化查询方面,该工具配备了字段式表达式的生成、二次分析的能力,以及自然语言对话查询、临时查询等便捷功能。用户还可以轻松切换数据集、图表类型,并享受一键美化图表以及智能推荐相应工作的服务。

面向一线业务、运营和分析师,以及管理层决策者,提供了仪表盘探索分析的功能,包括智能生成仪表盘、数据自动解读等。针对移动办公需求,ChatBI与办公软件也深度集成,如配合飞书提供了基于IM的对话查询、多轮追问等分析能力。此外,DataWind还结合了多端能力,除了移动端外,还支持数据大屏、数字孪生等多种工具。在数据大屏中,同样配备了智能分析和智能语音交互的能力,为用户提供了更加全面的数据支持。

DataWind与大模型的结合场景已经探索了20+copilot能力,全面覆盖了BI工具的生产链路,显著提升了用户的生产效率。

数据分析与消费

  • 在分析与消费领域,该工具面向一线业务、分析师、管理层以及企业用户,提供了丰富的功能。

  • 对于一线业务人员,提供了AI洞察、数据解读以及图表数据探索等功能,帮助他们更深入地理解数据。

  • 对于分析师,智能仪表盘的自动生成、图表的智能美化、二次分析及表达式生成等能力,可以大大提升他们的工作效率。

  • 管理层则可以通过ChatBI移动端、智能体以及移动驾驶舱,随时随地掌握企业运营状况。

  • 针对企业形象宣传的需求,DataWind还提供了智能语音大屏,以直观、生动的方式展示企业实力与形象。

DataWind提供的仪表盘,通过集成大模型的能力,实现了数据的智能解读。在仪表盘上,各个图标组件均可通过点击数据解读功能,迅速获得对当前数据的深度分析,包括折线图的高点、低点、波峰、波谷及移动值等,为一线业务团队提供了便捷的数据监控与分析手段。

需要明确的是,此处的数据解读并非传统意义上的归因分析,而是对数据的直观呈现与初步理解。若系统提供的数据解读无法满足特定业务需求,DataWind还配备了自定义数据解读功能,允许业务团队根据自身需求配置解读思路,实现千人千面的数据解读效果。

此外,DataWind仪表盘还融入了AI问答能力,针对图表背后的完整数据集,允许用户通过自然语言的方式询问更细颗粒度的数据,从而降低了数据提取的难度。这种自然语言的交互方式,更符合一线业务人员的常规使用习惯,提高了数据使用的便捷性。

为确保数据提取的准确性和可信度,DataWind还提供了多种辅助手段,如经典BI的胶囊位验证方式,以及查看原始SQL和数据集的功能。

DataWind通过集成大模型的能力,为报表的解读与探索提供了全新的解决方案,不仅提高了数据使用的便捷性,还确保了数据的准确性和可信度。

针对一线业务人员的另一重要场景为AI查询,这一独立模块专为满足一线业务人员对数据的深度探索与自定义分析需求而设计。与仪表盘基于图表本身的询问不同,AI查询模块允许资深业务人员或决策者对公司内部数据进行临时性的深入探索。

用户只需进入AI查询模块,选择相应的数据集,即可通过自然语言进行多轮对话,轻松获取所需的数据结果。这种完全基于自然语言的交互方式,极大地降低了数据查询的门槛,使得业务人员能够更便捷地与系统进行交互。

此外,DataWind还注重细节工作,如提供数据集的常用字段等辅助性信息,以帮助用户更好地理解和使用数据。这些措施旨在消除用户与陌生系统或数据集之间的交互障碍,提升整体的数据使用体验。

在介绍了针对一线业务人员所提供的两大能力后,接下来介绍为分析师群体所配备的能力。

对于分析师而言,构建仪表盘是其日常工作的核心部分,而DataWind平台则为此提供了智能生成仪表盘的功能。用户仅需通过自然语言描述所需仪表盘的类型、分析思路及布局要求,系统便能据此智能生成一份初始化的仪表盘模板,极大地提升了工作效率。

值得注意的是,尽管大模型在智能生成过程中展现出强大的能力,但仍难以确保百分之百的准确性。因此,DataWind平台还提供了二次调教的功能,允许用户对生成的仪表盘进行细致的调整与优化,以确保数据的准确性和分析的精准性。这一功能不仅彰显了DataWind平台对用户需求的深刻理解,也体现了其在技术层面的卓越实力。

分析师在进行BI数据分析时,常受限于数据集本身的颗粒度和明细程度。若数据集过于明细,分析师可能仅能通过BI系统获取当前分析所需的部分数据,而难以在后链路中完成自定义字段的添加、数据的聚合与加工等长尾工作。这往往导致分析师需要向产研或中台团队提出需求,请求对数据进行二次加工,导致工作效率受到影响,也无法及时响应业务人员的需求。

为解决这一问题,DataWind推出了二次分析大模型能力。分析师在完成可视化查询后,可基于当前结果,通过自然语言与大模型进行对话,由大模型完成后续的数据加工工作。例如,若原始数据集中仅有销售额字段,分析师可要求大模型生成月销售额占比的衍生字段。大模型将基于当前结果直接生成该衍生字段,从而极大地简化了分析师的工作流程。

这一功能大大提高了分析师的工作效率,解决了其在长尾需求分析中所面临的痛点。分析师无需再将数据下载至Excel中进行加工,而是可以直接在系统中完成所有分析工作。

分析师在运用BI工具时,常需构建计算字段以满足特定分析需求。然而,随着BI工具功能的日益丰富和函数表达式的增多,构建自定义字段的学习成本也随之增加。为解决这一问题,DataWind引入了结合大模型的能力。

通过自然语言与大模型进行对话,分析师可以便捷地获取构建所需字段的函数表达式建议。大模型能够根据分析师的需求,智能推荐合适的函数,从而极大地降低了学习成本,提升了生产效率。这一功能虽然看似简单,但在实际应用场景中却具有高频次的使用价值。

在探讨完分析师角色后,接下来是管理层的应用场景。

首先,DataWind与飞书实现了深度集成,为移动端配备了ChatBI功能。在飞书平台内,用户可以激活DataWind ChatBI机器人,通过自然语言问询的方式获取所需数据结果。该功能支持多轮问答及常规图形切换,用户点击图表或获取结果后,可进一步查看详情。此外,DataWind还提供了查看原始SQL、配置及辅助信息的能力,以增强数据的可信度。这些功能设计充分满足了管理层及有移动办公需求的一线业务人员在出差或无法使用电脑时,快速获取所需数据的场景需求。

未来,大模型的能力不再是简单的“指标和维度”,而是“问题与答案”。DataWind团队近期也在进行相关探索,并孵化了一款“智能体”产品,与ChatBI有着本质区别。

在ChatBI场景中,用户需基于单数据集进行自然语言问答,而在智能体中,用户则直接与智能体对话,无需关注数据集的选择。用户提出问题后,智能体会从业务链路中所有数据库表中获取相关数据,给出答案。此外,智能体还提供推荐问题、答案收藏及推送等功能,使用户能更便捷地获取所需信息。

智能体的产品形态脱离了数据集本身的概念,构建了完整的业务域。作为核心或垂类业务方,用户无需单独指定某个数据库表,而是直接基于业务问题进行问答。这一发展初步实现了向“问题与答案”方向迭代和演进的目标,为业务方和决策者提供了更为便捷、高效的数据查询方式。

针对政企客户及企业宣发与形象推广需求,BI系统能提供大屏与数字孪生等先进功能。在此场景下,DataWind探索并融入了大模型能力,使得用户能够与大屏进行自然语言对话,即时输出相关数据。此外,用户还能通过交互获取更多信息内容,增强了场景的互动性和智能化水平。

数据⽣产与加⼯

在探讨完数据消费之后,接下来看一下数据生产和加工领域,大模型功能的演进与孵化。在数据生产和加工过程中主要聚焦于三个关键角色:数据研发、分析师,以及业务合作伙伴。

对于数据研发人员而言,常规的数据生产工作通常依赖于SQL分析和SQL平台的能力。为了进一步提升效率,DataWind结合了大模型技术,孵化了一系列自动化工具,包括一键SQL优化、自动生成SQL、一键为SQL生成注释,以及针对SQL错误的一键诊断和一键修复功能。由于SQL本身具备工具化和语法规范的特点,与大模型技术的结合显得尤为契合,从而实现了高准确率的自动化处理。

在完成数据生产后,为了满足业务需求,分析师还需进行数据的二次分析和深度聚合。为此,DataWind也配备了相应的二次分析能力,确保数据研发人员或分析师在编写SQL后,能够对数据进行进一步的校验和深度挖掘,以保障数据的准确性和可用性,从而满足业务方的需求。

在数据生产和加工领域,结合大模型的能力,DataWind推出了数据快速加工助手,即数据准备助手。该助手能够自动识别加工后的数据集中的维度和指标,并实现一键描述与备注填充,这一功能虽看似细微,实则作用显著。鉴于导入的数据底表、数据库表及数据集常含英文字段,为便于业务方更好地理解库表含义,大模型在识别维度、指标并进行智能填充时,会将其转译为中文。

不仅如此,大模型还能基于语义理解,为包含复杂表达式的字段(如CASE WHEN、IF ELSE等)构建业务描述,从而助力用户准确理解字段所表达的业务含义。这些业务描述在前端数据消费环节,还能作为大模型语义的补充,进一步优化字段召回,提升准确率,形成了一个闭环优化与反馈机制。

在数据探索与准备的范畴中,知识库管理占据着举足轻重的地位。尤其在BI的商业化应用中,知识库与行业术语的黑话成为大模型与BI结合的一大挑战。众多客户反馈,他们期望能依据行业特有的描述与问答模式,更有效地获取相关数据。然而,目前的技术尚不支持直接导入文档以供大模型自主学习并高效运用行业知识。

我们发现,在提供完全泛化的文案内容时,大模型的召回准确率反而有所下降。实践表明,大模型在有限且规则明确的知识体系内,尤其是经过配置化的知识语料训练后,能更好地响应客户的查询。因此,DataWind引入了知识管理能力,针对数据集中的核心业务字段构建同义词,并补充业务场景描述,以增强大模型对行业术语及特殊词汇的识别能力。

数据决策与洞察

在BI生态中,为管理层量身定制的移动驾驶舱功能助手是一大亮点。通过移动驾驶舱,管理层能够享有更加自由灵活的数据访问体验。其中所呈现的数据均为经过前置配置的核心数据,旨在满足管理层对数据严肃性与严谨性的要求。相较于泛化的分析工作,移动驾驶舱更侧重于核心数据的提取与移动监测,为管理层提供精准、高效的数据支持。

结合大模型技术,移动驾驶舱能够调取丰富的信息与知识,完美契合管理层日常办公的需求。它不仅展示了核心指标数据,还集成了会议纪要、结论以及市场信息和舆情,为管理层提供了一个全面、深度的视角。因此,这款管理工具是面向管理层精心孵化,并与大模型深度结合的产物,旨在提升管理层的决策效率与质量。

决策和洞察功能的第二块是数据洞察与归因。提供了三种归因方式:

  • 维度归因:对指标的变化,在各维度上进行拆解,并给出定量的贡献解释。这里引入了定基法、加权占比法等算法。

  • 指标归因:将复合指标或计算指标拆解成因子指标来看其贡献度。

  • 异动分析:结合时序预测算法,对指标进行自动探查。

结合这三种归因能力,还提供了更加全面的指标分析树的能力。

下图展示了归因报告的样例。

DataWind分析助手的整体架构如下图所示。收到一个自然语言的用户提问后,首先会经过初步的内容审查和拦截,下一步是生成prompt,提交给大模型,大模型返回SQL和回答,再经过第二轮审计,最终服务于不同分析场景。

大模型为BI带来了两大优势,一是数据开发提效,二是数据消费扩大。

火山引擎DataWind分析助手的显著优势在于:

  • 首先,得益于大量复杂场景与大规模用户的实践打磨,作为内部最大的数据产品工具,其用户体量庞大,为分析助手在客户侧的使用提供了丰富的验证机会,促使其逐步迭代并趋向成熟。

  • 其次,火山引擎拥有豆包大模型的知识储备,模型迭代与优化进程可控,且得到了全力投入与支持。

  • 此外,火山引擎在算法工程、大模型应用及数据应用方面亦具备显著实力,通过工程化层面的深入工作,确保了数据的高准确性。

  • 最后,火山引擎持续进行超饱和的高质量投入,其数据运营团队中超过一半的产研力量在2023年至2024年间全力投入到分析助手的孵化与迭代中,未来还将加大投入。

因此,火山引擎DataWind有信心将大模型与BI的结合推向行业领先地位。

外部实践场景

某全球化消费电子品牌

某全球化消费电子品牌面临旧BI平台AI能力不足、难以结合新技术、无法实现高速演进、业务自助分析难以实现以及缺乏高效整合型BI平台等问题。DataWind凭借其优势能力,成功满足了该品牌的需求。首先,DataWind与飞书实现了强联动协同,提升了工作效率。其次,DataWind提供了低门槛的可视化能力和敏捷的即席分析,满足了业务的正常使用需求。此外,DataWind当时正孵化的ChatBI能力也引起客户的兴趣,符合其使用理念。因此,该品牌选择了DataWind作为BI承载工具。

业务场景中,财务部门对数据的分析需求尤为突出,因其对数据要求严谨且分析视角多维。然而,财务人员虽专业于数据,却在描述需求时显得琐碎,难以精准表达,同时其底表明细复杂,构建模型与数据集颇具挑战。在此情境下,ChatBI能力显现出显著优势,其分析视角多样、数据建模灵活、适应分析思路多变的特点,恰好满足了财务部门的需求。此外,ChatBI还能很好地融入财务数据分发及与飞书等工具的协同办公场景中。

同样,行政与HR部门也面临类似挑战,数据琐碎、分析思路多样,导致中台部门难以准确理解和实现其需求。因此,Chat BI与分析助手同样成为了这些部门的理想选择。

针对HR人事考勤部门的痛点,该客户发现考勤点众多且场景分散,难以向数据分析部门准确传达需求以生成完整报表。而通过引入分析助手,HR团队能够基于原始考勤数据,高效地进行统计分析,精确掌握员工在不同场景下的平均出勤情况。这一解决方案完美契合了分析助手的能力,有效解决了客户的实际问题。

某汽车企业

下面介绍的是一个汽车行业客户,聚焦在移动驾驶舱场景。近年来,汽车行业竞争激烈,每家汽车厂商除了关注自身核心数据以外,还会关注公共舆情、市场动态以及竞争对手的市场数据。移动驾驶舱首先可以满足管理层数据盯盘和移动办公的需求,还可以提供公域信息中的相关数据,同时还提供定期总结,完美解决了客户需求,为其降本增效、紧跟市场动态提供了助力。

某电商平台

第三个B端案例是某电商平台。在DataWind大模型分析助手的能力加持下,客户工作效率得到了大幅提升。

某内容平台

最后是一个内容平台客户案例。DataWind ChatBI移动办公的能力,很好地满足了创作者运营团队随时随地获取信息的需求,帮助他们及时识别运营机会与方向,为精细化运营奠定了基础。

总结与展望

在探讨ChatBI或AI+BI的未来发展方向与趋势时,有几个关键点值得关注。

  • 首先,垂类场景的深度挖掘将成为重要趋势。随着BI厂商与大模型结合能力的不断探索,市场逐渐认识到,在部分场景下,大模型加BI的准确率难以完全满足高预期。因此,针对复杂泛化问题的解决方案将趋向于收敛于具体的垂类场景,高效满足用户实际痛点将成为产品竞争力的关键。另外,跨表构建业务主题分析域将成为重要课题。初期AI+BI能力多基于单表问询进行孵化,但这并不符合业务实际应用场景。未来,跨表构建垂类主题域,实现问题与答案的紧密结合,或将成为大模型的发展方向。

  • 第二,指标的治理与应用将是提升大模型应用效率的重要手段。在实际应用中,原始数据往往较为混乱,大模型难以直接进行数据治理和加工。因此,用户和供应商需共同解决数据复杂度问题,以更好地应用大模型服务于业务。

  • 第三,深化AI能力将成为核心竞争力。数据分析领域BI的普及带动了AI能力的普及,未来AI能力需在生产、取数、决策洞察等全方位闭环解决业务全场景问题,才能构筑AI+BI产品的竞争力。

  • 最后,多边系统协同驱动企业数据飞轮也是必然的发展趋势。AI+BI需具备更好的开放集成能力,与企业办公软件或场景深度结合与集成,而不仅仅局限于独立的数据工具。

相关文章:

火山引擎VeDI在AI+BI领域的演进与实践

随着数字化时代的到来,企业对于数据分析与智能决策的需求日益增强。作为新一代企业级数据智能平台,火山引擎数智平台VeDI基于字节跳动多年的“数据驱动”实践经验,也正逐步在AI(人工智能)与BI(商业智能&…...

java获取docker镜像构建日志

在Java中获取Docker镜像的构建日志,你可以使用Docker Engine API。以下是一个使用OkHttp库的示例代码,用于获取构建日志: import okhttp3.*; import java.io.IOException; public class DockerLogsFetcher { private static final St…...

Spring-boot整合Webservice服务端

Spring Boot整合Webservice服务端 本文是基于前辈一顿吃不饱的文章SpringBoot整合WebService(服务端客户端)-CSDN博客,由于工作需要用.NET调用其他系统发布的WebService服务,尝试用java搭建一个WebService服务端测试一下&#xf…...

动静分离具体是怎么实现的?

在 Nginx 中实现动静分离是一种常见的优化手段,用于提高网站的性能和可扩展性。以下是 Nginx 动静分离的一些基本概念和配置方法: 1、什么是动静分离: 动静分离是指将网站的静态资源(如图片、CSS、JavaScript 文件)与…...

如何取出.vmdk文件中的数据

前提:我的云服务器到期了,于是我将云服务器导出了.vmdk镜像。本想在vm虚拟机中启动,但是一直报错。很是苦恼。 首先下载DiskGenius这个软件。 点击磁盘-》打开磁盘 打开.vmdk文件 可以看到内部的文件了,可以选择对应文件导出到桌…...

Vue2中 vuex 的使用

1.安装 vuex 安装vuex与vue-router类似,vuex是一个独立存在的插件,如果脚手架初始化没有选 vuex,就需要额外安装。 yarn add vuex3 或者 npm i vuex3 233 Vue2 Vue-Router3 Vuex3 344 Vue3 Vue-Router4 Vuex4 2. 新建 store/index.j…...

Swift 数据类型

Swift 数据类型 Swift 是一种强类型语言,这意味着在 Swift 中声明的每个变量和常量都必须具有明确的类型。Swift 的类型系统旨在帮助开发者编写清晰、安全的代码。本文将详细介绍 Swift 中的基本数据类型,包括整数、浮点数、布尔值、字符和字符串。 整…...

【pyspark学习从入门到精通22】机器学习库_5

训练-验证分割 TrainValidationSplit 模型为了选择最佳模型,会对输入数据集(训练数据集)进行随机分割,分成两个子集:较小的训练子集和验证子集。分割只执行一次。 在这个例子中,我们还将使用 ChiSqSelect…...

Zookeeper3.5.8集群部署

环境说明 准备三台服务器,我这边是虚拟机,分别为:bigdata141、bigdata142、bigdata143 下载安装包 下载链接:Index of /dist/zookeeper/zookeeper-3.5.8 下载完后,上传到其中一台服务器,我这边上传到 b…...

Linux 无图形界面磁盘空间排查与优化实践20241127

Linux 无图形界面磁盘空间排查与优化实践 引言:磁盘空间问题的痛点与挑战 🔍 常见问题 当系统磁盘空间超过 90% 时,不仅可能导致性能下降,还可能让关键操作无法正常完成。这种情况下,如何高效且精准地排查磁盘占用来…...

TCP socket api详解 续

文章目录 守护进程怎么做到?setsid返回值 dev/null字符文件 daemonTCP协议 退出的时候呢? 会话有很多后台任务,bash肯定会退,那后台会话怎么办呢? 理论上也要退的,但实际上关了bash,bash肯定要…...

一道经典的整数划分题——分弹珠

CSDN 博客:一道经典的整数划分题——分弹珠 一、题目描述 这道题目是一道经典的整数划分问题,要求将 (M) 个弹珠分到 (N) 个盘子中,满足以下条件: 允许盘子为空。两种分法被认为相同当且仅当分配的弹珠数量相同(不考…...

浏览器缓存与协商缓存

1. 强缓存(Strong Cache) 定义 强缓存是指在缓存的资源有效期内,浏览器会直接使用缓存中的数据,而不会发起网络请求。也就是说,浏览器会直接从本地缓存读取资源,不会与服务器进行任何交互。 如何控制强缓…...

Maven 如何配置忽略单元测试

在使用 Maven 进行项目构建时,有时您可能希望跳过测试阶段。 这在确保代码更改不影响测试结果或需要快速部署项目的情况下特别有用。 Maven 提供了多种方法来在构建过程中跳过测试。 为什么跳过测试? 加速构建:对于具有大量测试用例的大项…...

哪里能找到好用的动物视频素材 优质网站推荐

想让你的短视频增添些活泼生动的动物元素?无论是搞笑的宠物瞬间,还是野外猛兽的雄姿,这些素材都能让视频更具吸引力。今天就为大家推荐几个超实用的动物视频素材网站,不论你是短视频新手还是老手,都能在这些网站找到心…...

Python中的23种设计模式:详细分类与总结

设计模式是解决特定问题的通用方法,分为创建型模式、结构型模式和行为型模式三大类。以下是对每种模式的详细介绍,包括其核心思想、应用场景和优缺点。 一、创建型模式(Creational Patterns) 创建型模式关注对象的创建&#xff0…...

研0找实习【学nlp】14--BERT理解

​​​​​以后做项目,一定要多调查,选用不同组合关键词多搜索! BERT论文解读及情感分类实战_bert模型在imdb分类上的准确率已经到达了多少的水平-CSDN博客 【深度学习】-Imdb数据集情感分析之模型对比(4)- CNN-LSTM…...

【AI日记】24.11.27 学习 kaggle 入门比赛 Titanic - Machine Learning from Disaster

【AI论文解读】【AI知识点】【AI小项目】【AI战略思考】【AI日记】 核心工作 内容:学习 kaggle 入门比赛 Titanic - Machine Learning from Disaster时间:8 小时心得:在学习别人的 notebook 的时候,碰到不懂的知识点,…...

HCIP——堆叠技术实验配置

目录 一、堆叠的理论知识 二、堆叠技术实验配置 三、总结 一、堆叠的理论知识 1.1堆叠概述: 是指将两台交换机通过堆叠线缆连接在一起,从逻辑上变成一台交换设备,作为一个整体参与数据的转发。 1.2堆叠的基本概念 堆叠系统中所有的单台…...

trtllm 部署新体验

实验清华大模型和trtllm Chatglm3 pip3 install tensorrt_llm -U --pre --extra-index-url https://pypi.nvidia.com 要安装git来下载仓库 使用这个chatglm的例子 安装依赖 用最新的glm3的model 然后开始转换model 官方写错了,这应该是个-,不是_&a…...

部署 DeepSpeed以推理 defog/sqlcoder-70b-alpha 模型

部署 DeepSpeed 以推理 defog/sqlcoder-70b-alpha 这样的 70B 模型是一个复杂的过程,涉及多个关键步骤。下面是详细的步骤,涵盖了从模型加载、内存优化到加速推理的全过程。 1. 准备环境 确保你的环境配置正确,以便能够顺利部署 defog/sqlc…...

node.js基础学习-http模块-创建HTTP服务器、客户端(一)

http模块式Node.js内置的模块,用于创建和管理HTTP服务器。Node.js使用JavaScript实现,因此性能更好。 使用http模块创建服务器,我们建议使用commonjs模块规范,因为很多第三方的组件都使用了这种规范。当然es6写法也支持。 下面就是…...

Cobalt Strike 4.8 用户指南-第十一节 C2扩展

11.1、概述 Beacon 的 HTTP 指标由 Malleable Command and Control (Malleable C2) 配置文件控制。Malleable C2 配置文件是一个简单的程序,它指定如何转换数据并将其存储在事务中。转换和存储数据的同一程序(向后解释&#xff0…...

STM32 使用ARM Compiler V6 编译裸机 LWIP协议栈报错的解决方法

在lwip 的cc.h 中使用以下宏定义,来兼容 V5 和 V6编译器 #if defined (__ARMCC_VERSION) && (__ARMCC_VERSION > 6010050) /* ARM Compiler V6 */ #define __CC_ARM /* when use v6 compiler define this */ #endifV6编译的速度确实比V5块了好多倍。 …...

K8S简介、使用教程

以下是关于 Kubernetes(通常缩写为 K8S)的简介和使用教程: 一、Kubernetes 简介 定义与作用 Kubernetes 是一个开源的容器编排平台,用于自动化部署、扩展和管理容器化应用程序。它最初由谷歌开发,后捐赠给云原生计算基…...

Scala—Map用法详解

Scala—Map用法详解 在 Scala 中,Map 是一种键值对的集合,其中每个键都是唯一的。Scala 提供了两种类型的 Map:不可变 Map 和可变 Map。 1. 不可变集合(Map) 不可变 Map 是默认的 Map 实现,位于 scala.co…...

2024御网杯信息安全大赛个人赛wp(misc方向)

目录 一.信息安全大赛的通知二、编码转换1. 第一部分2. 第二部分3. 第三部分 三、1.txt四、buletooth 题目附件以及工具链接: 通过网盘分享的文件:御网杯附件 链接: https://pan.baidu.com/s/1LNA6Xz6eZodSV0Io9jGSZg 提取码: jay1 –来自百度网盘超级会…...

DeepSpeed 配置文件(DeepSpeed Configuration Files)详解:中英文解释

中文版 本文详细介绍 DeepSpeed 配置文件,结合 4 卡 3090 的实际使用场景,重点解释各个参数的含义,并提供应对爆显存的方案。 DeepSpeed 配置文件详解:从基础到实战 DeepSpeed 是用于加速大规模分布式训练的重要工具&#xff0c…...

AI 助力开发新篇章:云开发 Copilot 深度体验与技术解析

本文 一、引言:技术浪潮中的个人视角1.1 AI 和低代码的崛起1.2 为什么选择云开发 Copilot? 二、云开发 Copilot 的核心功能解析2.1 自然语言驱动的低代码开发2.1.1 自然语言输入示例2.1.2 代码生成的模块化支持 2.2 实时预览与调整2.2.1 实时预览窗口功能…...

QTableWidget使用代理绘制分行显示

在这里插入代码片# 创建主窗口类: 使用 QTableWidget 作为核心控件。 设置表头及行列信息。 自定义代理: 继承 QStyledItemDelegate,实现代理模式。 重写 paint 和 sizeHint 方法,支持多行文本绘制。 设置行高以适应多行显示。 …...

Linux系统之fuser命令的基本使用

Linux系统之fuser命令的基本使用 一、fuser命令介绍二、fuser命令使用帮助2.1 help帮助信息2.1 基本语法①通用选项②文件/设备相关选项③网络相关选项④进程操作选项⑤其他选项 三、fuser命令的基本使用3.1 查找挂载点的进程3.2 查看指定设备进程信息3.3 查找监听特定端口的进…...

解决`-bash: ./configure:/bin/sh^M:解释器错误: 没有那个文件或目录`的问题

解决`-bash: ./configure:/bin/sh^M:解释器错误: 没有那个文件或目录`的问题 一、错误原因分析二、解决方法方法一:使用`dos2unix`工具方法二:使用`sed`命令方法三:使用`tr`命令方法四:在文本编辑器中转换方法五:在Windows系统中使用适当的工具三、预防措施四、总结在使…...

【时时三省】(C语言基础)结构体的声明

山不在高,有仙则名。水不在深,有龙则灵。 ----CSDN 时时三省 结构的基础知识 结构是一些值的集合,这些值称为成员变量。结构的每个成员可以是不同类型的变量。 数组是一组相同类型的元素的集合 结构体也是一些值的集合,结构的每…...

群聊前选择患者功能的实现

和普通群聊不同,开启一个图文会话聊天,必须先选择患者、团队、医生。 原来是集成到腾讯IM当中,现在需要单独写一个页面 原来的代码在这里: const handleShow () > {uni.navigateTo({url: /pageB/active-home/active-home})}…...

目标检测,图像分割,超分辨率重建

目标检测和图像分割 目标检测和图像分割是计算机视觉中的两个不同任务,它们的输出形式也有所不同。下面我将分别介绍这两个任务的输出。图像分割又可以分为:语义分割、实例分割、全景分割。 语义分割(Semantic Segmentation)&…...

关于 EKS Bottlerocket AMI 版本与 Karpenter 配置的说明

问题1: Bottlerocket AMI 版本问题 之前,后端团队发现在使用 Bottlerocket v1.26.2 AMI 版本时,存在某些问题。经过 Bottlerocket 团队调查,此行为是罕见的 race condition 导致的结果。 我们在环境中重现了此状况,并且关注到由于 kubelet device manager 的启动时间晚于 NVI…...

安全设备-日志审计-网络路由配置

1 网络设置 菜单项‘网络’‘网络设置’子项。进入网卡列表展示页面。点击操作列‘编辑’图标,可编辑对应网卡信息。 图11-1 网卡信息 设备接口的 GE0/1 接口IP:192.168.0.1子网掩码:255.255.255.0 图11-2 配置网卡 1 IP地址2 子网掩码3 主机DNS4 备份DNS 2 通…...

Linux服务器生成SSH 密钥对与 GitLab 仓库进行交互

目录 生成 SSH 密钥对 将公钥添加到 GitLab 测试 SSH 连接 生成 SSH 密钥对 在执行脚本的机器上打开终端,执行以下命令(假设使用默认的 RSA 算法,一路回车使用默认设置即可,也可以根据需要指定其他算法和参数)&…...

react 的路由功能

1. 安装依赖 pnpm add react-router-dom 2. 基本的路由设置(BrowserRouter) 在 main.tsx 入口文件中使用BrowserRouter组件来包裹整个应用。它会监听浏览器的 URL 变化。 import { StrictMode } from "react";import { createRoot } from …...

vscode python code runner执行乱码

打开vscode code runner插件配置,如图所示: 然后在setting.json修改运行python的默认命令: 将原来 替换成 "python":"set PYTHONIOENCODINGutf8 && python", 参考:Vscode——python环境输出中文乱…...

Element UI 打包探索【3】

目录 第九个命令 node build/bin/gen-cssfile gulp build --gulpfile packages/theme-chalk/gulpfile.js cp-cli packages/theme-chalk/lib lib/theme-chalk 至此,dist命令完成。 解释why Element UI 打包探索【1】里面的why Element UI 打包探索【2】里面…...

windows使用docker安装centos7

参考文章:docker容器安装CentOS7.9 需要指出来的步骤 2.5 安装常用工具及ssh服务 由于centos7不维护,需要更换镜像源才能正常使用yum install命令安装 更换镜像源文章:CentOS 7配置yum镜像源 2.9Xshell远程连接docke_centos7.9 文章没有指…...

写一个流程,前面的圆点和线,第一个圆上面没有线,最后一个圆下面没有线

上图 最近写类似于这种的还挺多的&#xff0c;记录一下css方法 遍历列表之后 <div class"item" v-for"(item,index) in recordList"> 加这样一个盒子 <div class"timeline"> <div class"line1" v-if"index ! 0&…...

Javascript Insights: Visualizing Var, Let, And Const In 2024

11/2024 出版 MP4 |视频&#xff1a;h264&#xff0c; 19201080 |音频&#xff1a;AAC&#xff0c;44.1 KHz 语言&#xff1a;英语 |大小&#xff1a; 2.96 GB |时长&#xff1a; 5 小时 34 分钟 为所有认真的 JavaScript 开发人员可视化与 VAR、LET、CONST 和 EXECUTON CONTE…...

【工具】AI 工具集整理推荐

ai工具集 我私人使用了一段时间&#xff0c;效果不错&#xff0c;有很多AI工具&#xff0c;可以提升工作的效率。...

如何通过终端连接无线网

1 先连接对方服务器 ssh root192.168.3.219 # root是用户名字 192.168.3.219是对方的ip地址2 开启 WiFi&#xff1a;输入sudo nmcli r wifi on&#xff0c;开启系统的无线网络功能 sudo nmcli r wifi on3 扫描附近的 WiFi 热点&#xff1a;执行sudo nmcli dev wifi&#x…...

elasticsearch报错fully-formed single-node cluster with cluster UUID

1.问题描述 k8s集群内部署的es中间件起不来&#xff0c;查看日志发现如下警告&#xff0c;节点发现功能开启&#xff0c;但是目前我是单节点服务&#xff0c;所以尝试编辑sts将节点发现功能去掉或者在部署时将你的sts的yaml文件和chart文件修改重新部署以去掉该功能 {"t…...

前端 vue3 + element-plus + ts 对话框示例

【父组件】&#xff1a;SampleInput.vue&#xff0c;局部代码片段 引入子组件 ApplyItemChooseDialog.vue&#xff0c;定义变量&#xff0c;用于渲染和显示标识 <script>片段代码 import ApplyItemChooseDialog from "/views/accept/ApplyItemChooseDialog.vue&q…...

南京移动“智慧+关怀”服务体系助力老年群体生活安全有保障

在数字化浪潮汹涌澎湃的当下&#xff0c;江苏移动南京分公司秉持“人民邮电为人民”的服务理念&#xff0c;推出一系列创新服务举措&#xff0c;为社区老年群体提供贴心、便捷的数字服务&#xff0c;让老人在享受科技发展成果的同时&#xff0c;感受到社会的温暖与关怀。 贴心…...

Elasticsearch 安全特性讲解与使用

Elasticsearch安全特性讲解与使用指南 1. Elasticsearch概览1.1 简介1.2 应用场景1.3 核心特性2. Elasticsearch安全特性2.1 安全性的重要性2.2 权限控制用户身份验证角色管理访问控制列表(ACL)2.3 数据加密数据传输加密数据静态加密2.4 审计日志2.5 IP筛选2.6 案例分析案例背景…...