当前位置：首页 > news >正文

Lucene多种数据类型使用说明

news 来源：原创 2025/5/10 6:07:00

Lucene 作为一款高性能的全文检索引擎库，其核心功能围绕索引和搜索文本数据，但它也支持多种数据类型以满足复杂的应用场景。以下是 Lucene 支持的主要数据类型及其用途的详细说明：

1. 文本类型（Text）

用途：全文搜索、分词处理。
特点：
- 分词（Tokenization）：文本字段会被分词器（如 StandardAnalyzer）拆分为词项（Term），便于模糊匹配、短语查询等。
- 存储形式：通常使用 TextField 类型。
示例：

// 定义 Text 类型字段
FieldType textFieldType = new FieldType();
textFieldType.setStored(true); // 存储原始值
textFieldType.setIndexOptions(IndexOptions.DOCS_AND_FREQS_AND_POSITIONS); // 索引词项及其位置
textFieldType.setTokenized(true); // 启用分词
Field textField = new Field(“content”, “Lucene is a search library”, textFieldType);

2. 字符串类型（String）

用途：精确值匹配（如 ID、状态码、标签）。
特点：
- 不分词：字段值作为一个整体存储和索引。
- 存储形式：通常使用 StringField 类型。
示例：

// 定义 String 类型字段（精确匹配）
Field idField = new StringField(“id”, “doc123”, Field.Store.YES);

3. 数值类型（Numeric）

用途：范围查询（如价格、年龄）、排序、聚合。
实现方式：
- 旧版（Lucene 4.x 之前）：使用 IntField、LongField、FloatField 等。
- 新版（Lucene 5+）：统一使用 PointField（基于 BKD 树的高效数值索引）。
示例（新版）：

// 定义数值字段（IntPoint）
Field priceField = new IntPoint(“price”, 100);
// 存储原始值（需额外存储字段）
document.add(new StoredField(“price”, 100));

4. 日期类型（Date）

用途：时间范围查询、按时间排序。
实现方式：
- 将日期转换为 Unix 时间戳（长整型），再通过 LongPoint 存储。
示例：

// 将日期转换为时间戳
Date date = new Date();
long timestamp = date.getTime();
// 定义日期字段
document.add(new LongPoint(“timestamp”, timestamp));
document.add(new StoredField(“timestamp”, timestamp));

5. 二进制类型（Binary）

用途：存储原始二进制数据（如图片、PDF 文件）。
特点：
- 二进制数据不会被索引，仅存储原始内容。
- 使用 StoredField 或 BinaryDocValuesField。
示例：

// 读取文件并存储为二进制
byte[] fileData = Files.readAllBytes(Paths.get(“image.png”));
document.add(new StoredField(“file”, fileData));

6. 地理位置（Geospatial）

用途：地理位置范围查询（如经纬度）。
实现方式：
- 使用 LatLonPoint 存储经纬度，支持矩形范围查询或距离查询。
示例：

// 定义地理位置字段
document.add(new LatLonPoint(“location”, 40.7128, -74.0060)); // 纽约坐标
// 查询矩形范围内的点
Query query = LatLonPoint.newBoxQuery(“location”, 40.6, 40.8, -74.1, -73.9);

7. 文档值（DocValues）

用途：排序、聚合、分组（类似数据库的列式存储）。
特点：
- 按文档 ID 快速访问字段值，适合非文本字段的高效计算。
- 支持数值、字符串、二进制等类型。
示例：

// 添加数值型 DocValues 字段
document.add(new NumericDocValuesField(“price”, 100));

8. 词向量（Term Vectors）

用途：存储词项的位置、偏移量信息，支持高亮（Highlighting）。
实现方式：
- 在 FieldType 中启用 termVectors 标志。
示例：

FieldType vectorFieldType = new FieldType();
vectorFieldType.setStored(true);
vectorFieldType.setIndexOptions(IndexOptions.DOCS_AND_FREQS_AND_POSITIONS_AND_OFFSETS);
vectorFieldType.setStoreTermVectors(true); // 启用词向量
Field vectorField = new Field(“content”, “text data”, vectorFieldType);

9. 多值字段（Multi-Valued Fields）

用途：允许一个字段存储多个值（如标签、分类）。
实现方式：
- 同一字段多次添加到文档中。
示例：

document.add(new StringField(“tag”, “java”, Field.Store.YES));
document.add(new StringField(“tag”, “search”, Field.Store.YES));

总结：Lucene 数据类型对比

数据类型	典型用途	是否分词	是否支持范围查询	存储方式
Text	全文搜索、模糊匹配	是	否	倒排索引 + 词向量
String	精确匹配（ID、状态码）	否	否	倒排索引
Numeric	数值范围查询、排序	否	是	Point 索引 + DocValues
Date	时间范围查询	否	是	Point 索引 + DocValues
Binary	存储二进制文件	否	否	原始存储
Geospatial	地理位置查询	否	是	Point 索引
DocValues	排序、聚合	否	是	列式存储
Term Vectors	高亮、词项位置追踪	是	否	倒排索引扩展

选择数据类型的注意事项

性能优化：
- 频繁范围查询的数值字段使用 PointField。
- 需要高亮时启用 Term Vectors。
存储开销：
- DocValues 和 StoredField 会增加存储空间。
版本兼容性：
- Lucene 5+ 弃用旧版 NumericField，推荐统一使用 PointField。

通过合理选择数据类型，可以显著提升 Lucene 的搜索性能和资源利用率。

Lucene多种数据类型使用说明

Lucene 作为一款高性能的全文检索引擎库，其核心功能围绕索引和搜索文本数据，但它也支持多种数据类型以满足复杂的应用场景。以下是 Lucene 支持的主要数据类型及其用途的详细说明： 1. 文本类型（Text） 用途：…...

编程日记 2025/5/10 6:07:00

使用CubeMX新建DMA工程——存储器到外设模式

目录 1、新建板级支持包 1、usart.c: 2、修改的地方：在usart.c中添加了这些 3、usart.h: 4、在usart.h中添加了这些： 5、dma.c: 6、dma.h: 2、修改main.c文件 1、在main.c文件中添加头文件 2、添加外部变量声明 3、添加简单延时函数 4、添加…...

编程日记 2025/5/10 4:44:50

基于Redis实现-附近商铺查询

基于Redis实现-附近查询这个功能将使用到Redis中的GEO这种数据结构来实现。 1.GEO相关命令 GEO就是Geolocation的简写形式，代表地理坐标。Redis在3.2版本中加入到了对GEO的支持，允许存储地理坐标信息，帮助我们根据经纬度来检索数据&#…...

编程日记 2025/5/2 10:54:09

【Redis】Another Redis Desktop Manager 安装指南

目录一、Another Redis Desktop Manager 介绍二、下载安装指南三、效果预览一、Another Redis Desktop Manager 介绍国人开发的更快、更好、更稳定的 Redis 桌面客户端工具，功能强大，支持集群、哨兵、SSL 认证、树状视图、自定义格式化脚本等功…...

编程日记 2025/5/10 2:44:25

装饰器设计模式（Decorator Pattern）详解

装饰器设计模式（Decorator Pattern）详解装饰器模式是一种结构型设计模式，它允许动态地向对象添加额外行为，而无需修改其原始类。这种模式通过包装对象的方式提供灵活的扩展功能替代继承。 1. 核心概念（1）模式定义装饰器模式：动态地给一个对象添加一些额外的职责，就…...

编程日记 2025/5/8 19:51:57

LiteOS与SLE透传实战案例

文章目录硬件设计EDA 软件介绍创建元件及封装原理图绘制Layout元件焊接软件设计LiteOS 入门核心概念TaskWorkflow参考 API（参考 osal_task. h） 时间片任务轮转练习：仿写 example/peripheral/blinkyQueue参考 API（参考 osal_msgq…...

编程日记 2025/5/10 5:49:24

MCAL学习（1）——AutoSAR

1.了解AutoSAR及一些概念 AutoSAR是Automotive Open System Architecture ,汽车开放系统架构。针对汽车ECU的软件开发架构。已经是汽车电子软件开发的标准。 OS服务：Freertos 整车厂（OEM）主要负责应用层算法一级供应商：生产制…...

编程日记 2025/5/10 5:16:33

前端vue3项目学习

鸽王经过一个多月的学习（断断续续吧，毕竟还有其他杂事），学的昏天黑地，终于把主线捋的差不多了。只能说，前端真不是人学的，涉及的语言语法太杂乱了，入门真的太难了。而后端&#xff0…...

编程日记 2025/5/8 5:18:45

ActiveMQ 性能优化与网络配置实战（二）

五、性能优化实战 5.1 基础配置调整 5.1.1 增加并发消费者在 ActiveMQ 中，增加并发消费者是提高消息处理效率的重要手段之一。通过配置多个消费者并行处理消息，可以充分利用系统资源，加快消息的消费速度，从而提高系统的整体吞…...

编程日记 2025/5/2 10:50:58

Python 函数装饰器和闭包(装饰器基础知识)

本章内容： Python 如何计算装饰器句法 Python 如何判断变量是不是局部的闭包存在的原因和工作原理 nonlocal 能解决什么问题掌握这些基础知识后，我们可以进一步探讨装饰器： 实现行为良好的装饰器标准库中有用的装饰器实现一个参数化装饰器…...

编程日记 2025/5/4 7:33:30

“Everything“工具是 Windows 上文件名搜索引擎神奇

01 Everything 和其他搜索引擎有何不同轻量安装文件。干净简洁的用户界面。快速文件索引。快速搜索。快速启动。最小资源使用。轻量数据库。实时更新。官网：https://www.voidtools.com/zh-cn/downloads/ 通过网盘分享的文件：Every…...

编程日记 2025/5/9 13:04:42

【Machine Learning Q and AI 读书笔记】- 04 彩票假设

Machine Learning Q and AI 中文译名大模型技术30讲，主要总结了大模型相关的技术要点，结合学术和工程化，对LLM从业者来说，是一份非常好的学习实践技术地图. 本文是Machine Learning Q and AI 读书笔记的第4篇，对应原…...

编程日记 2025/5/10 5:03:10

linux下安装ollama网不好怎么办？

文章目录前言kkgithub下载脚本，而不是直接运行修改脚本修改权限还是不行？前言今天想在linux上面更新一下ollama，于是去到官网： https://ollama.com/download/linux linux下安装ollama还是挺简单的： curl -fsSL https://ollama.com/install.sh | sh我也是特别嗨皮地就…...

编程日记 2025/5/8 10:31:24

（A题｜支路车流量推测问题）2025年第二十二届五一数学建模竞赛（五一杯/五一赛）解题思路|完整代码论文集合

我是Tina表姐，毕业于中国人民大学，对数学建模的热爱让我在这一领域深耕多年。我的建模思路已经帮助了百余位学习者和参赛者在数学建模的道路上取得了显著的进步和成就。现在，我将这份宝贵的经验和知识凝练成一份全面的解题思路与代码论文集合…...

编程日记 2025/5/6 10:05:54

RDMA高性能网络通信实践

RDMA高性能网络通信实践一、背景介绍二、方法设计A.实现方案B.关键技术点三、代码及注释四、注意事项一、背景介绍远程直接内存访问（RDMA）技术通过绕过操作系统内核和CPU直接访问远程内存，实现了超低延迟、高吞吐量的网络通信。该技术广泛应用于高性能计算、分布式存储和…...

编程日记 2025/5/9 7:23:50

【LeetCode Hot100】图论篇

前言本文用于整理LeetCode Hot100中题目解答，因题目比较简单且更多是为了面试快速写出正确思路，只做简单题意解读和一句话题解方便记忆。但代码会全部给出，方便大家整理代码思路。 200. 岛屿数量一句话题意求所有上下左右的‘1’的连通块…...

编程日记 2025/5/8 11:31:16

图论---有向图的强连通分量（Tarjan求SCC）

强连通分量作用：有向图——>（缩点）有向无环图（DAG） 缩点：将所有连通的分量缩成一个点。有向无环图作用/好处：求最短路/最长路可以递推，按照拓扑图从前往后递推. x 是否在某个…...

编程日记 2025/5/7 17:09:06

2025年- H17-Lc125-73.矩阵置零（矩阵）---java版

1.题目描述 2.思路 （1）计算矩阵的行数 （2）计算矩阵的列数 （3）设计一个行列的bool数组 （4）遍历矩阵（二维数组），如果遇到元素0，则把…...

编程日记 2025/5/10 5:46:27

【信息系统项目管理师-论文真题】2023下半年论文详解（包括解题思路和写作要点）

更多内容请见：备考信息系统项目管理师-专栏介绍和目录文章目录试题（第一批）：论信息系统项目的干系人管理1、写作要点2、解题思路项目干系人管理的过程和执行要点项目中所有干系人如何进行分类管理？试题（第二批）：论信息系统项目的工作绩效域1、写作要点2、解题思路绩…...

编程日记 2025/5/7 3:33:57

分享5款开源、美观的 WinForm UI 控件库

前言今天大姚给大家分享5款开源、美观的 WinForm UI 控件库，助力让我们的 WinForm 应用更好看。 WinForm WinForm是一个传统的桌面应用程序框架，它基于 Windows 操作系统的原生控件和窗体。通过简单易用的 API，开发者可以快速构建基于窗体…...

编程日记 2025/5/7 17:10:24

微软推出数款Phi 4“开放式”人工智能模型

微软周三推出了几款新的“开放式”人工智能模型，其中功能最强大的模型至少在一个基准测试上可与 OpenAI 的 o3-mini 相媲美。所有新的授权模型——Phi 4 mini reasoning、Phi 4 reasoning 和 Phi 4 reasoning plus——都是“推理”模型，这意味着它们能够…...

编程日记 2025/5/2 10:41:35

Python实例题：Python实现Python解释器

目录 Python实例题题目实现思路代码实现代码解释词法分析器（Lexer）： 词法单元类（Token）： 抽象语法树节点类（AST）： 语法分析器（Parser&#xff…...

编程日记 2025/5/7 13:43:50

【IP101】图像滤波技术详解：从均值滤波到高斯滤波的完整指南

🌟 图像滤波魔法指南 🎨 在图像处理的世界里，滤波就像是给图片"美颜"的魔法工具。让我们一起来探索这些神奇的滤波术吧！ 📑 目录 1. 均值滤波：图像的"磨皮"大法2. 中值滤波&#xff1…...

编程日记 2025/5/2 10:41:34

信息系统项目管理师-软考高级（软考高项）2025最新（六）

个人笔记整理---仅供参考第六章项目管理概论 6.1PMBOK的发展 6.2项目基本要素组织过程资产指的是项目上的，国产数据库的使用----安保和安全指的是环境因素 6.3项目经理的角色 6.4价值驱动的项目管理知识体系...

编程日记 2025/5/9 14:11:04

算法-堆、排序算法、矩阵乘法

满二叉树、完全二叉树二叉树遵循下面的规律，当前节点i（但是其实就是逐级填充）: 左节点为 ix2右节点为 i*21父节点为 [i/2] 向下取整使用数组表示二叉树： （二叉树的深度自上而下，高度自下…...

编程日记 2025/5/2 10:38:26

Java 进阶--集合：告别数组的“僵硬”，拥抱灵活的数据容器

作者：IvanCodes 发布时间：2025年5月1日🫡 专栏：Java教程大家好！👋 还记得我们上次聊的数组 (Array) 吗？它很基础，性能也不错，但有个致命的缺点：长度一旦定…...

编程日记 2025/5/8 11:04:15

Python 数据智能实战 (6)：用户评论深度挖掘

写在前面 —— 从繁杂评论到精准洞察：主题发现与情感趋势分析，驱动产品优化与体验提升在上篇内容中，我们学习了如何利用 LLM 提升用户分群的精度，以及如何超越传统购物篮分析，挖掘商品间的语义关联。今天，我们将聚焦于电商领域价值密度最高的非结构化数据之一——用…...

编程日记 2025/5/6 20:07:49

podman/docker国内可用的docker镜像源（2025-05）

一、添加Docker国内镜像 1、修改 /etc/docker/daemon.json 设置 registry mirror，具体命令如下: sudo vim /etc/docker/daemon.json <<EOF {"registry-mirrors": ["https://docker.1ms.run","https://docker.xuanyuan.me",&q…...

编程日记 2025/5/6 15:01:38

机器人--底盘

机器人底盘底盘是机器人传感器和机器人主机的载体，也是移动机器人的基本形式。移动机器人通常可以采用轮式和足式进行移动。也就是机器人底盘可以分为轮式底盘和足式底盘。足式底盘控制复杂，这里只讨论轮式底盘。底盘运动学模型轮式机器人底盘按…...

编程日记 2025/5/6 17:21:58

Seata服务端同步提交事务核心源码解析

文章目录前言一、doGlobalCommit（同步提交）2.1、closeAndClean()2.2、changeGlobalStatus2.3、doGlobalCommit2.3.1、findGlobalSession 总结前言本篇介绍Seata服务端TC如何驱动RM提交事务。一、doGlobalCommit（同步提交） doG…...

编程日记 2025/5/6 15:48:35

2025五一杯B题五一杯数学建模思路代码文章教学: 矿山数据处理问题

完整内容请看文章最下面的推广群问题1. 根据附件1中的数据和，建立数学模型，对数据A进行某种变换，使得变换后的结果与数据尽可能接近。计算变换后的结果与数据的误差，并分析误差的来源（如数据噪声、模型偏差等&#xf…...

编程日记 2025/5/8 22:45:52

C++11新特性_自动类型推导

decltype 和 auto 均为 C 里用于类型推导的关键字，不过它们在使用方式、推导规则和应用场景上存在显著差异。下面为你详细介绍它们的区别： 1. 推导依据 auto：它依据变量的初始化表达式来推导类型。也就是说，auto 定义的变量必须有…...

编程日记 2025/5/2 10:34:10

【AI论文】ReasonIR：为推理任务训练检索器

摘要：我们提出了ReasonIR-8B，这是第一个专门针对一般推理任务进行训练的检索器。现有的检索器在推理任务上表现出的收益有限，部分原因是现有的训练数据集侧重于与直接回答它们的文档相关的简短事实查询。我们开发了一个合成数据生成管道&am…...

编程日记 2025/5/2 10:33:08

嵌入式AI还是一片蓝海

发现其实还是挺多人关注嵌入式和人工智能交叉领域的，随便一个问题，浏览量就27万了，但是这方面的内容确实少得可怜……所以干脆我自己来补点干货。推荐一本最近很热门的新书——《边缘人工智能：用嵌入式机器学习解决现实问题》。 …...

编程日记 2025/5/7 0:41:13

日语学习-日语知识点小记-构建基础-JLPT-N4阶段（13）：ておきますています＆てあります

日语学习-日语知识点小记-构建基础-JLPT-N4阶段（13）： ておきます &ています　＆　てあります。 1、前言（1）情况说明（2）工程师的信仰 2、知识点（1）&#x…...

编程日记 2025/5/2 10:32:05

CMake管理外部依赖的模块

在 CMake 中，FetchContent 和 ExternalProject 都是管理外部依赖的模块，但它们的设计目标、使用场景和执行时机有本质区别。以下通过对比表格、代码示例和场景分析详细说明它们的区别。核心区别对比表特性FetchContentExternalProject执行阶段配置阶…...

编程日记 2025/5/5 14:42:00

[计算机科学#7]：CPU的三阶段，取指令、解码、执行

【核知坊】：释放青春想象，码动全新视野。我们希望使用精简的信息传达知识的骨架，启发创造者开启创造之路！！！ 内容摘要：本文详细介绍了CPU的工作原理，包括其结构…...

编程日记 2025/5/5 16:58:29

向量数据库和关系型数据库的区别，优点，缺点和典型应用场景

向量数据库与关系型数据库的全面对比向量数据库和关系型数据库是两种截然不同的数据管理系统，各自针对特定的数据模型和查询模式进行了优化。随着人工智能和大数据技术的发展，向量数据库作为新兴的数据库类型，在处理非结构化数据方面展现出…...

编程日记 2025/5/2 10:30:00

《跨越边界：探索跨端框架中通用状态管理方案设计》

一款应用往往需要在多个终端，如Web、移动端、桌面端等同时运行，以满足用户多元化的使用场景。在这复杂的跨端开发领域中，状态管理堪称关键枢纽，直接关乎应用的性能、稳定性以及开发与维护的效率。如何设计一套通用的状态管理方案&…...

编程日记 2025/5/9 14:28:20

PHP之CURL通过header传参数及接收

一、传参数之冒号注意一点，这里的header数据不是KV结构，而是一个一维数组。看清楚，注意一点，是这样的结构： $ch curl_init(); $headers [X-Custom-Header: value123,Authorization: Bearer your_token_here // …...

编程日记 2025/5/10 0:27:48

【C++】brpc安装

brpc安装教程环境：Ubuntu24.04 1 简单安装即安装到系统环境下，依赖也是依赖apt安装。官方参考教程依赖准备安装依赖： sudo apt-get install -y git g make libssl-dev libgflags-dev libprotobuf-dev libprotoc-dev protobuf-com…...

编程日记 2025/5/9 2:59:11

从0开始的c++知识讲解之字符串（1）

作者作为新手，对于知识的讲解也是边输出内容也是边学习，如有缺陷，请多海涵，但同样，我会帮助你从新手视角看到新手的疑惑，并帮助你解决此疑惑一，开宗明义，立意先行 string在C里有可…...

编程日记 2025/5/2 10:22:42

Linux 第六讲 --- 工具篇（一）yum/apt与vim

前言： 经过前五讲对Linux基础指令与权限系统的系统学习，相信你已经能在命令行中自如地穿梭于文件丛林，精准调配权限密钥。但真正的Linux玩家，绝不会止步于基础操作的重复劳作。从今天起，我们将打开Linux的"瑞士…...

编程日记 2025/5/2 10:21:38

xml 和 yaml 的区别

XML 和 YAML/YML 是两种常用的数据序列化格式，用于存储和读取结构化数据。以下是它们的核心区别和使用方法： 1. 格式特性对比特性XMLYAML/YML语法复杂度标签嵌套，结构严格缩进分层，更简洁可读性较低（冗余标签&#…...

编程日记 2025/5/6 12:35:17

1.67g 雨晨 22635.5305 Windows 11 企业版 23H2 极速增强版

五一特别制作 （主要更新简述） 全程由最新YCDISM2025装载制作 1、可选功能： 添加： Microsoft-Windows-LanguageFeatures-Basic-en-us-Package Microsoft-Windows-LanguageFeatures-OCR-en-us-Package 2、功能增强&a…...

编程日记 2025/5/2 10:20:34

【C++】类和对象（中）——默认成员函数详解（万字）

文章目录上文链接类的默认成员函数1. 构造函数(1) 什么是构造函数(2) 构造函数的使用 2. 析构函数(1) 什么是析构函数(2) 析构函数的使用(3) 小练习 3. 拷贝构造函数(1) 什么是拷贝构造函数(2) 拷贝构造函数的使用 4. 赋值运算符重载(1) 运算符重载(2) 运算符重载的简单应用(3…...

编程日记 2025/5/8 10:50:09