当前位置：首页 > news >正文

OCR之论文笔记TrOCR

news 来源：原创 2024/5/11 5:05:11

文章目录

TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models
- 一. 简介
- 二. TrOCR
- - 2.1. Encoder
  - 2.2 Decoder
  - 2.3 Model Initialiaztion
  - 2.4 Task Pipeline
  - 2.5 Pre-training
  - 2.6 Fine-tuning
  - 2.7 Data Augmentation
- 三. 实验
- - 3.1 Data
  - 3.2 Settings
  - 3.2 Results
  - - 3.2.1 Architecture Comparison
    - 3.2.2 Ablation Experiment
    - 3.2.3 SROIE Task 2
    - 3.2.4 IAM Handwriting Database
    - 3.2.5 Scene Text Recognition
    - 3.2.6 Inference Speed

TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models

一. 简介

发表：CVPR2022
机构：微软
代码：https://github.com/microsoft/unilm/tree/master/trocr

摘要：
Text recognition is a long standing-research problem for document digitalization. Existing approaches are usually built based on CNN for image understanding and RNN for char-level text generation. In addition, another language model is usually needed to improve the overall accuracy as a post- processing step. In this paper, we propose an end-to-end text recognition approach with pre-trained image Transformer and text Transformer models, namely TrOCR, which leverages the Transformer architecture for both image understanding and wordpiece-level text generation. The TrOCR model is simple but effective, and can be pre-trained with large-scale synthetic data and fine-tuned with human-labeled datasets. Experiments show that the TrOCR model outperforms the current state-of-the-art models on the printed, handwritten and scene text recognition tasks. The TrOCR models and code are publicly available at https://aka.ms/trocr.

Motivation:
现有的OCR方法往往基于 CNN + RNN的范式来进行建模，前者进行图像理解，后者用于字符级别的文本生成。除此之外，往往额外用一个语言模型来后处理，提高识别的准确率。本文，提出一种基于transformer的文本识别框架，将文本和图像都用transformer来建模，并且可以先在大规模人造数据上预训练，，再在人工标注的数据集上finetune。实验表明，TrOCR可以在印刷，手写和场景文本识别任务中，取得SOTA的结果。

二. TrOCR

在这里插入图片描述
Encoder: ViT-style models
Decoder: BERT-style models

2.1. Encoder

Encoder的输入是固定尺寸（论文中是384 * 384），并且将其分解为 N 个patches， $N = HW / P ^2$ ，每个patch的尺寸是 $P * P$ ，论文中N = 24 * 24，即每个patch的尺寸是 $16 * 16$ 。然后将patch展平，过全连接，映射到D维。D就是transformer里面所有层的hidden size，默认是768。

与ViT和DeIT一样，保留了【CLS】这个特殊的token，用于图像分类任务。可以视作图像的全局特征。文中，还提到保留一种特殊的token，叫做distilation token，能够允许模型向教师模型学习。这两个特殊的token以及patches，会根据绝对位置被分配一个可以学习的位置编码（position embedding）。

Unlike the features extracted by the CNN-like network, the Transformer models have no image-specific inductive biases and process the image as a sequence of patches, which makes the model easier to pay different attention to either the whole image or the independent patches.

如何理解上面所说的归纳偏差：

CNN和Transformer是两种用于图像处理和计算机视觉任务的神经网络架构，它们在图像特定归纳偏差方面存在一些不同。

对于CNN来说，它的图像特定归纳偏差主要是基于卷积和池化操作。CNN中的卷积层通过局部感受野的方式捕捉图像的空间特征，并通过权值共享来减少参数数量。池化层则通过对特征图进行下采样来降低维度，从而提高网络的鲁棒性和计算效率。此外，CNN中的网络结构通常是层叠的，且特征图的通道数会随着网络的深度增加而增加，这些设计都是为了更好地适应图像数据的特征和结构。

相比之下，Transformer的图像特定归纳偏差主要是基于注意力机制。在Transformer中，注意力机制被用于在不同位置之间建立关联，从而能够处理不同尺度和分辨率的图像。通过自注意力机制，Transformer可以在不丢失空间信息的情况下，将图像编码成全局的特征向量。此外，Transformer的网络结构是基于自注意力层和全连接层的堆叠，这种结构可以处理变长的序列数据，因此在文本和语言等任务中也被广泛应用。

2.2 Decoder

decoder和encoder一样，也是标准的stack of identical layers的结构，有一点不同之处在于，decoder在multi-head self attetion和feed forward network之间插入了“ encoder-decoder attention"，用于对encoder的输出分配不同的注意力。

在这个encoder-decoder attention中，K和V都来自encoder的输出，Q来自decoder的输入。除此之外，decoder在self attention中利用了attention masking，来防止它在训练过程中看到更多的信息，即，decoder的输出相较于decoder的输入员，往往会right shift一个位置，所以attention mask需要保证第i个位置的输出只能pay attention到之前的输出，即<i的这些位置。

decoder的hidden states然后会映射到V这个维度，其中V是词表的大小，然后用softmax来归一化，得到该hidden state输出各个字符的概率，并且用beam search来得到最终的输出。

2.3 Model Initialiaztion

encoder initialiaztion
用DeiT和BeiT来初始化encoder。DeiT用ImageNet来训练，原始论文作者尝试不同的超参数和数据增强的方式，来使得数据更有效，除此之外，它们从一个非常强的图像分类器中提取知识到distilled token。而BeiT，借鉴MLM预训练任务，提出Mask Image Model任务来预训练image transformer。具体而言，每张图像，可以被视作两种view，image patches和visual tokens。用discreate VAE来将原始的图像转化为visual tokens，并且随机mask掉图像的patches，然后让模型进行复原原始的visual tokens。BeiT的图像transformer结果和DeiT一致，只不过是少了distilled token。
decoder initialiaztion
用RoBERTa以及MiniLM来初始化decoder，前者是在bert的基础上，探索了许多关键超参数和训练数据规模的影响，并且去除了next sentence prediction任务，而且动态改变了MLM里面的masking pattern。MiniLM是大预训练模型的压缩版，然而保留了99%的模型能力，除了在MLM中用到soft target probs和蒸馏学习之外，来引入一个教师助教，来辅助蒸馏。
但是直接加载上面两个模型到decoder有一些问题，因为encoder-decoder attention layers在原始模型中是没有的，因此采用的策略是，decoder相应的参数用RoBERTa和MiniLM来初始化，缺失的参数，随机初始化。

2.4 Task Pipeline

在trocr中，文本识别任务被定义为这样的pipeline，对于输入的文本行图像，模型提出视觉特征，并且基于图像和之前产生的上下文来预测wordpiece的tokens。gt往往用【EOS】token来标识一个句子的结束。在训练的时候往往会在开头添加一个【BOS】的token来标识生成的开始，并达到shift one placed的效果。这个shifted的gt sequence会被输入decoder，它对应位置的输出被与gt sequence的交叉墒来监督。在inference的时候，decoder从【BOS】开始迭代预测，并且将产生的输出作为下一步的输入。

2.5 Pre-training

基于文本识别任务来进行预训练，分为两个阶段

第一阶段：构造了上亿（hundreds of million）的印刷体文本行图像，并且用trocr在这上面预训练。
第二阶段：构造了两个相对小一点的印刷体和手写体数据集，规模是百万级别，并且在场景文本识别任务上，用了现有的广泛使用的synthetic数据集。

疑问？
是分别预训练图像encoder以及文本decoder吗？

2.6 Fine-tuning

除了场景文本识别之外，预训练的trocr的模型，在其他下游文本识别任务中finetune。trocr的输出是基于Byte Pair Encoding (BPE）以及SentencePiece，而且不依赖于其他任何与任务无关的词表。

Byte Pair Encoding (BPE)是一种基于统计的无损数据压缩算法，它也被广泛用于自然语言处理领域中的文本编码和词汇表示。
BPE的基本思想是将文本编码成一个固定大小的词汇表。它通过迭代地合并词汇表中出现频率最高的相邻字符或字符对，来不断增加词汇表的大小，直到达到预设的大小或满足停止条件为止。在每次迭代中，BPE会计算所有相邻字符或字符对的出现频率，然后将出现频率最高的字符或字符对合并成一个新的字符，并将其添加到词汇表中。这个过程会不断重复，直到词汇表达到预设大小或者满足停止条件。
通过这种方式，BPE可以生成一个小而紧凑的词汇表，并将文本编码为由词汇表中的字符或字符对组成的符号串。在自然语言处理中，BPE常用于生成单词分段（subword segmentation），即将单词分成更小的子单元，以便于语言模型处理生僻单词、未登录词和低频词等情况。在神经机器翻译和文本生成等任务中，使用BPE编码的文本能够更好地适应不同语言的语言特点，从而提高模型的性能。

Byte Pair Encoding（BPE）和SentencePiece都是常用于文本编码和词汇表示的算法，它们的主要区别在于以下几个方面：

算法原理：BPE是一种基于贪心算法的数据压缩算法，它通过反复合并出现频率最高的字符或字符对来构建词汇表。而SentencePiece则是基于Unigram语言模型的，它使用马尔可夫模型来学习词汇表中每个子词的概率，然后根据概率来进行分割。
应用场景：BPE主要应用于分词和子词划分等任务，而SentencePiece除了分词和子词划分外，还可以用于语音识别、OCR等领域。SentencePiece还支持多种分词算法，包括BPE、Unigram语言模型、WordPiece等。
实现方式：BPE和SentencePiece都有多种不同的实现方式，包括基于C++、Python、Java等语言的实现。其中，SentencePiece在Google的开源机器翻译框架TensorFlow和PyTorch中都有支持。
总体而言，BPE和SentencePiece都是用于文本编码和词汇表示的常用算法，具体使用哪种算法取决于具体的任务需求和数据特点。

2.7 Data Augmentation

六种数据增强策略被用到预训练和finetune的数据当中，随机旋转（-10，10）度，高斯模糊，图像膨胀，图像腐蚀，下采样，下划线。对于每一个样本而言，各个增强方式以一种相同的概率被随机选择。对于场景文本识别数据集，用了之前文献的RandAug方法，其中的数据增强方式包括：inversion，扭曲，模糊，噪声，distoration，旋转等。

三. 实验

3.1 Data

预训练数据集
将publily available的pdf转化为图像，并获得印刷体文本行的小图，总计684M。
通过TRDG开源库，来将5,427种手写体字体来构造手写数据集，其中语料是随机抓去自wiki，所以第二阶段的手写体预训练数据集的最终规模是17.9M，并且包括IIIT-HWS数据集。除此之外，收集了53K的真实票据数据，并用商用的OCR识别软件进行识别。也用TRDG构造了1M印刷体票据数据，对于场景文本识别而言，第二阶段预训练用到的数据集是MJSynth (MJ)和SynthText (ST)，总计16M文本图像。
字体：
https://fonts.google.com/?category=Handwriting
https:// www.1001fonts.com/handwritten- fonts.html
渲染工程：
https://github.com/Belval/TextRecognitionDataGenerator

Benchmarks
票据识别：SROIE (Scanned Receipts OCR and In- formation Extraction) dataset (Task 2) focuses on text recognition in receipt images. There are 626 receipt images and 361 receipt images in the training and test sets of SROIE.
手写识别：The IAM Handwriting Database is composed of hand- written English text, which is the most popular dataset for handwritten text recognition. We use the Aachen’s partition of the dataset3: 6,161 lines from 747 forms in the train set, 966 lines from 115 forms in the validation set and 2,915 lines from 336 forms in the test set.
场景文本识别：IIIT5K-3000, SVT-647, IC13-857, IC13-1015 , IC15-1811, IC15-2077, SVTP-645 , and CT80-288。

3.2 Settings

TrOCR是基于Fairseq工具来写的，对于model初始化这一块，DeiT来自timm库，而BEiT和MiniLM来自微软的UniLM库，RoBERTa来自fairseq库。32张V100（32GBs）预训练，8张V100来finetune。
batch_size: 2048
learning rate: 5e-5
384 * 384输入，16 * 16 patches。
The DeiTSMALL has 12 layers with 384 hidden sizes and 6 heads. Both the DeiTBASE and the BEiTBASE have 12 layers with 768 hidden sizes and 12 heads while the BEiTLARGE has 24 layers with 1024 hidden sizes and 16 heads. We use 6 layers, 256 hidden sizes and 8 attention heads for the small decoders, 512 hidden sizes for the base decoders and 12 layers, 1,024 hidden sizes and 16 heads for the large decoders.
beam size : 10
CRNN作为baseline对比：https://github.com/meijieru/crnn.pytorch

评价指标：
word-level pre- cision, recall and f1 score.
Character Error Rate (CER)
Word Accuracy

3.2 Results

3.2.1 Architecture Comparison

选择不同的encoder和decoder的组合，可以发现BeiT在encoder中表现最好，其次DeiT，再之后是resnet50
decoder的话，是roberta large表现最好。
TrOCRSMALL (total parameters=62M) consists of the encoder of DeiT SMALL and the decoder of MiniLM,
TrOCRBASE (total parameters=334M) consists of the en- coder of BEiT BASE and the decoder of RoBERTa LARGE
TrOCRLARGE (total parameters=558M) consists of the en- coder of BEiT LARGE and the decoder of RoBERTa LARGE.

3.2.2 Ablation Experiment

疑问？

from scratch 这么低是什么原因？

3.2.3 SROIE Task 2

https://rrc.cvc.uab.es/?ch=13&com=evaluation&task=2

与cnn + rnn的一些方法进行对比

3.2.4 IAM Handwriting Database

在这里插入图片描述

3.2.5 Scene Text Recognition

在这里插入图片描述

3.2.6 Inference Speed

在这里插入图片描述

android apk没有源码如何修改程序

如果您拥有一个APK文件但没有源代码，您可以尝试以下几种方法来进行修改： 反编译APK：使用工具如apktool对APK文件进行反编译，这将为您提供源代码和资源文件。动态调试：使用调试工具连接设备或模拟器，并动态…...

编程日记 2024/5/11 1:15:58

项目冲刺day3

这个作业属于哪个课程软工4班这个作业要求在哪里作业要求1.会议1. 照片时间冲突，采用微信聊天方式2. 昨日已完成：完成登录、注册功能，部分完成用户中心功能3.今天计划完成的工作用户中心功能、订单管理功能4.工作中遇到的困难沟通和信息共享并不总是顺利。这导致了一些…...

编程日记 2024/5/11 0:19:56

中国地面气候资料日值数据获取方式

数据简介环境气象数据服务平台提供了全国大约2100个点位，2000年至2023年的逐日数据。包括气温、气压、湿度、风、降水等要素。数据基于ECMWF reanalysis-era5-land、reanalysis-era5-single-levels 以及中国2100站点地面气候资料日值观测数据，使用机器…...

编程日记 2024/5/10 23:45:10

winform植物大战僵尸

winform植物大战僵尸植物大战僵尸源码半成品需要的拿去学习登陆注册选择关卡向日葵豌豆射手双枪豌豆射手项目获取： 项目获取：typora: typora/img (gitee.com) 备用项目获取链接1：yifeiyixiang/kamo: 源码下载 (github.com) 备用…...

编程日记 2024/5/10 21:54:09

分享一个使用python调用websocket获取实时行情数据的方法

websocket对接实时行情，期货，外汇，股票对接这个站点可以获取：外汇、国际期货、国内期货、贵金属、能源、虚拟货币、股指期货、美股、台股、港股、印度股、A股、ETF等。以下是Python的连接demo，可以参考下。同时也支持其他后端语言的连接，PHP、Java等。最新价，最高价，最…...

编程日记 2024/5/10 17:55:59

【C++初阶】第十站：vector 中通用函数的模拟实现

目录 vector中的三个重要迭代器默认成员函数构造函数(无参构造) 构造函数(函数模板) 构造函数(带有默认参数) size_t int 拷贝构造函数赋值重载析构函数迭代器相关函数 begin和end 容量和大小相关函数 size capacity resize 修改容器内容相关函数 reser…...

编程日记 2024/5/10 13:28:39

OCR之论文笔记TrOCR

文章目录TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models一. 简介二. TrOCR2.1. Encoder2.2 Decoder2.3 Model Initialiaztion2.4 Task Pipeline2.5 Pre-training2.6 Fine-tuning2.7 Data Augmentation三. 实验3.1 Data3.2 Settings3.2 Resul…...

编程日记 2024/5/11 5:05:11

静态路由+DHCP实验（四路由器八PC）

一.200.1.1.0/24子网划分 1.划分八个子网 2.选用前5个，第五个子网再划分4个子网作为骨干二.规划路由三.配置（下一跳） 1.先依次实现四个路由器之间全网可通 2.为路由器配置地址池，使用全局模式获取dhcp，指定网关…...

编程日记 2024/5/10 23:51:05

文件包含漏洞原理与实践

「作者主页」：士别三日wyx 「作者简介」：CSDN top100、阿里云博客专家、华为云享专家、网络安全领域优质创作者文件包含漏洞一、什么是文件包含漏洞？二、文件包含函数三、两种文件包含1、本地文件包含1.1 使用教程演示2、远程文件包含1.1 使…...

编程日记 2024/5/10 14:40:48

利用摄影测量进行地形建模的介绍

一、前言从一个地方到另一个地方的地球表面由连续和突然的海拔变化组成，个人和社会都必须应对这些变化。水从高山和丘陵向下流，从溪流流入河流，形成三角洲，最终汇入大海。三维 (3D) 地面信息的获取和表示一直是与行星表面相关的…...

编程日记 2024/4/29 15:48:41

【Nginx】Nginx 常用的基础配置

文章目录一、基础配置二、隐藏 Nginx 版本信息三、禁止ip直接访问80端口四、启动 web 服务 (vue 项目为例)五、PC端和移动端使用不同的项目文件映射六、一个web服务，配置多个项目 (location 匹配路由区别)七、配置负载均衡八、SSL 配置 HTTPS一、基础配置 user …...

编程日记 2024/5/10 22:16:44

基于OpenCV的图片和视频人脸识别

目录 🥩前言 🍖环境使用 🍖模块使用 🍖模块介绍 🍖模块安装问题: 🥩人脸检测 🍖Haar 级联的概念 🍖获取 Haar 级联数据 🍗 1.下载所需版本 🍗 2.安…...

编程日记 2024/5/10 21:58:38

比肩ChatGPT的国产AI：文心一言——有话说

🔗 运行环境：chatGPT，文心一言 🚩 撰写作者：左手の明天 🥇 精选专栏：《python》 🔥 推荐专栏：《算法研究》 #### 防伪水印——左手の明天 #### 💗 大家好&am…...

编程日记 2024/5/10 11:29:27

剑指offer JZ77 按之字形顺序打印二叉树

Java JZ77 按之字形顺序打印二叉树文章目录Java JZ77 按之字形顺序打印二叉树一、题目描述二、双栈法三、队列reverse()法使用双栈法和队列reverse()法解决剑指offer JZ77 按之字形顺序打印二叉树的问题。一、题目描述给定一个二叉树，返回该二叉树的之字形层序遍…...

编程日记 2024/5/10 11:03:26

【Azure 架构师学习笔记】-Azure Data Factory (5)-Managed VNet

本文属于【Azure 架构师学习笔记】系列。本文属于【Azure Data Factory】系列。接上文【Azure 架构师学习笔记】-Azure Data Factory (4)-触发器详解-事件触发器前言 PaaS服务默认都经过公网传输， 这对很多企业而言并不安全，那么就需要对其进行安全改…...

编程日记 2024/5/11 5:00:28

聚类算法层次聚类

###cluster.py #导入相应的包 import scipy import scipy.cluster.hierarchy as sch from scipy.cluster.vq import vq,kmeans,whiten import numpy as np import matplotlib.pylab as plt #生成待聚类的数据点,这里生成了20个点,每个点4维: pointsscipy.randn(20,4) #加一…...

编程日记 2024/5/10 14:54:37

大数据写入到Oracle数据库（批量插入数据）

开发中经常遇到批量插入数据的需求，为了提高开发效率大多会使用ORM架构，个别之处才会手写SQL，我们使用C#.NET Core5.0开发，所以优先选择了微软的EF。但是EF原生没有批量操作功能，需要自己扩展或使用第三方的扩展&am…...

编程日记 2024/5/10 4:26:52

【LeetCode】剑指 Offer 39. 数组中出现次数超过一半的数字 p205 -- Java Version

题目链接：https://leetcode.cn/problems/shu-zu-zhong-chu-xian-ci-shu-chao-guo-yi-ban-de-shu-zi-lcof/ 1. 题目介绍（39. 数组中出现次数超过一半的数字） 数组中有一个数字出现的次数超过数组长度的一半，请找出这个数字。你可…...

编程日记 2024/5/10 23:58:51

es-head插件插入查询以及条件查询（五）

es-head插件插入查询以及条件查询 1.es-head插件页面介绍页面详细介绍 2.es-head查询语句 2.1.查询索引中的全部数据 curl命令交互，采用GET请求语法格式： curl -XGET es地址:9200/索引名/_search?pretty [rootelaticsearch ~]# curl -XGET 192…...

编程日记 2024/5/2 7:22:25

数据挖掘（作业汇总）

目录环境配置实验1 数据作业2 环境配置实验开始前先配置环境以实验室2023安装的版本为例： 1、安装anaconda：（anaconda自带Python,安装了anaconda就不用再安装Python了） 下载并安装 Anaconda3-2022.10-Windows-x86_64.ex…...

编程日记 2024/5/10 18:16:37

基于微信小程序的图书馆选座系统源码

开发环境及工具： 大等于jdk1.8，大于mysql5.5，idea（eclipse），微信开发者工具技术说明： springboot mybatis 小程序代码注释齐全，没有多余代码，适合学习（…...

编程日记 2024/5/10 14:46:25

特斯拉4D成像毫米波雷达与木牛科技早期开源的产品几乎一模一样？

近日，在中欧智能网联汽车协会秘书长林示的组织下，中益基金投资总监王子文考察了全球毫米波雷达领跑者—木牛科技。考察过程中，木牛科技COO王卫向两位详细介绍了木牛科技具备怎样的全球毫米波雷达领跑者的科技硬实力，以及木牛科技…...

编程日记 2024/5/10 1:33:03

[golang gin框架] 10.Gin 商城项目介绍

一.商城项目介绍 1.详细功能介绍图 2.数据库 ER 图需要用到的数据表举例二.MVC架构搭建以及执行流程分析 1.关于 MVC 模式的简单介绍 Gin 不是一个 MVC 的框架，所有的代码都可以写在 main.go 中。当我们的项目比较大的时候， 所有代码写在一个文件里面…...

编程日记 2024/5/10 18:40:54

python@调用系统命令行@os.system@subprocess@标准输入输出@sys.stdin@sys.stdout@input@print

文章目录python调用系统命令行os.system标准输入输出sys.stdinsys.stdoutinputprint概要os.systemdemoswindows命令解释器ComSpecsubprocessrecommended🎈基本用法demos标准输入输出sys.stdininput()sys.stdin.inputinput()交互模式小结sys.stdoutsys.stdout.wirte(…...

编程日记 2024/5/10 5:48:50

15-哈希表

哈希表（Hash table），也称散列表，是一个能够将数值映射而成地址从而进行直接访问的数据结构，通过哈希表我们可以快速、迅捷地访问数据。哈希表原理假设我们拥有一个数x（也称关键值，key&#…...

编程日记 2024/5/10 9:27:58

【超详细文件操作（三）】C语言

作者：日出等日落专栏：C语言只有流过血的手指，才能弹出世间的绝唱。 ——泰戈尔目录 1.文件的随机读写 1.1 fseek函数 1.1.1 下面使用fseek函数 1.2 ftell函数 1.3 rewind函数 …...

编程日记 2024/5/10 23:18:53

【数据分析之道-基础知识(四)】字典

文章目录专栏导读1、字典简介2、字典创建3、字典访问4、字典修改5、字典添加6、字典删除7、字典内置函数专栏导读 ✍ 作者简介：i阿极，CSDN Python领域新星创作者，专注于分享python领域知识。 ✍ 本文录入于《数据分析之道》，本专栏…...

编程日记 2024/5/11 0:30:22

【计组】RAM的深入理解

一、存储机理 RAM的实现逻辑有种，分别是触发器和电容。 SRAM（Static）DRAM（Dynamic）存储方式触发器电容破坏性读出否（触发器具有稳态，能够锁住0或1两种状态）是（电容需要…...

编程日记 2024/5/9 20:48:44

51单片机学习笔记_13 ADC

ADC 使得调节开发板上的电位器时，数码管上能够显示 AD 模块采集电位器的电压值且随之变化。开发板上有三个应用：光敏电阻，热敏电阻，电位器。一般 AD 转换有多个输入，提高使用效率。 ADC 通过地址锁存与译码判断采…...

编程日记 2024/5/10 16:15:10

JVM 常量池

Class文件常量池每个Class文件都会有一个单独的常量池,我们称为Class文件常量池,我们可以用javap命令反汇编Class文件,可以查看java编译器为我们生成的字节码。 CLass文件常量池存下内容： 字面量： 文本字符串(代码中用双引号包裹的字符串部分的值)被…...

编程日记 2024/5/10 23:35:45

Leetcode.1024 视频拼接

题目链接 Leetcode.1024 视频拼接 Rating ： 1746 题目描述你将会获得一系列视频片段，这些片段来自于一项持续时长为 time秒的体育赛事。这些片段可能有所重叠，也可能长度不一。使用数组 clips描述所有的视频片段，其中 clips[i…...

编程日记 2024/5/11 0:26:51

彩色滤镜阵列CFA与Bayer滤镜

彩色滤镜阵列（CFA） 在彩色光电摄影中，可以通过分光，使用三个传感器分别捕获红、绿、蓝三个通道的颜色分量。但为了降低成本，绝大部分成像系统中采用单芯片 CMOS、CCD 传感器结合彩色滤镜阵列(Color Fiter Array&#…...

编程日记 2024/5/6 12:50:34

Unity和GAN实现AI绘画五等分的新娘、国家队02(附源码)

UnityGAN实现AI绘画五等分的新娘、国家队02附源码写在前面源码演示视频部分界面展示使用教程敬请期待其他写在后面写在前面博主喜欢二次元，想着在读研期间做点对自己有意义的事，因此选择了动漫人物生成方向(呜呜呜，太感谢导师理解和支持了)…...

编程日记 2024/5/10 9:31:05

SpringBoot实现自己的日志服务

日志服务是作为软件开发架构的必备服务之一，一直都是我们所关注，所考虑的服务关键点，一个优秀的日志服务可以为项目的维护提供有力的支持，提高了系统的可靠性。前言如何设计一个优秀而又可靠的日志服务，是一直以来都…...

编程日记 2024/5/11 0:36:22

基于ssm流浪动物救助及领养管理系统（文档）024

大家好✌！我是CZ淡陌。一名专注以理论为基础实战为主的技术博主，将再这里为大家分享优质的实战项目，本人在Java毕业设计领域有多年的经验，陆续会更新更多优质的Java实战项目，希望你能有所收获，少走一些弯路…...

编程日记 2024/5/10 5:30:17

maven安装及配置(IDEA版)简洁

1.下载Maven：您可以从Maven官方网站（https://maven.apache.org/download.cgi）下载适合您操作系统的Maven版本，并解压缩到您想要安装的位置。 2.配置环境变量：将Maven的bin目录添加到PATH环境变量中，这样…...

编程日记 2024/5/10 10:41:25

最全Linux应用开发解析（持续更新）

一、文件IO 1.1 文件描述符在 Linux 操作系统中的一切都被抽象成了文件，那么一个打开的文件是如何与应用程序进行对应呢？ 解决方案是使用文件描述符（file descriptor，简称fd），当在进程中打开一个现有文…...

编程日记 2024/4/24 14:22:17

SpringBoot学习笔记下

文章目录1 接口架构风格 —RESTful1.1 REST1.2 在页面中或者ajax中，支持put，delete请求2 Spring Boot 集成 Redis2.1 redis起步依赖2.2 对比 StringRedisTemplate 和 RedisTemplate3 SpringBoot集成Dubbo3.1 看 SpringBoot继承Dubbo的文档3.2 公共项目7.…...

编程日记 2024/5/11 1:23:11

小米12/12S/13Pro手机MIUI14系统小黄鸟（HttpCanary）CA证书无法注入问题

很多用户获取ROOT是为了抓包，这里一般常常依赖一款名叫HttpCanary的软件，因软件图标是一只小鸟，我们经常叫他小黄鸟。从日常使用上来看，黄鸟确实有抓包获取数据等功能，也在多个手机上实践成功，网上相关教…...

编程日记 2024/4/12 21:11:06

SpringCloud学习笔记（四）Docker

一、Docker如何解决依赖的兼容问题将应用的libs（函数库）、Deps（依赖）、配置与应用一起打包，形成可移植镜像Docker应用运行在容器中，使用沙箱机制，相互隔离二、Dokcer如何解决开发、测试、生…...

编程日记 2024/5/10 15:23:48

SAP 批量修改工艺路线和 BOM

1、在运维的过程中经常会遇到用户需要批量更改组件，或者是批量更改数量，还是组件里面的一些标识，当处理这些批量数据处理的业务时，BOM的批量更改一个想到的就是CS20，但是CS20当BOM需要替换的时候就不是很适用。新增的组…...

编程日记 2024/5/1 7:56:16

基于OpenTelemetry实现可观测性-Part 4 Collector

译注：这是一个系列，共分成6部分，这是第4部分。翻译自：https://trstringer.com/otel-part4-collector/在上一篇博文中，我们讨论了如何使用 SDK 和追踪器提供者从进程获取遥测数据。存在很多不同类型的导出器&#xff0c…...

编程日记 2024/5/9 22:43:08

STM32学习（十二）

软件定时原理使用纯软件（CPU死等）的方式实现定时（延时）功能。不精准：函数调用压栈进栈需要耗费额外的时间；流水线使得程序执行时间不确定。CPU死等。定时器定时原理使用精准的时基，通过…...

编程日记 2024/5/9 23:57:31

Python毕业设计推荐

今天给大家推荐4个基于python的毕业设计/课程设计 1 网上商城系统这是一个基于pythonvue开发的商城网站，平台采用B/S结构，后端采用主流的Python语言进行开发，前端采用主流的Vue.js进行开发。整个平台包括前台和后台两个部分。前台功能…...

编程日记 2024/5/4 0:38:05

组装式交付-云巧知多少

组装式交付-云巧知多少组装式交付背景云巧什么是云巧呢？云巧的优势丰富的组件，提升代码复用全面的集成方式，支持模块化组装云原生标准，预集成阿里云产品云巧的构成云巧组件云巧资产市场云巧生态云巧工坊总结组装式交付背景一直…...

编程日记 2024/5/8 6:26:49

「解析」牛客网-华为机考企业真题 41-60

又是一年春招时，有幸收到华为自动驾驶算法岗，之前刷题不多，在此汇总下牛客网的真题，主要采用Python编写，个人觉得语言只是实现工具而已，并不是很关键，Python简洁易懂，更加适合算法工…...

编程日记 2024/5/9 23:51:19

RPA机器人在信息化管理、报告生成实现自动化成为生态环境局新宠

随着人们对环境和自然资源的保护意识逐渐增强，我国在环保领域的投入力度也越来越大。然而，环境保护任务的繁重与复杂，也意味着环保执法机关需要更加高效、精准的手段来完成任务。这时，“机器人流程自动化”（简称RPA&am…...

编程日记 2024/5/10 20:01:53

关于线程池你了解些什么?

前言学习线程池的思维导图线程池是什么?它有什么用?虽然线程比进程更轻量级,但是每个进程所占的资源空间是有限,如果我们频繁创建和销毁线程也会消耗很多CPU资源,那么我们该如何解决这个问题呢?官方解释:线程池是一种多线程处理形式,其处理过程可以将多个任务添加到阻塞队列…...

编程日记 2024/4/29 10:16:59

基于MATLAB编程的萤火虫改进帝国竞争算法求解多目标优化，FA-ICA目标寻优

目录背影帝国竞争基本定义优点萤火虫原理改进思路基于萤火虫改进帝国竞争多目标求解代码结果分析展望背影多目标多参数优化是常遇到的优化问题，有很多传统算法可以求解，比如fiminmax,fmincon等，但是都容易陷入局部最优，本文用帝国竞争优化萤火虫算法进行多目…...

编程日记 2024/4/16 13:13:22

低代码开发：助力企业高效实现数字转型的一大利器

随着互联网、移动互联网、物联网等技术的迅速普及和应用，数字经济时代的到来，人们的生产、消费和生活方式都发生了巨大的变化，而传统企业也面临着巨大的挑战和机遇。在数字经济时代，数据成为一种重要的生产要素。数据成为一种重要…...

编程日记 2024/5/9 7:47:15

centos7安装mysql并添加密码

网上找的教程有的是不能用，有的是改密码有问题，下面这个教程亲测可用 #安装wget,wget是Linux中的一个下载文件的工具 yum -y install wget #使用wget下载文件 wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm rpm -ivh mysql-com…...

编程日记 2024/5/1 17:58:39

大数据未来发展怎么样？

就目前情况来看，大数据行业前景不错薪资待遇好，也有越来越多的人选择大数据行业，各大名企对于大数据人才需求不断上涨。大数据从业领域很宽广，不管是科技领域还是食品产业，零售业等都是需要大数据人才进行大数据的处…...

编程日记 2024/5/3 0:45:12

图书管理系统（考试样品）

一、执行下面的sql CREATE DATABASE bms CHARACTER SET utf8mb4;USE bms;DROP TABLE IF EXISTS tb_book;CREATE TABLE tb_book (id INT NOT NULL AUTO_INCREMENT,name VARCHAR(20) NOT NULL,desc TEXT ,type_id INT DEFAULT NULL,PRIMARY KEY (id) ) ; INSERT INTO tb_book VA…...

编程日记 2024/5/5 22:26:33

文章目录

TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models

一. 简介

二. TrOCR

2.1. Encoder

2.2 Decoder

2.3 Model Initialiaztion

2.4 Task Pipeline

2.5 Pre-training

2.6 Fine-tuning

2.7 Data Augmentation

三. 实验

3.1 Data

3.2 Settings

3.2 Results

3.2.1 Architecture Comparison

3.2.2 Ablation Experiment

3.2.3 SROIE Task 2

3.2.4 IAM Handwriting Database

3.2.5 Scene Text Recognition

3.2.6 Inference Speed

相关文章：