OpenHarmony - 小型系统内核（LiteOS-A）（七）

OpenHarmony - 小型系统内核（LiteOS-A）（七）

---

八、文件系统

适配新的文件系统

基本概念

所谓对接VFS层，其实就是指实现VFS层定义的若干接口函数，可根据文件系统的特点和需要适配其中部分接口。一般情况下，支持文件读写，最小的文件系统适配看起来是这样的：

struct MountOps g_yourFsMountOps = {.Mount = YourMountMethod,
};struct file_operations_vfs g_yourFsFileOps = {.read = YourReadMethod,.write = YourWriteMethod,
}struct VnodeOps g_yourFsVnodeOps = {.Create = YourCreateMethod;.Lookup = YourLookupMethod;.Reclaim = YourReclaimMethod;
};FSMAP_ENTRY(yourfs_fsmap, "your fs name", g_yourFsMountOps, TRUE, TRUE);  // 注册文件系统

说明：

1. open和close接口不是必须要实现的接口，因为这两个接口是对文件的操作，对下层的文件系统一般是不感知的，只有当要适配的文件系统需要在open和close时做一些特别的操作时，才需要实现。

2. 适配文件系统，对基础知识的要求较高，适配者需要对要适配的文件系统的原理和实现具有深刻的理解，本节中不会事无巨细地介绍相关的基础知识，如果您在适配的过程中遇到疑问，建议参考kernel/liteos_a/fs目录下已经适配好的文件系统的代码，可能就会豁然开朗。

适配Mount接口

Mount是文件系统第一个被调用的接口，该接口一般会读取驱动的参数，根据配置对文件系统的进行初始化，最后生成文件系统的root节点。Mount接口的定义如下：

int (*Mount)(struct Mount *mount, struct Vnode *blkDriver, const void *data);

其中，第一个参数struct Mount *mount是Mount点的信息，适配时需要填写的是下面的变量：

struct Mount {const struct MountOps *ops;        /* Mount相关的函数钩子 */struct Vnode *vnodeCovered;        /* Mount之后的文件系统root节点 */void *data;                        /* Mount点的私有数据 */
};

第二个参数struct Vnode *blkDriver是驱动节点，可以通过这个节点访问驱动。

第三个参数const void *data是mount命令传入的数据，可以根据文件系统的需要处理。

下面以JFFS2为例，详细看一下mount接口是如何适配的：

int VfsJffs2Bind(struct Mount *mnt, struct Vnode *blkDriver, const void *data)
{int ret;int partNo;mtd_partition *p = NULL;struct MtdDev *mtd = NULL;struct Vnode *pv = NULL;struct jffs2_inode *rootNode = NULL;LOS_MuxLock(&g_jffs2FsLock, (uint32_t)JFFS2_WAITING_FOREVER);/* 首先是从驱动节点中获取文件系统需要的信息，例如jffs2读取的是分区的编号 */p = (mtd_partition *)((struct drv_data *)blkDriver->data)->priv;mtd = (struct MtdDev *)(p->mtd_info);if (mtd == NULL || mtd->type != MTD_NORFLASH) {LOS_MuxUnlock(&g_jffs2FsLock);return -EINVAL;}partNo = p->patitionnum;/* 然后生成一个文件系统的根Vnode，这里注意不要搞混rootNode和根Vnode，rootNode类型是inode，是jffs2内部维护的私有数据，而Vnode是VFS的概念，是通用的文件节点，这一步实际上就是把文件系统内部的私有信息保存到Vnode中，这样就可以通过Vnode直接找到文件系统中的对应文件。*/ret = jffs2_mount(partNo, &rootNode);if (ret != 0) {LOS_MuxUnlock(&g_jffs2FsLock);return ret;}ret = VnodeAlloc(&g_jffs2Vops, &pv);if (ret != 0) {LOS_MuxUnlock(&g_jffs2FsLock);goto ERROR_WITH_VNODE;}/* 下面这段填写的是关于这个Vnode对应文件的相关信息，uid\gid\mode这部分信息，有的文件系统可能不支持，可以不填 */pv->type = VNODE_TYPE_DIR;pv->data = (void *)rootNode;pv->originMount = mnt;pv->fop = &g_jffs2Fops;mnt->data = p;mnt->vnodeCovered = pv;pv->uid = rootNode->i_uid;pv->gid = rootNode->i_gid;pv->mode = rootNode->i_mode;/* 这里的HashInsert是为了防止重复生成已经生成过的Vnode， 第二个参数一般会选择本文件系统内可以唯一确定某一个文件的信息，例如这里是jffs2内部inode的地址 */(void)VfsHashInsert(pv, rootNode->i_ino);g_jffs2PartList[partNo] = blkDriver;LOS_MuxUnlock(&g_jffs2FsLock);return 0;
ERROR_WITH_VNODE:return ret;
}
// ...
// ...
const struct MountOps jffs_operations = {.Mount = VfsJffs2Bind,// ...// ...
};

总结：

1. 首先从驱动节点中获取需要的私有信息。

2. 根据私有信息，生成文件系统的根节点。

适配Lookup接口

Lookup是查找文件的接口，它的函数原型是：

int (*Lookup)(struct Vnode *parent, const char *name, int len, struct Vnode **vnode);

很好理解，就是从父节点parent开始，根据文件名name和文件名长度len，查找到对应的vnode返回给上层。

这个接口适配起来思路很清晰，给了父节点的信息和文件名，实现从父目录中查询名字为name的文件这个功能，同样以JFFS2为例：

int VfsJffs2Lookup(struct Vnode *parentVnode, const char *path, int len, struct Vnode **ppVnode)
{int ret;struct Vnode *newVnode = NULL;struct jffs2_inode *node = NULL;struct jffs2_inode *parentNode = NULL;LOS_MuxLock(&g_jffs2FsLock, (uint32_t)JFFS2_WAITING_FOREVER);/* 首先从private data中提取父节点的信息 */parentNode = (struct jffs2_inode *)parentVnode->data;/* 然后查询得到目标节点的信息，注意这里调用的jffs2_lookup是jffs2本身的查询函数 */node = jffs2_lookup(parentNode, (const unsigned char *)path, len);if (!node) {LOS_MuxUnlock(&g_jffs2FsLock);return -ENOENT;}/* 接着先校验一下查找到的目标是否已经有现成的vnode了，这里对应之前提到的VfsHashInsert */(void)VfsHashGet(parentVnode->originMount, node->i_ino, &newVnode, NULL, NULL);LOS_MuxUnlock(&g_jffs2FsLock);if (newVnode) {newVnode->parent = parentVnode;*ppVnode = newVnode;return 0;}/* 如果vnode不存在，就新生成一个vnode，并填写相关信息 */ret = VnodeAlloc(&g_jffs2Vops, &newVnode);if (ret != 0) {PRINT_ERR("%s-%d, ret: %x\n", __FUNCTION__, __LINE__, ret);(void)jffs2_iput(node);LOS_MuxUnlock(&g_jffs2FsLock);return ret;}Jffs2SetVtype(node, newVnode);newVnode->fop = parentVnode->fop;newVnode->data = node;newVnode->parent = parentVnode;newVnode->originMount = parentVnode->originMount;newVnode->uid = node->i_uid;newVnode->gid = node->i_gid;newVnode->mode = node->i_mode;/* 同时不要忘记将新生成的vnode插入hashtable中 */(void)VfsHashInsert(newVnode, node->i_ino);*ppVnode = newVnode;LOS_MuxUnlock(&g_jffs2FsLock);return 0;
}

总结：

1. 从父节点获取私有数据；

2. 根据私有信息查询到目标文件的私有数据；

3. 通过目标文件的私有数据生成目标Vnode。

适配总结和注意事项

通过上面两个接口的适配，其实可以发现一个规律，不管是什么接口，基本都遵循下面的适配步骤：

1. 通过入参的vnode获取文件系统所需的私有数据。

2. 使用私有数据完成接口的功能。

3. 将结果包装成vnode或接口要求的其他返回格式，返回给上层。

核心的逻辑其实在使用私有数据完成接口的功能，这些接口都是些文件系统的通用功能，文件系统在移植前本身应该都有相应实现，所以关键是归纳总结出文件系统所需的私有数据是什么，将其存储在vnode中，供之后使用。一般情况下，私有数据的内容是可以唯一定位到文件在存储介质上位置的信息，大部分文件系统本身都会有类似数据结构可以直接使用，比如JFFS2的inode数据结构。

注意：

1. 访问文件时，不一定会调用文件系统中的Lookup接口，仅在上层的路径缓存失效时才会调用到。

2. 通过VfsHashGet找到了已经存在的Vnode，不要直接将其作为结果返回，其储存的信息可能已经失效，请更新相应字段后再返回。

3. Vnode会根据内存占用在后台自动释放，需要持久保存的信息，不要只保存在Vnode中。

4. Reclaim接口在Vnode释放时会自动调用，请在这个接口中释放私有数据中的资源。

---

九、Plimitsfs文件系统

容器配额（plimits）

简介

面对进程越来越多，应用环境越来越复杂的状况，需要对容器做限制，若不做限制，会发生资源浪费、争夺等。容器配额plimits（Process Limits）是内核提供的一种可以限制单个进程或者多个进程所使用资源的机制，可以对cpu，内存等资源实现精细化控制。plimits的接口通过plimitsfs的伪文件系统提供。通过操作文件对进程及进程资源进行分组管理，通过配置plimits组内限制器Plimiter限制进程组的memory、sched等资源的使用。

基本概念

• plimits：内核的一个特性，用于限制、记录和隔离一组进程的资源使用。
• plimitsfs：plimits文件系统，向用户提供操作接口，实现plimits的创建，删除。向用户展示plimits的层级等。
• plimiter：资源限制器的总称，一个子系统代表一类资源限制器，包含memory限制器、pids限制器、sched限制器。
• sched限制器：限制plimits组内的所有进程，在时间周期内占用的cpu时间。
• memory限制器：限制plimits组内所有进程的内存使用总和。
• pids限制器：限制plimits组内能挂载的最大进程数。

运行机制

plimitsfs文件系统，在系统初始化阶段，初始化plimits目录挂载至proc目录下：

├─proc
│  ├─plimits
│  │  ├─plimits.plimiter_add
│  │  ├─plimits.plimiter_delete
│  │  ├─plimits.procs
│  │  ├─plimits.limiters
│  │  ├─pids.max
│  │  ├─sched.period
│  │  ├─sched.quota
│  │  ├─sched.stat
│  │  ├─memory.failcnt
│  │  ├─memory.limit
│  │  ├─memory.peak
│  │  ├─memory.usage
│  │  ├─memory.oom_ctrl
│  │  └─memory.stat

1. plimits分组：

   图1 plimits创建/删除

   

2. sched限制器：

   图2 sched限制器配置

   

3. memory限制器：

   图3 memory限制器配置

   

4. pids限制器：

   图4 Pids限制器配置

开发指导

接口说明

LiteOS-A的plimits根目录在/proc/plimits下，其下的所有文件只有只读权限，不允许写操作。限制器文件设定值默认为最大值，通过读文件，可查看组内进程资源状态。 通过mkdir创建plimitsA目录完成对进程资源分组，进而操作资源的分配限制。创建的plimitsA目录继承其父plimits目录。

1. plimitsA文件目录见下表：

   权限	大小	用户	用户组	文件名	文件描述
   -r--r--r--	0	u:0	g:0	sched.stat	每个线程上周期内使用的时间片信息，方便测试验证使用
   -rw-r--r--	0	u:0	g:0	sched.quota	组内所有进程在周期内使用时间片总和，单位：ns
   -rw-r--r--	0	u:0	g:0	sched.period	时间片统计周期，单位：ns
   -r--r--r--	0	u:0	g:0	memory.stat	统计内存使用的信息，单位：字节
   -r--r--r--	0	u:0	g:0	memory.usage	已使用内存份额，单位：字节
   -r--r--r--	0	u:0	g:0	memory.peak	内存历史使用峰值，单位：字节
   -rw-r--r--	0	u:0	g:0	memory.limit	内存使用限额，单位：字节
   -r--r--r--	0	u:0	g:0	memory.failcnt	记录超过限额内存分配失败的次数，单位：次
   -rw-r--r--	0	u:0	g:0	pids.max	组内允许挂载进程的最大数，单位：个
   -rw-r--r--	0	u:0	g:0	plimits.procs	组内挂载的所有进程
   -rw-r--r--	0	u:0	g:0	plimits.limiter_delete	根据写入的限制器名称，删除限制器
   -rw-r--r--	0	u:0	g:0	plimits.limiter_add	根据写入的限制器名称，添加限制器
   -r--r--r--	0	u:0	g:0	plimits.limiters	查看组内限制器

   在/proc/plimits/下创建的plimitsA目录下文件均可读部分可写，通过write对plimitsA子目录中写入内容，完成对进程资源分配与限制。

   • 对文件sched.quota写入时间，单位ns，可限制组内所有进程使用cpu的时间
   • 对文件sched.period写入时间，单位ns，可设置组内统计的时间周期
   • 对文件memory.limit写入内存，单位字节，可限制组内允许使用的内存制
   • 对文件pids.max写入十进制数字，可限制组内允许挂载的进程个数
   • 对文件plimits.procs写入Pid，可将进程挂到不同的plimits组
   • 通过read读不同的文件，可查看组内资源配置使用状况

2. 删除plimitsA组：

   首先对/proc/plimits/plimitsA/plimits.limiter_delete文件依次写入字段“sched”、“memory”、“pids”删除限制器，才能使用rmdir删除plimitsA。

   权限	大小	用户	用户组	文件名
   -rw-r--r--	0	u:0	g:0	plimits.procs
   -rw-r--r--	0	u:0	g:0	plimits.limiter_delete
   -rw-r--r--	0	u:0	g:0	plimits.limiter_add
   -r--r--r--	0	u:0	g:0	plimits.limiters

开发流程

plimits文件系统的主要开发流程包括创建新的plimitsA，将pid号写入/plimitsA/plimits.procs，对进程资源分组；按照字节大小写文件/plimitsA/memory.limit文件，限制plimitsA组内能使用的最大内存；对文件/plimitsA/pids.max写入十进制数字限制plimitsA组内所能挂载的进程数等；通过配置plimitsA组内限制器文件，对相应的资源进行分配和限制。亦可删除plimitsA，不限制资源的使用。

编程实例

编程示例主要是创建分组plimitsA，通过读写子目录内容，完成进程与进程资源的分组，对Plimits组内进程资源限制。

#include <stdio.h>
#include <unistd.h>
#include <stdlib.h>
#include <string.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>#define LOS_OK 0
#define LOS_NOK -1int main ()
{int ret;ssize_t len;int fd = -1;//get main pidint mainpid = getpid();char plimitsA[128] = "/proc/plimits/plimitsA";char plimitsAPids[128] = "/proc/plimits/plimitsA/pids.max";char plimitsAMemoryLimit[128] = "/proc/plimits/plimitsA/memory.limit";char plimitsAMemoryUsage[128] = "/proc/plimits/plimitsA/memory.usage";char plimitsAProcs[128] = "/proc/plimits/plimitsA/plimits.procs";char plimitsAAdd[128] = "/proc/plimits/plimitsA/plimits.limiter_add";char plimitsADelete[128] = "/proc/plimits/plimitsA/plimits.limiter_delete";char plimitsMem[128] = "/proc/plimits/memory.usage";char plimitsPid[128] = "/proc/plimits/plimits.procs";char *mem = NULL;char writeBuf[128];char readBuf[128];/* 查看根plimits组内进程 */memset(readBuf, 0, sizeof(readBuf));fd = open(plimitsPid, O_RDONLY);len = read(fd, readBuf, sizeof(readBuf));if (len != strlen(readBuf)) {printf("read file failed.\n");return LOS_NOK;}close(fd);printf("/proc/plimits组内进程：%s\n", readBuf);/* 查看根plimits组内内存使用 */memset(readBuf, 0, sizeof(readBuf));fd = open(plimitsMem, O_RDONLY);len = read(fd, readBuf, sizeof(readBuf));if (len != strlen(readBuf)) {printf("read file failed.\n");return LOS_NOK;}close(fd);printf("/proc/plimits组内已使用内存：%s\n", readBuf);/* 创建plimitsA “/proc/plimits/plimitsA” */ret = mkdir(plimitsA, 0777);if (ret != LOS_OK) {printf("mkdir failed.\n");return LOS_NOK;}/* 设置plimitsA组允许挂载进程个数 */memset(writeBuf, 0, sizeof(writeBuf));sprintf(writeBuf, "%d", 3);fd = open(plimitsAPids, O_WRONLY);len = write(fd, writeBuf, strlen(writeBuf));if (len != strlen(writeBuf)) {printf("write file failed.\n");return LOS_NOK;}close(fd);/* 挂载进程至plimitsA组 */memset(writeBuf, 0, sizeof(writeBuf));sprintf(writeBuf, "%d", mainpid);fd = open(plimitsAProcs, O_WRONLY);len = write(fd, writeBuf, strlen(writeBuf));if (len != strlen(writeBuf)) {printf("write file failed.\n");return LOS_NOK;}close(fd);/* 设置plimitsA组内分配内存限额 */memset(writeBuf, 0, sizeof(writeBuf));//limit memorysprintf(writeBuf, "%d", (1024*1024*3));fd = open(plimitsAMemoryLimit, O_WRONLY);len = write(fd, writeBuf, strlen(writeBuf));if (len != strlen(writeBuf)) {printf("write file failed.\n");return LOS_NOK;}close(fd);/* 查看plimitsA组内允许使用的最大内存 */memset(readBuf, 0, sizeof(readBuf));fd = open(plimitsAMemoryLimit, O_RDONLY);len = read(fd, readBuf, sizeof(readBuf));if (len != strlen(readBuf)) {printf("read file failed.\n");return LOS_NOK;}close(fd);printf("/proc/plimits/plimitsA组允许使用的最大内存：%s\n", readBuf);/* 查看plimitsA组内挂载的进程 */memset(readBuf, 0, sizeof(readBuf));fd = open(plimitsAProcs, O_RDONLY);len = read(fd, readBuf, sizeof(readBuf));if (len != strlen(readBuf)) {printf("read file failed.\n");return LOS_NOK;}close(fd);printf("/proc/plimits/plimitsA组内挂载的进程：%s\n", readBuf);/* 查看plimitsA组内存的使用情况 */mem = (char*)malloc(1024*1024);memset(mem, 0, 1024);memset(readBuf, 0, sizeof(readBuf));fd = open(plimitsAMemoryUsage, O_RDONLY);len = read(fd, readBuf, sizeof(readBuf));if (len != strlen(readBuf)) {printf("read file failed.\n");return LOS_NOK;}close(fd);printf("/proc/plimits/plimitsA组已使用内存：%s\n", readBuf);/* 删除plimitsA组内memory限制器 */memset(writeBuf, 0, sizeof(writeBuf));sprintf(writeBuf, "%s", "memory");fd = open(plimitsADelete, O_WRONLY);len = write(fd, writeBuf, strlen(writeBuf));if (len != strlen(writeBuf)) {printf("write file failed.\n");return LOS_NOK;}close(fd);/* 增加plimitsA组内memory限制器 */memset(writeBuf, 0, sizeof(writeBuf));sprintf(writeBuf, "%s", "memory");fd = open(plimitsAAdd, O_WRONLY);len = write(fd, writeBuf, strlen(writeBuf));if (len != strlen(writeBuf)) {printf("write file failed.\n");return LOS_NOK;}close(fd);/* 删除plimitsA组,首先删除memory、pids、sched限制器 */memset(writeBuf, 0, sizeof(writeBuf));sprintf(writeBuf, "%s", "memory");fd = open(plimitsADelete, O_WRONLY);len = write(fd, writeBuf, strlen(writeBuf));if (len != strlen(writeBuf)) {printf("write file failed.\n");return LOS_NOK;}memset(writeBuf, 0, sizeof(writeBuf));sprintf(writeBuf, "%s", "pids");fd = open(plimitsADelete, O_WRONLY);len = write(fd, writeBuf, strlen(writeBuf));memset(writeBuf, 0, sizeof(writeBuf));sprintf(writeBuf, "%s", "sched");fd = open(plimitsADelete, O_WRONLY);len = write(fd, writeBuf, strlen(writeBuf));close(fd);ret = rmdir(plimitsA);if (ret != LOS_OK) {printf("rmdir failed.\n");return LOS_NOK;}return 0;
}

结果验证

编译运行得到的结果为：

/proc/plimits组内进程：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15/proc/plimits组内已使用内存：28016640/proc/plimits/plimitsA组允许使用的最大内存：3145728/proc/plimits/plimitsA组内挂载的进程：
15/proc/plimits/plimitsA组已使用内存：4096