patchwork++地面分割学习笔记

参考资料：古月居 - ROS机器人知识分享社区

https://zhuanlan.zhihu.com/p/644297447

patchwork++算法一共包含四部分内容：提出了以下四个部分：RNR、RVPF、A-GLE 和 TGR。

1）基于 3D LiDAR 反射模型的反射噪声消除 (RNR)，以有效消除虚拟噪声点。

2）引入了区域垂直平面拟合 (RVPF) 来正确分割地面，即使地面被不同层抬高。

3）利用适应地面似然估计 (A-GLE) 根据先前的地面分割结果自适应地计算适当的参数。

4）时间地面恢复 (TGR) 通过使用临时地面属性来缓解部分欠分割问题。

0.CMZ同心圆模型构造

以极坐标形式，将每个点按照半径和极坐标角度，按照[环区域][环带号][扇区号]进行分类，即先定位环区域，再定位在当前区域的哪个环带，再定位在当前环带的哪个扇区。通过将整个区域划分为同心圆模型，对每一个扇区bin区域（【区域】【环带】【扇区】）进行遍历和地面非地面分析，来拟合整个路面。

代码：

//将点云根据半径角度放入同心圆模型（构造同心圆模型存储对应索引点云）
template<typename PointT> inline
void PatchWorkpp<PointT>::pc2czm(const pcl::PointCloud<PointT> &src, std::vector<Zone> &czm, pcl::PointCloud<PointT> &cloud_nonground) {for (int i=0; i<src.size(); i++) {//如果被标记为噪声则跳过if ((!noise_idxs_.empty()) &&(i == noise_idxs_.front())) {//过滤掉噪点区域不转换好CZMnoise_idxs_.pop();continue;}PointT pt = src.points[i];//当前点double r = xy2radius(pt.x, pt.y);//当前点半径// 只识别XY一定范围内的地面，类似于栅格化 min_range_ 0.2米  max_range_ 40米if ((r <= max_range_) && (r > min_range_)) {double theta = xy2theta(pt.x, pt.y);//计算点在极坐标下的角度，确定对应的区域（X/Y角度）//根据半径确定所述的同心圆区域int zone_idx = 0;if ( r < min_ranges_[1] ) zone_idx = 0;else if ( r < min_ranges_[2] ) zone_idx = 1;else if ( r < min_ranges_[3] ) zone_idx = 2;else zone_idx = 3;//ring_idx 环数确定（半径）//每个区域环的编号=（半径-当前区域(环)的起始边界）/每个环带的宽度；num_rings_each_zone_保证使其不超过环的总数[2,4,4,4]int ring_idx = min(static_cast<int>(((r - min_ranges_[zone_idx]) / ring_sizes_[zone_idx])), num_rings_each_zone_[zone_idx] - 1);//sector_idx扇形区域确定（角度）//计算所在环区域的，扇形区域的编号int sector_idx = min(static_cast<int>((theta / sector_sizes_[zone_idx])), num_sectors_each_zone_[zone_idx] - 1);//将点放入同心圆模型（环区域号，环带号，扇形区域号）czm[zone_idx][ring_idx][sector_idx].points.emplace_back(pt);}else {// 当点云距离大于阈值时，直接默认为是非地面点cloud_nonground.push_back(pt);}}if (verbose_) cout << "[ CZM ] Divides pointcloud into the concentric zone model" << endl;
}

1.噪声点去除

由于雷达的穿透效应，会在地面之下产生一个高度很低的噪声点，R-GPF算法会选取最低点作为初始点，选到这些噪声点时就会出现欠分割了(真实地面没找到，也就是FN错误拒绝)

由于入射角较小(与竖直面夹角)会导致雷达光线被穿透，而被穿透后的点的坐标较小，其反射率也会相应较小，以入射角角度，高度，反射率来判断该点是否为噪声点，如果为噪声点则认为其为非地面点，防止后续在RVPF进行竖直面分割和平面拟合时选到该点。

代码：

//移除反射噪声点，并将点合并到cloud_nonground非地面点云
template<typename PointT> inline
void PatchWorkpp<PointT>::reflected_noise_removal(pcl::PointCloud<PointT> &cloud_in, pcl::PointCloud<PointT> &cloud_nonground)
{for (int i=0; i<cloud_in.size(); i++){double r = sqrt( cloud_in[i].x*cloud_in[i].x + cloud_in[i].y*cloud_in[i].y );//水平距离double z = cloud_in[i].z;//高度（机身系）double ver_angle_in_deg = atan2(z, r)*180/M_PI;//计算夹角角度//如果入射角度小于阈值，高度小于阈值，反射率小于阈值（作为噪声和非地面点）if ( ver_angle_in_deg < RNR_ver_angle_thr_ && z < -sensor_height_-0.8 && cloud_in[i].intensity < RNR_intensity_thr_){cloud_nonground.push_back(cloud_in[i]);noise_pc_.push_back(cloud_in[i]);noise_idxs_.push(i);}}if (verbose_)ROS_INFO("[ RNR ] Num of noises :%d", noise_pc_.points.size());
}

2.区域垂直平面拟合

对于某一个BIN（扇区），如果未能剔除垂直区域，以Z坐标较小的种子点进行平面拟合时，会出现平面异常清空。如楼梯面。使用R-VPF来剔除垂直方向上的点云，并通过剔除后的点云拟合平面，以点到该平面的距离来分类地面和非地面点。

2.1种子点选取

对按高度升序后的点云进行处理，选取高度低于某一阈值的点云作为种子点云，这些点云用于后续的平面拟合。

代码：

//从输入原始点云p_sorted中提取初始地面种子点（小于某高度平均值），并存储到init_seeds
template<typename PointT> inline
void PatchWorkpp<PointT>::extract_initial_seeds(const int zone_idx, const pcl::PointCloud<PointT> &p_sorted,pcl::PointCloud<PointT> &init_seeds, double th_seed) {init_seeds.points.clear();// LPR是低点代表的平均值double sum = 0;int cnt = 0;int init_idx = 0;//如果在0区域有点，会对起始索引init_idx进行处理，否则以最低点init_idx取if (zone_idx == 0) {//0环区域（最内圈）for (int i = 0; i < p_sorted.points.size(); i++) {//遍历输入点云（经过高度由小到大排序后）if (p_sorted.points[i].z < adaptive_seed_selection_margin_ * sensor_height_) {//高度小于阈值-1.2*1.5++init_idx;//计算起始点索引（最低点）} else {break;}}}// Calculate the mean height value.//以init_idx为起始索引，选取num_lpr_个，高度高于adaptive_seed_selection_margin_ * sensor_height_的点计算平均高度for (int i = init_idx; i < p_sorted.points.size() && cnt < num_lpr_; i++) {sum += p_sorted.points[i].z;cnt++;}double lpr_height = cnt != 0 ? sum / cnt : 0;// 计算平均高度lpr_height// 迭代点云，将高度小于lpr_height + th_seed点作为种子点for (int i = 0; i < p_sorted.points.size(); i++) {if (p_sorted.points[i].z < lpr_height + th_seed) {init_seeds.points.push_back(p_sorted.points[i]);}}
}

2.2以种子点的协方差和均值，拟合平面

对输入的种子点云，计算协方差和平均值，对协方差进行奇异值分解，得到对应的特征值。特征值越小，其对应方向向量的方差越小，离散度越小。以最小奇异值方向作为平面法线方向（平面法线方向离散度最小）。以均值坐标（质心）作为平面点。拟合平面

代码：

//以输入点云的协方差和均值，拟合平面
template<typename PointT> inline
void PatchWorkpp<PointT>::estimate_plane(const pcl::PointCloud<PointT> &ground) {pcl::computeMeanAndCovarianceMatrix(ground, cov_, pc_mean_);//计算协方差矩阵cov_和点云均值pc_mean_（所有坐标）// 对协方差矩阵奇异值分解cov=USU^TEigen::JacobiSVD<Eigen::MatrixXf> svd(cov_, Eigen::DecompositionOptions::ComputeFullU);//点云协方差的奇异值，表示点云在不同方向的离散程度singular_values_ = svd.singularValues();// 使用最小奇异向量作为法线（最小奇异值方向的特征向量）//最小特征值表明该方向离散程度最小，该方向近似平面normal_ = (svd.matrixU().col(2));//法向量方向修正（始终向上）if (normal_(2) < 0) { for(int i=0; i<3; i++) normal_(i) *= -1; }//以点云均值为平面上的点，// mean ground seeds valueEigen::Vector3f seeds_mean = pc_mean_.head<3>();// according to normal.T*[x,y,z] = -d//ax+by+cz=-d;[a,b,c]为法向量，[x,y,z]为平面上的点d_ = -(normal_.transpose() * seeds_mean)(0, 0);
}

2.3垂直平面剔除

如果拟合的平面过于垂直（单位法线Z方向的分量小于阈值，即法向量过于平坦，平面过于垂直）。则认为该拟合平面不符合要求，在拟合时可能存在其他竖直平面的干扰，需要将竖直平面去除。认为与当前拟合平面距离小于某一阈值的点，认为其为竖直平面点，需要去除。

代码：

if (enable_RVPF_)//如果使能enable_RVPF_{for (int i = 0; i < num_iter_; i++){/*******1.1在高度小于一定区域选取种子点******* *///从输入点云p_sorted中提取初始地面种子点（小于某高度平均值），并存储到init_seeds//zone_idx：区号，src_wo_verticals：输入排序后的点云，ground_pc_：种子点，th_seeds_v_：平均值以上的筛选高度extract_initial_seeds(zone_idx, src_wo_verticals, ground_pc_, th_seeds_v_);/********1.2.以输入的种子点云的协方差和均值拟合平面***/estimate_plane(ground_pc_);/********1.3.如果拟合的平面过于垂直，剔除点云中垂直平面点，如墙面等** *///区域0，法向量Z分离小于阈值（过于垂直），uprightness_thr_=0.707，则法向量小于45度，平面垂直大于45度if (zone_idx == 0 && normal_(2) < uprightness_thr_){pcl::PointCloud<PointT> src_tmp;src_tmp = src_wo_verticals;src_wo_verticals.clear();Eigen::MatrixXf points(src_tmp.points.size(), 3);int j = 0;//转换为矩阵模式，每一行代表一个点for (auto &p:src_tmp.points) {points.row(j++) << p.x, p.y, p.z;}// 计算点到平面距离p*n+d=dis==>p*n=dis-d=resultEigen::VectorXf result = points * normal_;//遍历点云进行分类，如果点与平面距离小于阈值，则认为其为垂直平面点，否则为其他点//d_是estimate_plane拟合平面的平面偏移量参数for (int r = 0; r < result.rows(); r++) {//result+d_=dis=p*n+d<th_dist_v_,点到平面距离在阈值[-th_dist_v_,th_dist_v_]if (result[r] < th_dist_v_ - d_ && result[r] > -th_dist_v_ - d_) {non_ground_dst.points.push_back(src_tmp[r]);vertical_pc_.points.push_back(src_tmp[r]);} else {src_wo_verticals.points.push_back(src_tmp[r]);}}}else break;}}

2.4对经过R-VPF竖直面剔除后的点云，进行平面拟合

对剔除垂直点后的点云，寻找z值小于阈值的种子点，以种子点方差最小方向为法向量方向，以平均点坐标为平面坐标，构建拟合平面。

2.5以点云与拟合平面的距离来区分地面和非地面点

代码：

    for (int i = 0; i < num_iter_; i++) {ground_pc_.clear();// ground plane model//计算点到平面的距离，平面方程：ax+by+cz=-d//点到平面距离为dis=|ax1+by1+cz1+d|/sqrt(a*a+b*b+c*c)=points * normal_+d_//result=dis-d_Eigen::VectorXf result = points * normal_;// threshold filter//按照点到平面距离，进行点云分类，与拟合平面小于th_dist_距离的认为是地面点for (int r = 0; r < result.rows(); r++) {if (i < num_iter_ - 1) {if (result[r] < th_dist_ - d_ ) {ground_pc_.points.push_back(src_wo_verticals[r]);}} else { // Final stageif (result[r] < th_dist_ - d_ ) {dst.points.push_back(src_wo_verticals[r]);} else {non_ground_dst.points.push_back(src_wo_verticals[r]);}}}if (i < num_iter_ -1) estimate_plane(ground_pc_);//使用当前地面点，重新拟合平面else estimate_plane(dst);//使用dst最后一次的地面点，拟合平面}

3.A-GLE自适应地面估计

以法向量夹角，高程差，平坦度等指标，对RVPF平面拟合后的地面点进行进一步的地面估计，RVPF的估计的非地面点，则直接作为非地面点处理。对上述每个BIN中的点重新评估后，合并成为地面点和非地面点。

1）以2中拟合的平面法向量，来判断拟合平面与水平面（雷达系）的夹角，来判断是否为地面

2）以高程差，判断其是否为地面

3）以平坦度判断是否为地面

4）以质心向量与平面法向量（朝上）是否同方向判断是否为地面，若同方向，则雷达应该在拟合平面下面，则该平面不会为地面。

代码：

//.计算每个扇区Bin的地面特征
const double ground_uprightness = normal_(2);//垂直度：地面法向量与垂直方向夹角（地面法向量的z分量，法向量与z轴夹角余弦，地面倾角越小，越接近1）
const double ground_elevation   = pc_mean_(2, 0);//高程差：地面高度（当前区域种子点云平均高度Z）
const double ground_flatness    = singular_values_.minCoeff();//平坦度（λ3）,最小的特征值（平面法向量）//线性特性（点云沿某一方向的延申）
//最大奇异值与次大奇异值的比值，比值越大，说明越接近一条直线
const double line_variable      = singular_values_(1) != 0 ? singular_values_(0)/singular_values_(1) : std::numeric_limits<double>::max();// pc_mean_(i,0)，点云平均值在第i个轴的值，normal_(i)法向量在第i个轴的分量（i=0是x轴）double heading = 0.0;//法向量与传感器方向（<0法向量与传感器方向一致->地面，>0法向量与传感器方向不一致->非地面）
//点云质心向量与平面法向量的点积运算(x,y,z)*(a,b,c)，表示是否同向，其中normal_(2)>0,朝上
for(int i=0; i<3; i++) heading += pc_mean_(i,0)*normal_(i);//法线与雷达射线方向是否同向（点坐标为原点到当前点的射线）
/***************4.使用A-GLE进行自适应地面估计******* *///地面法向量与垂直方向夹角大于阈值，表明拟合平面与水平面夹角较小，符合平面特性bool is_upright         = ground_uprightness > uprightness_thr_;//法线方向是否符合地面特性//种子平均高度小于区域的海拔高度（concentric_idx：区域序号）bool is_not_elevated    = ground_elevation < elevation_thr_[concentric_idx];//高度是否符合地面特性
//平面平坦度小于阈值bool is_flat            = ground_flatness < flatness_thr_[concentric_idx];//平坦度是否符合地面特性//当前区域序号是否没有超限bool is_near_zone       = concentric_idx < num_rings_of_interest_;//如果平面的法向量与种子质心向量的朝向同向，则false，为非地面点
bool is_heading_outside = heading < 0.0;//地面法线方向是否朝向传感器
//4.1该BIN地面点、非地面点、候选点判断 
//如果拟合平面与水平面夹角较小&&种子平均高度小于区域的海拔高度&&当前区域序号是否没有超限
//将当前bin种子的Z高度，存入update_elevation_[序号]数组中
//将当前bin种子的平坦度，存入update_flatness_[序号]数组中
//将当前bin种子的平坦度，存入ringwise_flatness数组中
if (is_upright && is_not_elevated && is_near_zone){update_elevation_[concentric_idx].push_back(ground_elevation);update_flatness_[concentric_idx].push_back(ground_flatness);ringwise_flatness.push_back(ground_flatness);}// 如果拟合平面与水平面夹角较大，说明该bin非水平，非地面点
if (!is_upright)
{cloud_nonground += regionwise_ground_;}
//如果zone区域超限，该bin非地面点
else if (!is_near_zone){cloud_ground += regionwise_ground_;}//如果平面法向量与传感器同向，非地面点（即雷达在平面下面，非地面点）
else if (!is_heading_outside)
{cloud_nonground += regionwise_ground_;
}
//如果种子平均高度小于区域的海拔高度，或者拟合平面平坦度小于阈值，则该BIN为地面点
else if (is_not_elevated || is_flat){cloud_ground += regionwise_ground_;}
else//不确定的候选点
{//构造候选点，共后续的TGE时间回退机制修正//候选点属性：区域编号，环编号，平坦度，线性特征，质心坐标，拟合的平面点RevertCandidate<PointT> candidate(concentric_idx, sector_idx, ground_flatness, line_variable, pc_mean_, regionwise_ground_);candidates.push_back(candidate);}
// Every regionwise_nonground is considered nonground.//每个bin中，进行垂直平面拟合时，认为垂直的点regionwise_nonground_都是非地面点
cloud_nonground += regionwise_nonground_;

4.TGR时间回退处理

对不满足3中分类的不确定候选点云进行修正

4.1将不满足A-GLE条件划分的点作为候选点，加入数组中

4.2通过平坦度和线性特性，来判断候选点中的平面拟合点是否为地面

代码：

/***********5.时间回退处理TGR**********/
double t_bef_revert = ros::Time::now().toSec();//每个环带的遍历
if (!candidates.empty())//候选点不为空
{if (enable_TGR_)//使能TGR时间回退功能{//输入当前环带ring的地面点，非地面点，平坦度，候选点，当前区域编号temporal_ground_revert(cloud_ground, cloud_nonground, ringwise_flatness, candidates, concentric_idx);}else{for (size_t i=0; i<candidates.size(); i++){cloud_nonground += candidates[i].regionwise_ground;}}candidates.clear();//将当前环带的候选点数组清空ringwise_flatness.clear();//将当前环带的平坦度数组清空
}double t_aft_revert = ros::Time::now().toSec();t_revert += t_aft_revert - t_bef_revert;concentric_idx++;//区域序号