51 哈希表的实现

目录

一、哈希介绍

（一）直接定值法

（二）哈希冲突

（三）负载因子

（四）将关键字转为整数

（五）哈希函数

1、除法散列法 / 除留余数法

2、乘法散列法（了解）

3、全域散列法（了解）

4、其他方法（了解）

（六）处理哈希冲突

1、开放地址法

（1）线性探测

（2）二次探测

（3）双重散列（了解）

2、开放地址法的实现

（1）开放地址法的哈希表基础结构

（2）开放地址法的哈希表扩容操作

（3）key不能取模的问题

（4）完整代码的实现

3、链地址法

（1）解决冲突的思路

（2）扩容

（3）极端场景的解决方法

（4）完整的代码实现

---

一、哈希介绍

        

        哈希(hash)又称散列，是一种组织数据的方式。从译名来看，有散乱排列的意思。本质就是通过哈希函数把关键字Key跟存储位置建立一个映射关系，查找时通过这个哈希函数计算出Key存储的位置，进行快速查找。

（一）直接定值法

        当关键字的范围比较集中时，直接定址法就是非常简单高效的方法，比如一组关键字都在[0,99]之间，那么我们开一个100个数的数组，每个关键字的值直接就是存储位置的下标。再比如一组关键字值都在[a,z]的小写字母，那么我们开一个26个数的数组，每个关键字acsii码-'a'，ascii码就是存储位置的下标。也就是说直接定址法本质就是用关键字计算出一个绝对位置或者相对位置。这个方法我们在计数排序部分已经用过了，其次在string章节的下面OJ也用过了。

        387.字符串中的第一个唯一字符

class Solution {
public:int firstUniqChar(string s) {int count[26] = {0};for(auto ch : s){count[ch - 'a']++;}for(size_t i = 0; i < s.size(); i++){if(count[s[i] - 'a'] == 1)return i;}return -1;}
};

（二）哈希冲突

        直接定址法的缺点也非常明显，当关键字的范围比较分散时，就很浪费内存甚至内存不够用。假设我们只有数据范围是[0, 9999]的N个值，我们要映射到⼀个M个空间的数组中(⼀般情况下M >= N)，那么就要借助哈希函数(hash function)hf，关键字key被放到数组的h(key)位置，这里要注意的是h(key)计算出的值必须在[0, M)之间。

        这里存在的一个问题就是，两个不同的key可能会映射到同一个位置去，这种问题我们叫做哈希冲突，或者哈希碰撞。理想情况是找出一个好的哈希函数避免冲突，但是实际场景中，冲突是不可避免的，所以我们尽可能设计出优秀的哈希函数，减少冲突的次数，同时也要去设计出解决冲突的方案。

（三）负载因子

        假设哈希表中已经映射存储了N个值，哈希表的大小为M，那么负载因子 = N/M，负载因子有些地方也翻译为载荷因子/装载因子等，他的英文为load factor。负载因子越大，哈希冲突的概率越高，空间利用率越高；负载因子越小，哈希冲突的概率越低，空间利用率越低。

        负载因子其实就是哈希表中存储数据的比例。

（四）将关键字转为整数

        我们将关键字映射到数组中位置，一般是整数好做映射计算（下面介绍的除留余数法），如果不是整数，我们要想办法转换成整数，这个细节我们后面代码实现中再进行细节展示。下面哈希函数部分我们讨论时，如果关键字不是整数，那么我们讨论的Key是关键字转换成的整数。

（五）哈希函数

        哈希函数：按照某种规则把值映射到指定的空间。

        一个好的哈希函数应该让N个关键字被等概率的均匀的散列分布到哈希表的M个空间中，但是实际中却很难做到，但是我们要尽量往这个方向去考量设计。

1、除法散列法 / 除留余数法

        • 除法散列法也叫做除留余数法，顾名思义，假设哈希表的大小为M，那么通过key除以M的余数作为映射位置的下标h，也就是哈希函数为：h(key) = key % M。

        • 当使用除留余数法时，要尽量避免M为某些值，如2的幂，10的幂等。如果是2^x，那么   key % 2^x 的本质相当于保留key的后X位，那么后x位相同的值，计算出的哈希值都是一样的，就冲突了。

        如： {63 , 31}看起来没有关联的值，如果M是16，也就是2^4，那么计算出的哈希值都是15，因为63的二进制后8位是 00111111，31的⼆进制后8位是 00011111。如果是10^x，就更明显了，保留的都是10进值的后x位，如：{112, 12312}，如果M是100，也就是10^2，那么计算出的哈希值都是12。

        • 当使用除留余数法时，建议M取不太接近2的整数次幂的一个质数(素数)。【质数：只能被1和自己整除的数】

        • 需要说明的是，实践中也是八仙过海，各显神通，Java的HashMap采用除留余数法时就是2的整数次幂做哈希表的大小M，这样的话，就不用取模，而可以直接位运算，相对而言位运算比模更高效一些。但是他不是单纯的去取模，比如M是2^16次方，本质是取后16位，那么用            key’ = key>>16，然后把key和key' 异或的结果作为哈希值。也就是说我们映射出的值还是在[0,M)范围内，但是尽量让key所有的位都参与计算，这样映射出的哈希值更均匀一些即可。所以我们上面建议M取不太接近2的整数次幂的一个质数的理论是大多数数据结构书籍中写的理论，但是实践中，灵活运用，抓住本质，而不能死读书。（了解）

2、乘法散列法（了解）

        • 乘法散列法对哈希表大小M没有要求，他的大思路第一步：用关键字 key 乘上常数 A (0<A<1)，并抽取出 k*A 的小数部分。第二步：后再用M乘以k*A 的小数部分，再向下取整。

        • h(key) = floor(M × ((A × key)%1.0))，其中floor表示对表达式进行下取整，A∈(0,1)，这里最重要的是A的值应该如何设定，Knuth认为A = ( 根号5 − 1)/2 = 0.6180339887……（黄金分割点）比较好。

        • 乘法散列法对哈希表大小M是没有要求的，假设M为1024，key为1234，A = 0.6180339887, A*key = 762.6539420558，取小数部分为0.6539420558, M×((A×key)%1.0) = 0.6539420558*1024 = 669.6366651392，那么h(1234) = 669。

3、全域散列法（了解）

        • 如果存在一个恶意的对手，他针对我们提供的散列函数，特意构造出一个发生严重冲突的数据集，比如让所有关键字全部落入同一个位置中。这种情况是可以存在的，只要散列函数是公开且确定的，就可以实现此攻击。解决方法自然是见招拆招，给散列函数增加随机性，攻击者就无法找出确定可以导致最坏情况的数据。这种方法叫做全域散列。

        • hab (key) = ((a × key + b)%P )%M，这里通过添加a、b、P三个数对key进行处理来增加哈希函数的随机性。P需要选一个足够大的质数，a可以随机选[1,P-1]之间的任意整数，b可以随机选[0,P-1]之间的任意整数，这些函数构成了⼀个P*(P-1)组全域散列函数组。

        假设P=17，M=6，a = 3， b = 4, 则h34 (8) = ((3 × 8 + 4)%17)%6 = 5。

        • 需要注意的是每次初始化哈希表时，随机选取全域散列函数组中的一个散列函数使用，后续增删查改都固定使用这个散列函数，否则每次哈希都是随机选一个散列函数，那么插入是一个散列函数，查找又是另一个散列函数，就会导致找不到插入的key了。

4、其他方法（了解）

        • 上面的几种方法是《算法导论》书籍中讲解的方法。

        • 《殷⼈昆 数据结构：用面向对象方法与C++语言描述 （第⼆版）》和 《[数据结构(C语⾔版)].严蔚敏_吴伟民》等教材型书籍上面还给出了平方取中法、折叠法、随机数法、数学分析法等，这些方法相对更适用于一些局限的特定场景，有兴趣可以去看看这些书籍。

（六）处理哈希冲突

        实践中哈希表一般还是选择除法散列法作为哈希函数，当然哈希表无论选择什么哈希函数也避免不了冲突，那么插入数据时，如何解决冲突呢？主要有两种两种方法，开放定址法和链地址法。

1、开放地址法

        在开放定址法中所有的元素都放到哈希表里，开放地址法就是当一个关键字key用哈希函数计算出的位置冲突了，则按照某种规则找到一个没有存储数据的位置进行存储，开放定址法中负载因子一定是小于1的。这里的规则有三种：线性探测、二次探测、双重探测。

        开放地址法的本质是找空位置。

（1）线性探测

        • 从发生冲突的位置开始，依次线性向后探测，直到寻找到下一个没有存储数据的位置为止，如果走到哈希表尾，则回绕到哈希表头的位置。

        • h(key) = hash0 = key % M, hash0位置冲突了，则线性探测公式为：hc(key,i) = hashi = (hash0 + i) % M， i = {1, 2, 3, ..., M − 1}，因为负载因子小于1，则最多探测M-1次，一定能找到一个存储key的位置。

（2）二次探测

        • 从发生冲突的位置开始，依次左右按二次方跳跃式探测（某种程度上也是二次探测名字的由来），直到寻找到下一个没有存储数据的位置为止，如果往右走到哈希表尾，则回绕到哈希表头的位置；如果往左走到哈希表头，则回绕到哈希表尾的位置（+=M即可）。

        • h(key) = hash0 = key % M , hash0位置冲突了，则⼆次探测公式为：                                              hc(key,i) = hashi = (hash0 ± i 2 ) % M， i = {1, 2, 3, ..., M/2}

        • 二次探测当 hashi = (hash0 − i^2 )%M 时，当hashi<0时，需要hashi += M。

        • 下面演示 {19,30,52,63,11,22} 这一组值映射到M=11的表中。

        h(19) = 8, h(30) = 8, h(52) = 8, h(63) = 8, h(11) = 0, h(22) = 0

（3）双重散列（了解）

        • 第一个哈希函数计算出的值发生冲突，使用第二个哈希函数计算出一个跟key相关的偏移量值，不断往后探测，直到寻找到下一个没有存储数据的位置为止。

        • h1 (key) = hash0 = key % M , hash0位置冲突了，则双重探测公式为：                                            hc(key,i) = hashi = (hash0 + i ∗ h2 (key)) % M， i = {1, 2, 3, ..., M}

        • 要求 h2 (key) < M 且 h2 (key) 和 M 互为质数，有两种简单的取值方法：                                        1、当M为2整数幂时，h2 (key) 从 [0，M-1] 任选⼀个奇数；                                                            2、当M为质数时，h2 (key) = key % (M − 1) + 1 。

        •  保证h2 (key)与M互质是因为根据固定的偏移量所寻址的所有位置将形成一个群，若最大公约数 p = gcd(M, h1 (key)) > 1，那么所能寻址的位置的个数为M / P < M，使得对于一个关键字来说无法充分利用整个散列表。举例来说，若初始探查位置为1，偏移量为3，整个散列表大小为12，那么所能寻址的位置为{1, 4, 7, 10}，寻址个数为 12/gcd(12, 3) = 4 。

        • 下面演示 {19,30,52,74} 这一组值映射到 M=11 的表中，设 h2 (key) = key%10 + 1 。

2、开放地址法的实现

        开放定址法在实践中，不如下面讲的链地址法，因为开放定址法解决冲突不管使用哪种方法，占用的都是哈希表中的空间，始终存在互相影响的问题。所以开放定址法，我们简单选择线性探测实现即可。

（1）开放地址法的哈希表基础结构

enum State
{EXIST,EMPTY,DELETE
};template<class K, class V>
struct HashData
{pair<K, V> _kv;State _state = EMPTY;
};template <class K, class V>
class HashTable
{
private:vector<HashData<K, V>> _tables;size_t _n = 0; // 表中存储数据个数
};

        要注意的是这里需要给每个存储值的位置加一个状态标识，否则删除一些值以后，会影响后面冲突的值的查找。如下图，我们删除30，会导致查找20失败，当我们给每个位置加一个状态标识 {EXIST,EMPTY,DELETE} ，删除30就可以不用删除值，而是把状态改为 DELETE ，那么查找20 时是遇到 EMPTY 才能，就可以找到20。

（2）开放地址法的哈希表扩容操作

        这里我们哈希表负载因子控制在0.7，当负载因子到0.7以后我们就需要扩容了，我们还是按照2倍扩容，但是同时我们要保持哈希表大小是一个质数，第一个是质数，2倍后就不是质数了。那么如何解决了，一种方案就是上面除法散列中讲的Java HashMap的使用2的整数幂，但是计算时不能直接取模的改进方法。另外一种方案是SGI版本的哈希表使用的方法，给了一个近似2倍的质数表，每次去质数表获取扩容后的大小。表的代码如下：

inline unsigned long __stl_next_prime(unsigned long n)
{// Note: assumes long is at least 32 bits.static const int __stl_num_primes = 28;static const unsigned long __stl_prime_list[__stl_num_primes] ={53, 97, 193, 389, 769,1543, 3079, 6151, 12289, 24593,49157, 98317, 196613, 393241, 786433,1572869, 3145739, 6291469, 12582917, 25165843,50331653, 100663319, 201326611, 402653189, 805306457,1610612741, 3221225473, 4294967291};const unsigned long* first = __stl_prime_list;const unsigned long* last = __stl_prime_list + __stl_num_primes;const unsigned long* pos = lower_bound(first, last, n);return pos == last ? *(last - 1) : *pos;
}

（3）key不能取模的问题

        当key是string/Date等类型时，key不能取模，那么我们需要给HashTable增加一个仿函数，这个仿函数支持把key转换成一个可以取模的整形，如果key可以转换为整形并且不容易冲突，那么这个仿函数就用默认参数即可，如果这个Key不能转换为整形，我们就需要自己实现一个仿函数传给这个参数，实现这个仿函数的要求就是尽量key的每值都参与到计算中，让不同的key转换出的整形值不同。string做哈希表的key非常常见，所以我们可以考虑把string特化⼀下。

template <class K>
struct HashFunc
{size_t operator()(const K & key){return (size_t)key;}
};
// 特化
template <>
struct HashFunc<string>
{
// 字符串转换成整形，可以把字符ascii码相加即可
// 但是直接相加的话，类似"abcd"和"bcad"这样的字符串计算出是相同的
// 这里我们使用BKDR哈希的思路，用上次的计算结果去乘以一个质数，这个质数一般为31, 131等效果会⽐较好size_t operator()(const string & key){size_t hash = 0;for (auto e : key){hash *= 131;hash += e;}return hash;}
};template<class K, class V, class Hash = HashFunc<K>>
class HashTable
{
public:
private:vector<HashData<K, V>> _tables;size_t _n = 0; // 表中存储数据个数
};

（4）完整代码的实现

namespace zyb
{enum State{EXIST,EMPTY,DELETE};template<class K, class V>struct HashData{pair<K, V> _kv;State _state = EMPTY;};template<class K, class V, class Hash = HashFunc<K>>class HashTable{public://这里返回大于或等于n的一个质数数组中的一个数inline unsigned long __stl_next_prime(unsigned long n){// Note: assumes long is at least 32 bits.static const int __stl_num_primes = 28;static const unsigned long __stl_prime_list[__stl_num_primes] ={53, 97, 193, 389, 769,1543, 3079, 6151, 12289, 24593,49157, 98317, 196613, 393241, 786433,1572869, 3145739, 6291469, 12582917, 25165843,50331653, 100663319, 201326611, 402653189, 805306457,1610612741, 3221225473, 4294967291};const unsigned long* first = __stl_prime_list;const unsigned long* last = __stl_prime_list +__stl_num_primes;const unsigned long* pos = lower_bound(first, last, n);return pos == last ? *(last - 1) : *pos;}//构造HashTable(){_tables.resize(__stl_next_prime(1));}//插入操作bool Insert(const pair<K, V>& kv){if (Find(kv.first))//检查冗余return false;// 负载因子大于0.7就扩容// if((double)_n / (double)_tables.size() >= 0.7)if (_n * 10 / _tables.size() >= 7){// 这里利用类似深拷被现代写法的思想插入后交换解决HashTable<K, V, Hash> newHT;newHT._tables.resize(__stl_next_prime(_tables.size() + 1));for (size_t i = 0; i < _tables.size(); i++){if (_tables[i]._state == EXIST){newHT.Insert(_tables[i]._kv);}}_tables.swap(newHT._tables);}//插入操作Hash hash;//转成整数的仿函数对象size_t hash0 = hash(kv.first) % _tables.size();size_t hashi = hash0;size_t i = 1;while (_tables[hashi]._state == EXIST){// 线性探测hashi = (hash0 + i) % _tables.size();// 二次探测就变成 +- i^2++i;}_tables[hashi]._kv = kv;_tables[hashi]._state = EXIST;++_n;return true;}//查找HashData<K, V>* Find(const K& key){Hash hash;size_t hash0 = hash(key) % _tables.size();size_t hashi = hash0;size_t i = 1;while (_tables[hashi]._state != EMPTY){if (_tables[hashi]._state == EXIST&& _tables[hashi]._kv.first == key){return &_tables[hashi];}// 线性探测hashi = (hash0 + i) % _tables.size();++i;}return nullptr;}//删除bool Erase(const K& key){HashData<K, V>* ret = Find(key);if (ret == nullptr){return false;}else{ret->_state = DELETE;--_n;return true;}}private:vector<HashData<K, V>> _tables;size_t _n = 0; // 表中存储数据个数};
}

        这里关键字转整形直接调用库中的hash函数进行转换。

3、链地址法

（1）解决冲突的思路

        开放定址法中所有的元素都放到哈希表里，链地址法中所有的数据不再直接存储在哈希中（整体优于开放地址法），而是哈希表中存储⼀个指针，没有数据映射这个位置时，这个指针为空，有多个数据映射到这个位置时，把这些冲突的数据链接成一个链表，挂在哈希表这个位置下面，链地址法也叫做拉链法或者哈希桶。

        • 下面演示 {19,30,5,36,13,20,21,12,24,96} 这一组值映射到M=11的表中。

        h(19) = 8，h(30) = 8，h(5) = 5，h(36) = 3，h(13) = 2，h(20) = 9，h(21) = 10，h(12) = 1,h(24) = 2,h(96) = 88

（2）扩容

        开放定址法负载因子必须小于1，链地址法的负载因子就没有限制了，可以大于1。负载因子越⼤，哈希冲突的概率越高，空间利用率越高；负载因子越小，哈希冲突的概率越低，空间利用率越低；stl中unordered_xxx的最大负载因子基本控制在1，大于1就扩容，下面实现也使用这个方式。

（3）极端场景的解决方法

        如果极端场景下，某个桶特别长怎么办？可以考虑使用全域散列法解决，这样就不容易被针对了。但是假设不是被针对了，用了全域散列法，但是偶然情况下，某个桶很长，查找效率很低怎么办？这里在Java8的HashMap中当桶的长度超过一定阀值(8)时就把链表转换成红黑树。一般情况下，不断扩容，单个桶很长的场景还是比较少的，下面实现就不搞这么复杂了，这个解决极端场景的思路可以了解一下。

（4）完整的代码实现

namespace zyb_hash_bucket
{template<class K, class V>struct HashNode{pair<K, V> _kv;HashNode<K, V>* _next;//因为是链表所以要储存下一个节点的地址HashNode(const pair<K, V>& kv):_kv(kv), _next(nullptr){}};template<class K, class V, class Hash = HashFunc<K>>class HashTable{typedef HashNode<K, V> Node;inline unsigned long __stl_next_prime(unsigned long n)//返回一个质数用于扩容{static const int __stl_num_primes = 28;static const unsigned long __stl_prime_list[__stl_num_primes] ={53, 97, 193, 389, 769,1543, 3079, 6151, 12289, 24593,49157, 98317, 196613, 393241, 786433,1572869, 3145739, 6291469, 12582917, 25165843,50331653, 100663319, 201326611, 402653189, 805306457,1610612741, 3221225473, 4294967291};const unsigned long* first = __stl_prime_list;const unsigned long* last = __stl_prime_list +__stl_num_primes;const unsigned long* pos = lower_bound(first, last, n);return pos == last ? *(last - 1) : *pos;}public://构造HashTable(){_tables.resize(__stl_next_prime(1), nullptr);//第一个参数是vector大小，第二个参数是储存内容为空地址}// 拷被构造和赋值拷贝需要实现深拷贝//析构~HashTable(){// 依次把每个桶释放for (size_t i = 0; i < _tables.size(); i++){Node* cur = _tables[i];while (cur){Node* next = cur->_next;delete cur;cur = next;}_tables[i] = nullptr;}}//插入bool Insert(const pair<K, V>& kv){Hash hs;size_t hashi = hs(kv.first) % _tables.size();// 负载因子 == 1 则扩容// 扩容操作：if (_n == _tables.size()){/*HashTable<K, V> newHT;newHT._tables.resize(__stl_next_prime(_tables.size()+1);for (size_t i = 0; i < _tables.size(); i++){Node* cur = _tables[i];while(cur){newHT.Insert(cur->_kv);cur = cur->_next;}}_tables.swap(newHT._tables);*/// 如果使用上面的方法，扩容时创建新的结点又销毁旧节点，后面还要使用旧结点，就浪费了// 下面的方法为直接移动旧表的结点到新表，效率更好vector<Node*> newtables(__stl_next_prime(_tables.size() + 1), nullptr);for (size_t i = 0; i < _tables.size(); i++){Node* cur = _tables[i];while (cur){Node* next = cur->_next;// 旧表中节点，挪动新表重新映射的位置size_t hashi = hs(cur->_kv.first) % newtables.size();// 头插到新表cur->_next = newtables[hashi];newtables[hashi] = cur;cur = next;}_tables[i] = nullptr;}_tables.swap(newtables);}// 插入操作：头插Node* newnode = new Node(kv);newnode->_next = _tables[hashi];_tables[hashi] = newnode;++_n;return true;}//查找操作Node* Find(const K& key){Hash hs;size_t hashi = hs(key) % _tables.size();Node* cur = _tables[hashi];while (cur){if (cur->_kv.first == key){return cur;}cur = cur->_next;}return nullptr;}bool Erase(const K& key){Hash hs;size_t hashi = hs(key) % _tables.size();Node* prev = nullptr;Node* cur = _tables[hashi];while (cur){if (cur->_kv.first == key){if (prev == nullptr){_tables[hashi] = cur->_next;}else{prev->_next = cur->_next;}delete cur;--_n;return true;}prev = cur;cur = cur->_next;}return false;}private:vector<Node*> _tables; // 指针数组size_t _n = 0; // 表中存储数据个数};
}

        注意：

        ① 计算映射位置的时候要模数组的size，因为capacity有些空间是不可用的。

        ② 插入时优先使用头插法，因为尾插还要找尾。

        ③ 在哈希桶的扩容中，不用重新遍历旧表把所有节点都重新拷贝一次到新表，直接拿旧表的节点到新表用即可，为什么可以这样？因为节点的空间是分开的一块块的；而开放地址法则不行，因为这种方法是吧映射值直接放在数组中的，是一块连续的空间，不能直接拿来用，会破坏哈希的映射关系。

        ④ 因为扩容是会重新计算映射位置，就会使原来冲突的值极有可能不冲突了。

        ⑤ 删除的时候要找到前一个节点比较困难，因为每一个桶是一个单向链表，需要设法找到前一个节点：向下走之前赋值给prev指针即可。

        ⑥ 单纯实现哈希表的话在vector表中使用list结构挺好，因为在扩容时会自动析构桶中的节点，而vector表中使用链表的话就要自己写析构函数，但在后续封装的话也有他的便利。（析构函数已在上面实现）

---

        以上内容仅供分享，若有错误，请多指正。