
海控全球精品销售面试技巧,海控全球精品销售面试技巧与方法


Java面试又被问一致性hash算法,到底啥是一致性hash?
举个应用场景:分布式存储
现在互联网面对的都是海量的数据和海量的用户,我们为了提高数据的读取,写入能力,一般都***用分布式的方式来存储数据,比如分布式缓存。我们有海量的数据需要缓存,所以一台机器是肯定不够的,于是我们需要将数据分布在多台机器上。
该如何决定哪些数据放在那台机器上,可以借助数据分片的思想,***用hash算法对数据取hash值,然后对机器取模,这个最终值就是存储缓存的机器编号。
但是如果数据增多,原来的10台机器不够,需要扩容到13台机器,那么原来数据是通过与10来取模的,比如15这个数据,与10取模就是5,现在与13取模就是2。机器的编号完全变了,扩容并不是简单的增加机器,而是需要重新计算机器上的缓存存储位置。这无疑是一件很头疼的问题。
所以,我们需要一种方法,是的新加入机器后,并不需要做大量的数据搬迁,这时候就需要用到一致性hash算法了。
***设我们有k个机器,数据的hash范围是[0-Max],现在我们将范围划分为m个小区间(m要远大于k),每个机器负责m/k个区间,当有新机器加入时,我们只需要将某几个小区间的数据搬运到新的机器上即可,这样既不用全部搬移数据,也保持了各个机器的数据均衡。
一致性hash算法,常被应用到分布式集群缓存中。
其原理主要是把节点(做缓存的物理主机,如IP)和数据(要缓存的具体数据)都做一次哈希运算,然后把数据缓存到哈希运算后离得最近的节点上去。
此处借个图
其中,右边的深蓝色的表示节点,橘色的表示数据,然后按顺时针方向去寻找最近的节点就可以了……
第一,节点和数据在哈希运算(取模)过程中用到的除数是一致的。如节点的哈希运算为hash(服务器的IP地址)% 2^32,数据的哈希运算为hash (数据名称)% 2^32等。
第三,节点的分布可能并不是均衡的,所以会加入左边浅蓝色的虚拟节点。
优点
万一有节点挂掉或者新加节点,不会影响其它的节点和缓存数据,原因很简单,就在那个取模的除数上。
我来给大家讲讲一致性hash算法,如果有理解错误的地方,也请大家留言指正。
就拿Redis来举例吧,我们经常会用Redis做缓存,把一些数据放在上面,以减少数据的压力。
当数据量少,访问压力不大的时候,通常一台Redis就能搞定,为了高可用,弄个主从也就足够了;
当数据量变大,并发量也增加的时候,把全部的缓存数据放在一台机器上就有些吃力了,毕竟一台机器的***是有限的,通常我们会搭建集群环境,让数据尽量平均的放到每一台Redis中,比如我们的集群中有三台Redis。
那么如何把数据尽量平均地放到这三台Redis中呢?最简单的就是求余算法:hash(key)%N,在这里N=3。
看起来非常地美好,因为依靠这样的方法,我们可以让数据平均存储到三台Redis中,当有新的请求过来的时候,我们也可以定位数据会在哪台Redis中,这样可以精确地查询到缓存数据。
其实不光光是J***a面试,其它编程语言的面试过程中往往也会问及一致性Hash算法问题,不少开发者可能听说过“一致性Hash”这个术语,但却不了解什么是一致性Hash,一致性Hash是用来解决什么问题的。
不少人容易把“Hash算法”与“一致性Hash算法”混淆,甚至认为两者是同个意思。其实,“Hash算法”与“一致性Hash算法”是不同的概念,“一致性Hash算法”是一种特殊的“Hash算法”!
1、Hash算法
Hash算法有很多种说法,如:散列函数、哈希算法等,它是一种函数,用来把任意长度的内容通过Hash算法转换为固定长度的输出。
常见的Hash算法有:MD5、SHA1等。MD5都用过,任何长度的字符串经过MD5处理后会得到固长的Hash值。
2、一致性Hash算法
一致性Hash算法是在Hash算法基础上建立和改进的,它是一种分布式算法,能确保数据的分布平衡性,常用于负载均衡类的应用。
1、普通取模Hash
普通取模(余数)Hash算法很简单,就是:Hash值 % 节点数 。这种方式,一旦节点数变化了,原先的Hash结果与节点的映射全部失效!
[免责声明]本文来源于网络,不代表本站立场,如转载内容涉及版权等问题,请联系邮箱:83115484@qq.com,我们会予以删除相关文章,保证您的权利。转载请注明出处:http://www.wnrkw.com/post/50510.html发布于 今天