redis中的bitmap你了解吗

　　/**

　　* 布隆过滤器bloom Filter

　　* 1.百万分之一的概率哈希冲突,所以有存在的不一定存在，但是不存在的百分百不存在

　　* 2.不能删除,删除的时候不能简单的直接置为0,可能会影响其他元素的判断,其实问题不大一般生产数据也不会删除的,都是软删除

　　* 3.新增数据时候写入bloom Filter

　　* 4.2^32次方40亿数据内存占用才600M,超级省内存,查找速度非常快,160M内存可以在千万级数据做到1%的误判

　　* 5.bitmap根据offset去申请内存的,所以要省内存的情况要限制offset值

　　*/

　　public function bloomAction(){

　　$t1 = time();

　　for($i=0;$i<99;$i++){

　　$bl = new BloomFilter();

　　//$str = "1https://arnaud.le-blanc.net/php-rdkafka-doc/phpdoc/book.rdkafka.html?id=".time();

　　$str = "https://dasda.le-blanc.net/php-rdkafka-doc/phpdoc/book.rdkafka.html?id=".mt_rand(1,99999999);

　　p($str);

　　$res1 = $bl->JSHash($str);//两次哈希3s,md5哈希重复的概率是百万分之一

　　p($res1);

　　}

　　//p($res);

　　$t2 = time();

　　echo $t2-$t1;

　　}

　　/**

　　* 布隆过滤器初始化 bloom Filter 执行 php index.php "index/demo/loadDb2bloom"

　　*/

　　public function isExistBloomAction(){

　　$redis = redisCursor();

　　$email = input("email","","trim");

　　$tel = input("tel","");

　　$result = false;

　　$msg = "";

　　if(filter_var($email,FILTER_VALIDATE_EMAIL)){

　　$key1 = "bloom_user_email";

　　$offset = BloomFilter::JSHash($email);

　　$result = $redis->getbit($key1,$offset);

　　$msg = $email;

　　}elseif($tel){

　　$key2 = "bloom_user_telephone";

　　$offset = BloomFilter::JSHash($tel);

　　$result = $redis->getbit($key2,$offset);

　　$msg = $tel;

　　}

　　$result?apiSuccess($msg.",已存在"):apiError($msg.",不存在");

　　}

　　/**

　　* 布隆过滤器初始化 bloom Filter 执行 php index.php "index/demo/loadDb2bloom"

　　*/

　　public function loadDb2bloomAction(){

　　$time1 = time();

　　$redis = redisCursor();

　　$key1 = "bloom_user_email";

　　$key2 = "bloom_user_telephone";

　　//setbit() offset 必须是数字,value必须是1或0

　　//$redis->setbit($key,30,1);

　　$table = "user";

　　$pkid = "id";

　　$field1 = "email";

　　$field2 = "telephone";

　　$maxid = Db::name($table)->max($pkid);

　　$size = 5000;

　　$page = ceil($maxid/$size);

　　for($i=0;$i<$page;$i++){

　　$start = $i*$size;

　　$where = " $pkid between ".$start." and ".($start+$size);

　　$res = Db::name($table)->where($where)->field("$field1,$field2")->select();

　　if($res){//同步到bitmap

　　foreach($res as $k=>$v){

　　//布隆过滤器 1.存在的不一定存在, 2.不存在的100%不存在(原因,哈希冲突可能用100W分之一的可能重复)

　　//所以注册的时候判断不存在的,百分百可以注册，存在的可以查询一下数据库是否真的不存在

　　$value1 = BloomFilter::JSHash($v["$field1"]);

　　$value2 = BloomFilter::JSHash($v["$field2"]);

　　$redis->setbit($key1,$value1,1);//email去重

　　$redis->setbit($key2,$value2,1);//mobile去重

　　}

　　}

　　$time2 = time();

　　echo $where." 消耗时间 ".($time2-$time1).PHP_EOL;

　　}

　　$time3 = time();

　　echo " 总消耗时间 ".($time3-$time1).PHP_EOL;

　　}