利用搜索引擎批量抓取url

有的时候爆出0day,我们需要抓取大量的url进行测试,这个时候需要用到搜索引擎,常用的有:google,fofa,shodan 下面是整理的利用js对对不同搜索引擎进行批量抓取的代码: fofa: (如何使用:StartReq(搜索语法,开始页码,结束页码) ) StartReq(‘body=wooyun’,1,10) function StartReq(q,startpage,endpage){ for(var i=startpage;i<=endpage;i++){ Req(i+”q=”+encodeURIComponent(q)+”&qbase64=”+btoa(q)); } } function Connection(Sendtype,url,content,callback){ if (window.XMLHttpRequest){ var xmlhttp=new XMLHttpRequest(); } else{ var xmlhttp=new ActiveXObject(“Microsoft.XMLHTTP”); } xmlhttp.onreadystatechange=function(){ if(xmlhttp.readyState==4&&xmlhttp.status==200) { callback(xmlhttp.responseText); } } xmlhttp.open(Sendtype,url,true); xmlhttp.setRequestHeader(“Content-Type”,”application/x-www-form-urlencoded”); xmlhttp.send(content); } function Req(searchString){ var searchurl = “http://fofa.so/search/result?page=”+searchString; Connection(“GET”,searchurl,””,function(callback){ var result = $(callback); result.find(‘div.col-lg-4 a’).each(function(i,o){ var o = $(o); if(o.attr(‘target’)==”_blank”){ if(o.attr(‘href’).indexOf(‘/search/checkapp?all=true&host=’)){ […]