使用公共数据集进行被动侦察
有些项目收集了互联网范围的扫描数据,并将其提供给研究人员和安全社区。该项目发布的数据集是子域信息的宝库。虽然在这个庞大的数据集中找到子域就像在大海捞针中找到针,但值得付出努力。
以下是几个公共数据集,这些数据集聚合了在子域枚举期间可能感兴趣的信息:
来源 -https://github.com/fathom6/inetdata
名称 | 描述 | 价钱 |
---|---|---|
Sonar | FDNS,RDNS,UDP,TCP,TLS,HTTP,HTTPS扫描数据 | 免费 |
Censys.io | TCP,TLS,HTTP,HTTPS扫描数据 | 免费 |
CT | TLS | 免费 |
CZDS | “新”全球顶级域名的DNS区域文件 | 免费 |
ARIN | 美国知识产权注册信息(ASN,Org,Net,Poc) | 免费 |
CAIDA PFX2AS IPv4 | ASN到IPv4映射的每日快照 | 免费 |
CAIDA PFX2AS IPv6 | ASN到IPv6映射的每日快照 | 免费 |
US Gov | 美国政府域名 | 免费 |
UK Gov | 英国政府域名 | 免费 |
RIR Delagations | 区域知识产权分配 | 免费 |
PremiumDrops | com / net / info / org / biz / xxx / sk / us TLD的DNS区域文件 | $ 24.95 /月 |
WWWS.io | 许多顶级域名(约198米)的域名 | $ 9 /月 |
WhoisXMLAPI.com | 新域名whois数据 | $ 109 /月 |
使用Rapid7 Forward DNS数据集发现子域
转发DNS数据集作为Sonar项目的一部分发布。通过从多个源中提取域名,然后为每个域发送ANY查询来创建此数据。数据格式是gzip压缩的JSON文件。我们可以解析数据集以查找给定域的子域。数据集很大(压缩情况下20 + GB,未压缩情况下300 + GB)
# Command to parse & extract sub-domains for a given domain
$ curl -silent https://scans.io/data/rapid7/sonar.fdns_v2/20170417-fdns.json.gz | pigz -dc | grep “.icann.org” | jq