12种公开资源情报（OSINT）信息收集技巧分享
公开资源情报计划（Open source intelligence ），简称OSINT，是美国中央情报局（CIA）的一种情报搜集手段，从各种公开的信息资源中寻找和获取有价值的情报。
有各种各样的数据可以被归类为OSINT数据，但从渗透测试者的角度来看所有这些数据都不重要。作为渗透测试人员，我们更感兴趣的是那些可以为我们实际所利用的数据信息。例如：
可增加攻击面的信息（域，网块等）；
凭据（电子邮件地址，用户名，密码，API密钥等）；
敏感信息（客户详细信息，财务报告等）；
基础架构详情（技术栈，使用的硬件设备等）；
12种OSINT信息收集技巧
1. SSL/TLS证书通常都会包含域名，子域名和电子邮件地址。这使得它成为了攻击者眼中的一座宝库。
证书透明度Certificate Transparency是谷歌力推的一项拟在确保证书系统安全的透明审查技术，只有支持CT技术签发的EV SSL证书，谷歌浏览器才会显示绿色单位名称，否则chrome浏览器不显示绿色单位名称。
新的签发流程规定：证书必须记录到可公开验证、不可篡改且只能附加内容的日志中，用户的网络浏览器才会将其视为有效。通过要求将证书记录到这些公开的 CT 日志中，任何感兴趣的相关方都可以查看由授权中心签发的所有证书。这意味着任何人都可以公开获取和查看这些日志。为此，我专门编写了一个用于从给定域CT日志中找到的SSL/TLS证书中提取子域的脚本。
另外，再推荐大家一款工具SSLScrape。这是一款将网络块（CIDR）作为输入，来查询各个IP地址获取SSL/TLS证书，并从返回的SSL证书中提取主机名的工具。
sudo python sslScrape.py TARGET_CIDR
2. WHOIS服务在渗透测试期间，通常用于查询注册用户的相关信息，例如域名或IP地址（块）。WHOIS枚举对于在互联网上拥有大量资源的组织尤为有效。
一些公共WHOIS服务器支持高级查询，我们可以利用这些查询来收集目标组织的各种信息。
下面我以icann.org为例，通过查询ARIN WHOIS server获取目标域所有包含email地址的条目，并从中提取email地址。
whois -h whois.arin.net "e @ icann.org" | grep -E -o "\b[a-zA-Z0-9.-]+@[a-zA-Z0–9.-]+\.[a-zA-Z0–9.-]+\b" | uniq
通过查询RADB WHOIS server获取属于自治系统号（ASN）的所有网络块。
whois -h whois.radb.net -- '-i origin AS111111' | grep -Eo "([0-9.]+){4}/[0-9]+" | uniq
通过查询ARIN WHOIS server获取给定关键字的所有POC，ASN，组织和终端用户。
whois -h whois.arin.net "z wikimedia"
3. 自治系统（AS）号可以帮我们识别属于组织的网络块，以及发现网络块中主机上运行的服务。
使用dig或host解析给定域的IP地址：
dig +short google.com
获取给定IP的ASN：
curl -s http://ip-api.com/json/IP_ADDRESS | jq -r .as
我们可以使用WHOIS服务或NSE脚本，来识别属于ASN号码的所有网络块：
nmap --script targets-asn --script-args targets-asn.asn=15169
4. 如今使用云存储的企业越来越多，尤其是对象/块存储服务，如Amazon S3，DigitalOcean Spaces和Azure Blob Storage。但在过去的几年里，由于S3 buckets错误配置导致的数据泄露事件频出。
根据我们的经验，我们看到人们将各种数据存储在安全性较差的第三方服务上，从纯文本中的凭据到他们私人的宠物照片。
这里有一些工具例如Slurp、AWSBucketDump和Spaces Finder，可用于搜索可公开访问的对象存储实例。Slurp和Bucket Stream等工具将证书透明度日志数据与基于置换的发现相结合，以识别可公开访问的S3 buckets。
5. Wayback Machine是一个国外的网站，它是互联网的一个备份工具，被称为互联网时光机，自从1996年以来Wayback Machine已经累计备份了超过4350亿个网页。
你只要在它的网站上输入一个网站地址，就能看到这个网站在过去的不同时期分别长什么样。通过Wayback CDX Server API我们可以轻松的搜索存档。waybackurls是一个用于搜索目标站点相关数据的工具。
公开资源情报计划（Open source intelligence ），简称OSINT，是美国中央情报局（CIA）的一种情报搜集手段，从各种公开的信息资源中寻找和获取有价值的情报。
有各种各样的数据可以被归类为OSINT数据，但从渗透测试者的角度来看所有这些数据都不重要。作为渗透测试人员，我们更感兴趣的是那些可以为我们实际所利用的数据信息。例如：
可增加攻击面的信息（域，网块等）；
凭据（电子邮件地址，用户名，密码，API密钥等）；
敏感信息（客户详细信息，财务报告等）；
基础架构详情（技术栈，使用的硬件设备等）；
12种OSINT信息收集技巧
1. SSL/TLS证书通常都会包含域名，子域名和电子邮件地址。这使得它成为了攻击者眼中的一座宝库。
证书透明度Certificate Transparency是谷歌力推的一项拟在确保证书系统安全的透明审查技术，只有支持CT技术签发的EV SSL证书，谷歌浏览器才会显示绿色单位名称，否则chrome浏览器不显示绿色单位名称。 本文来自无奈人生安全网
新的签发流程规定：证书必须记录到可公开验证、不可篡改且只能附加内容的日志中，用户的网络浏览器才会将其视为有效。通过要求将证书记录到这些公开的 CT 日志中，任何感兴趣的相关方都可以查看由授权中心签发的所有证书。这意味着任何人都可以公开获取和查看这些日志。为此，我专门编写了一个用于从给定域CT日志中找到的SSL/TLS证书中提取子域的脚本。
另外，再推荐大家一款工具SSLScrape。这是一款将网络块（CIDR）作为输入，来查询各个IP地址获取SSL/TLS证书，并从返回的SSL证书中提取主机名的工具。
sudo python sslScrape.py TARGET_CIDR
2. WHOIS服务在渗透测试期间，通常用于查询注册用户的相关信息，例如域名或IP地址（块）。WHOIS枚举对于在互联网上拥有大量资源的组织尤为有效。
一些公共WHOIS服务器支持高级查询，我们可以利用这些查询来收集目标组织的各种信息。
copyright 无奈人生
下面我以icann.org为例，通过查询ARIN WHOIS server获取目标域所有包含email地址的条目，并从中提取email地址。
whois -h whois.arin.net "e @ icann.org" | grep -E -o "\b[a-zA-Z0-9.-]+@[a-zA-Z0–9.-]+\.[a-zA-Z0–9.-]+\b" | uniq
通过查询RADB WHOIS server获取属于自治系统号（ASN）的所有网络块。
whois -h whois.radb.net -- '-i origin AS111111' | grep -Eo "([0-9.]+){4}/[0-9]+" | uniq
通过查询ARIN WHOIS server获取给定关键字的所有POC，ASN，组织和终端用户。
whois -h whois.arin.net "z wikimedia"
无奈人生安全网
3. 自治系统（AS）号可以帮我们识别属于组织的网络块，以及发现网络块中主机上运行的服务。
使用dig或host解析给定域的IP地址：
dig +short google.com
获取给定IP的ASN：
curl -s http://ip-api.com/json/IP_ADDRESS | jq -r .as
我们可以使用WHOIS服务或NSE脚本，来识别属于ASN号码的所有网络块：
nmap --script targets-asn --script-args targets-asn.asn=15169
4. 如今使用云存储的企业越来越多，尤其是对象/块存储服务，如Amazon S3，DigitalOcean Spaces和Azure Blob Storage。但在过去的几年里，由于S3 buckets错误配置导致的数据泄露事件频出。
根据我们的经验，我们看到人们将各种数据存储在安全性较差的第三方服务上，从纯文本中的凭据到他们私人的宠物照片。
这里有一些工具例如Slurp、AWSBucketDump和Spaces Finder，可用于搜索可公开访问的对象存储实例。Slurp和Bucket Stream等工具将证书透明度日志数据与基于置换的发现相结合，以识别可公开访问的S3 buckets。
本文来自无奈人生安全网
5. Wayback Machine是一个国外的网站，它是互联网的一个备份工具，被称为互联网时光机，自从1996年以来Wayback Machine已经累计备份了超过4350亿个网页。
你只要在它的网站上输入一个网站地址，就能看到这个网站在过去的不同时期分别长什么样。通过Wayback CDX Server API我们可以轻松的搜索存档。waybackurls是一个用于搜索目标站点相关数据的工具。
本文来自无奈人生安全网