对于开源工具的使用，阅读相关文章是有效的学习方法。大多数人都乐于阅读这些文章，因为它们能够快速上手使用工具。然而，对于开源工具的原理，深入阅读官方论文虽然可以，但很少有人愿意花时间，因为效果较慢。通常情况下，掌握工具的使用就足以满足需求。久而久之，可能就磨灭了对技术细节的好奇心。虽然大家都会使用这些工具，但使用效果却各有不同。
我一直计划撰写一系列名为《技术原理》的专题文章。去年的内部日常分享中，老王讲到了“操作系统探测技术分享”，这恰好与我的想法不谋而合。在征得他的同意后，我决定撰写并分享这篇文章。
01
—
本文概要
无论是在渗透测试前的信息收集，还是进行安全资产管理，操作系统都是IP的一个重要属性。探测操作系统的方法多种多样，例如通过HIDS读取信息、使用常见命令探测、使用工具扫描等，其中最常见的工具就是Nmap。那么，Nmap的工作原理是什么？它是如何实现精准探测的？本文将通过分析Nmap扫描时发送的数据包和响应，理解其原理。
02
—
常见OS探测方法
1、使用工具探测
1.1 xprobe参考链接：https://www.php.cn/link/00d4e0aa728e91def3ee7293fcda8670
1.2 nmap参考链接：https://www.php.cn/link/b2b9efa258316b09890cf697c00be8a6
操作系统识别指令：nmap -O|A target
2、手工命令检测
通过返回信息，手动判断操作系统类型，例如：
2.1 telnet探测
2.2 ftp探测
2.3 http get探测
2.4 ssh探测
03
—
Nmap探测OS的优劣势
1、优势
使用简单，功能及文档全面，参数丰富，可以自定义底层文件及脚本；开源友好，广泛使用，通常不会对网络造成压力。
2、不足
受网络环境影响，在NAT环境或有防火墙的环境下，很多信息探测不准确。
04
—
Nmap探测OS的原理
1、探测原理
不同操作系统在TCP/IP协议栈的实现上略有差异，NMAP会选择3个端口发送一系列探测包到目标地址。根据返回信息进行单元测试，然后形成指纹，并与自带的操作系统指纹库进行对比，最后得出结论：
（1）当匹配到多个操作系统指纹时，以概率的形式列举出可能的操作系统；
（2）当无法匹配到操作系统时，会将操作系统指纹打印出来供用户自定义。
操作系统指纹库nmap-os-db，目前共有5654条操作系统指纹，格式如下：
其中，3个端口是指：
（1）一个开放的TCP端口：探测到的第一个开放端口；
（2）一个关闭的TCP端口：从1开始的关闭端口，通常看到的就是1；
（3）一个关闭的UDP端口：随机UDP高端端口。
该部分内容，在nmap-os-db文件详解中的操作系统解释的SCAN部分(OT，CT，CU)有讲到。
其中，一系列的探测包是指：
（1）Sequence generation(SEQ，OPS，WIN，T1)
（2）ICMP Echo(IE)
（3）TCP explicit congestion notification(ECN)
（4）UDP(U1)
（5）TCP(T2 - T7)
2、探测流程
nmap -O ip
-> 主机发现 -> 开放端口探测 -> 服务识别 -> 向其中1个开放的TCP端口发送探测包 -> 发送ICMP探测包 -> 向1个开放的TCP端口发送探测包 -> 向1个关闭的UDP端口发送UDP探测包 -> 向1个开放的TCP端口及关闭的TCP端口发送探测包
2.1 主机发现
常规主机发现流程，不详细讲解，需要注意的是同一广播域中的主机发现流程要多一步。
2.2 开放端口探测
向常用的1000个TCP端口（nmap-services中有定义）发送SYN请求，如果收到回应，则认为端口开放。
3.3 服务识别
并非应用识别，这里直接匹配nmap-services中的对应服务，与操作系统中的系统服务相对应：
（1）Linux系统中的/etc/services
（2）Windows系统中的C:\windows\system32\drivers\etc\services
3.4 向1个开放的TCP端口发送探测包
6个用于生成指纹库中的SEQ、OPS、WIN、T1行
以100毫秒的间隔，先后发送6个不包含任何数据，但包含不同TCP选项及滑动窗口的TCP SYN包
SEQ：响应包序列分析
（1）SP: ISN序列可预测性指标；
（2）GCD: TCP ISN最大公约数；
（3）ISR: ISN的计数率；
（4）TI CI II: IP ID顺序生成算法；
（5）SS: 共享IP ID序列布尔值；
（6）TS: 时间戳选项算法。
基于 Internet 的 Web 技术，完全采用B/S 体系结构的网络办公系统。该系统具有安全性高、功能极为强大、可在广域网中使用也可在局域网中使用、也可以同时在局域网和广域网中使用的特点，全傻瓜式安装，无需作复杂配置，界面采用类似windows资源管理器的设计，结构清晰，条理分明，即使不熟悉电脑的人也可很快掌握全部操作。该系统通过在广域网内的广泛试用验证和经专业技术人员的调试、测试，确认具有很
OPS：TCP包可选字段
WIN: 包含6个数据包响应的窗口大小
T1: TCP回复包的字段特征
（1）R: 是否有响应；
（2）DF: 不分片；
（3）T: IP初始生存时间；
（4）TG: 推测的IP生存时间；
（5）W: TCP初始窗口大小；
（6）S: TCP序列号；
（7）A: TCP确认号；
（8）F: TCP Flag；
（9）RD: TCP RST数据校验和。
3.5 发送ICMP探测包
2个用于生成指纹库中的IE行，描述发送ICMP生成的特征：
Packet #7: ICMP Request, IP DF=set, TOS=0, Code=9, ICMP Sn=295, IP ID=random, ICMP ID=random，Payload为120字节数据，填充0x00
Packet #8: ICMP Request, IP DF=not set, TOS=4, Code=0, ICMP Sn=296, IP ID=random，ICMP ID=+1，Payload为150字节数据，填充0x00
其中：
R: 表示是否有响应，两个ICMP包都有响应时才为Y；
DFI: ICMP不分片；
T: IP初始生存时间；
TG: 推测的IP生存时间；
CD: ICMP响应代码。
Sequence number（BE）和Sequence number（LE）区别：内容上只是顺序的不同，而对应的hex值是相同的。通过资料的查找，可以这样理解：
wireshark考虑到window系统与Linux系统发出的ping报文（主要指ping应用字段而非包含IP头的ping包）的字节顺序不一样（windows为LE：little-endian byte order，Linux为BE：big-endian），分别告诉信息，其本质内容是不变的，只是表达形式不同。
3.6 向1个开放的TCP端口发送探测包
1个用于生成指纹库中的ENC(拥塞通知特性)：
Packet # 9: TCP SYN: TCP Flag ECN, CWR=set, urgent=0xF7F5, ACK=0, SEQ=random, Window=3, TCP Option: WScale=10, NOP, MSS=1460, SACK, NOP, NOP
R: 表示是否有响应；
DF: 表示是否分片；
T: 表示IP初始生存时间；
TG: 推测的IP初始生成时间；
W: TCP初始窗口大小；
O: TCP选项；
CC: 明确拥塞通知；
Q: TCP混杂巧合。
3.7 向1个关闭的UDP端口发送探UDP测包
1个用于生成指纹库中的U1行，如下图所示：
Packet #10: UDP, IP ID=0x1042, data=0x43*300
IPL: IP总长度；
UN: 未使用的端口不可达域非零；
RIPL: 返回的IP包总长度值；
RID: 返回的IP ID；
RIPCK: IP包校验和完整性；
RUCK: UP校验和完整性；
RUD: 返回的UDP数据包完整性。
3.8 向1个开放的TCP端口及关闭的TCP端口发送探测包
3 + 3 = 6个用于生成指纹库中的T2-T7行
Packet #11: T2, TCP null (no flags set) packet with the IP DF bit set and a window field of 128 -> 开放端口
Packet #12: T3, TCP packet with the SYN, FIN, URG, and PSH flags set and a window field of 256. The IP DF bit is not set -> 开放端口
Packet #13: T4, TCP ACK packet with IP DF and a window field of 1024 -> 开放端口
Packet #14: T5, TCP SYN packet without IP DF and a window field of 31337 -> 关闭的端口
Packet #15: T6, TCP ACK packet with IP DF and a window field of 32768 -> 关闭的端口
Packet #16: T7, TCP packet with the FIN, PSH, and URG flags set and a window field of 65535. The IP DF bit is not set -> 关闭的端口
05
—
高级玩法：精确识别Windows操作系统
1、使用nse脚本探测Windows系统版本(底层原理同2)
nmap --script smb-os-discovery.nse -p 445 127.0.0.1
nmap -sU -sS --script smb-os-discovery.nse -p U:137,T:139 127.0.0.1
2、使用SMB Session Setup ANDX Requests强制操作系统返回版本信息
参考链接：
SMB_COM_SESSION_SETUP_ANDX (0x73)
https://www.php.cn/link/f87ce61286012c89c54a93e61a88e761
存在的不足，只支持smb v2.x及其以后的版本(Windows server 2003 R2以后的版本)。
参考资料：
NMAP第一代操作系统探测技术：https://www.php.cn/link/80154d0cf42299d38de5046efc2429a3
NMAP第二代操作系统探测技术：https://www.php.cn/link/b2b9efa258316b09890cf697c00be8a6
