網站狀態碼(HTTP2指紋識別)

這是關於網絡指紋識別的兩部分系列的第二部分HTTP/2 指紋識別和Tls指紋類似也是一種 Web 服務器可以依賴指紋來識別哪個客戶端。例如,它可以識別瀏覽器類型和版本,或者是否使用瞭腳本(你是真實瀏覽器啊還是ScriptBoy?)。該方法依賴於 HTTP/2 協議的內部結構,與其更簡單的前身 HTTP/1.1 相比,這些內部結構鮮為人知。在這篇文章中,我將首先簡要介紹 HTTP/2協議,然後詳細介紹我們可以協議的哪些參數來識別你究竟誰(what are you)!與HTTP/1.1相比使用HTTP/1.1協議,客戶端向服務器發送文本請求(通常使用 TLS 加密)默認情況下,Chrome 的請求如下所示:
GET / HTTP/1.1
Host: www.wikipedia.org

sec-ch-ua: " Not A;Brand";v="99", "Chromium";v="101", "Google Chrome";v="101"
sec-ch-ua-mobile: ?0
sec-ch-ua-platform: "Windows"
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.67 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,;q=0.8,application/signed-exchange;v=b3;q=0.9
Sec-Fetch-Site: none
Sec-Fetch-Mode: navigate
Sec-Fetch-User: ?1
Sec-Fetch-Dest: document
Accept-Encoding: gzip, deflate, br
Accept-Language: en-US,en;q=0.9
User-Agent包含客戶端的確切版本,雖然可用於識別客戶端。但是很容易被任何 http 庫或命令行工具偽造(地球人都知道)!HTTP/2 簡介HTTP/2 是 HTTP 協議的主要修訂版,從 2015 年左右開始出現。現在大約一半的網站使用 HTTP/2image基本上所有流行的網站都默認使用它!如何看服務端使用的是否是http2協議呢?在chrome上看是這樣的image在Firefox上看是這樣的HTTP/2 的主要目標是提高性能多路復用(Multiplexing ) – 多個請求和響應可以同時共享同一個 TCP 連接,從而減少瞭獲取具有大量資源(圖像、腳本等)的站點的時間。優先級(PRIORITY) – HTTP/2 支持對某些請求和響應進行優先級排序。服務器推送(Server push) – 在 HTTP/2 中,服務器可以在客戶端請求資源之前將資源發送給客戶端。然而,HTTP 協議的應用程序語義沒有改變:它仍然由熟悉的請求/響應模型組成,包括 URI、HTTP 方法、HTTP 標頭和狀態碼。Frames and StreamsHTTP/2 是一種二進制協議,與文本 HTTP/1.1 不同。HTTP/2 中的消息由幀組成,有十種不同用途的幀。幀始終是流的一部分。Stream都是有編號的,從0開始如上圖:編號為0的Stream包含如下SETTINGS是客戶端發送的第一幀,包含 HTTP/2 的特定配置,WINDOW_UPDATE- 增加接收器的窗口大小,下面會講到然後是編號開始遞增,代表瞭客戶端給服務端發送的實際請求,如上圖為1的Stream:HEADERS 包含 URI、HTTP 方法和客戶端的 HTTP 頭DATA 包含來請求的資源數據以及服務器的響應使用 HTTP/2 進行客戶端指紋識別研究http2協議的工具這裡推薦使用nghttpd,它可以很方便的創建一個http2協議的webserver。最關鍵的是,讓客戶端請求的時候它能夠直觀的把每一幀都給打印出來(下面會給大傢演示) 我將它安裝在wsl的ubuntu機器上,還得自建一個證書,這裡我遇到瞭一點坑, 避坑指南請看我寫的(wsl創建證書讓chrome瀏覽器識別):下面就是如何使用nghttpd跑h2協議server我這裡分別使用如下客戶端來測試Chrome瀏覽器Firefox瀏覽器CURLPython腳本1. SETTINGS上面介紹到這是客戶端發送的第一幀,裡面有一些特殊配置Chromeimagerecv SETTINGS frame <length=24, flags=0x00, stream_id=0>
[SETTINGS_HEADER_TABLE_SIZE(0x01):65536]
[SETTINGS_MAX_CONCURRENT_STREAMS(0x03):1000]
[SETTINGS_INITIAL_WINDOW_SIZE(0x04):6291456]
[SETTINGS_MAX_HEADER_LIST_SIZE(0x06):262144]

Firefoximagerecv SETTINGS frame <length=18, flags=0x00, stream_id=0>
[SETTINGS_HEADER_TABLE_SIZE(0x01):65536]
[SETTINGS_INITIAL_WINDOW_SIZE(0x04):131072]
[SETTINGS_MAX_FRAME_SIZE(0x05):16384]

CURLimagerecv SETTINGS frame <length=18, flags=0x00, stream_id=0>
[SETTINGS_MAX_CONCURRENT_STREAMS(0x03):100]
[SETTINGS_INITIAL_WINDOW_SIZE(0x04):1073741824]
[SETTINGS_ENABLE_PUSH(0x02):0]

PYTHONimageimagerecv SETTINGS frame <length=36, flags=0x00, stream_id=0>
[SETTINGS_HEADER_TABLE_SIZE(0x01):4096]
[SETTINGS_ENABLE_PUSH(0x02):0]
[SETTINGS_INITIAL_WINDOW_SIZE(0x04):65535]
[SETTINGS_MAX_FRAME_SIZE(0x05):16384]
[SETTINGS_MAX_CONCURRENT_STREAMS(0x03):100]
[SETTINGS_MAX_HEADER_LIST_SIZE(0x06):65536]

很明顯,根據測試,在SETTINGS Frame幀裡面配置, 不同的客戶端設置的種類和值都是不同的,這使得很容易區分是否是瀏覽器, 而且這個配置不容易控制,可以用於指紋識別!WINDOW_UPDATEHTTP/2 實現瞭一種流控制機制。流量控制為接收方提供瞭在每個流的基礎上調節流量的機制。使用WINDOW_UPDATE大小來實現的默認窗口大小由SETTINGS幀裡面的 SETTINGS_INITIAL_WINDOW_SIZE中的值控制, 參考上方測試,可以看到 Chrome 使用 6MB (6291456) 而 Firefox 使用 128KB (131072)當客戶端接收數據時,它可以使用WINDOW_UPDATE框架來調整窗口大小,從而增加其窗口大小。Chromerecv WINDOW_UPDATE frame <length=4, flags=0x00, stream_id=0>
(window_size_increment=15663105)

Chrome 實際上將連接級窗口大小增加到 15MB (15663105+65535=15MB)Firefoxrecv WINDOW_UPDATE frame <length=4, flags=0x00, stream_id=0>
(window_size_increment=12517377)

Firefox 會將其增加到 12MBCURLrecv WINDOW_UPDATE frame <length=4, flags=0x00, stream_id=0>
(window_size_increment=1073676289)

curl使用 32MB參考:https://github.com/curl/curl/blob/10cd69623a544c83bae6d90acdf141981ae53174/lib/http2.c#L62PYTHONrecv WINDOW_UPDATE frame <length=4, flags=0x00, stream_id=0>
(window_size_increment=16777216)

PYTHON 會將其增加到 16MB所以我們也可以使用該參數用於指紋識別!HEADERS這個有點意思瞭從廣義上講,HEADERS 包含瞭 HTTP/1.1 的所有功能,包含瞭 URI、方法(GET/POST/等)和客戶端的頭等!下面的幾個偽標頭的順序對於每個客戶端是不同的。:method:authority:scheme:path我們來測試一下Chromeimage順序是:m,a,s,pFirefoximage順序是:m,p,a,sCURLimage順序是:m,p,s,aPythonimage順序是:m,a,s,p這個看似很小的差異,也可以用於指紋識別HTTP/2 指紋識別在哪裡使用?它用於與TLS 指紋識別類似的目的:比如反 DDOS 和反腳本等自動爬蟲(提高門檻),隻允許真實瀏覽器等。如何讓你的server具有提取客戶端HTTP2指紋的能力ja3是tls指紋的標準,wiresharp也默認帶有image搞http2指紋的目前市面上還沒有標準, 我開源瞭一款提取tls&http2指紋的中間件(面向aspnetcore的)https://github.com/yuzd/ja3-csharpimage在線測試(保護瞭tls指紋和用於h2指紋的關鍵參數):https://kawayiyi.com/tls
{
"tlsVersion": "Tls12",
"tcpConnectionId": "0HMKCUARI97OU",
"tlsHashOrigin": "771,4865-4866-4867-49195-49199-49196-49200-52393-52392-49171-49172-156-157-47-53,0-23-65281-10-11-35-16-5-13-18-51-45-43-27-17513-21,29-23-24,0",
"tlsHashMd5": "cd08e31494f9531f560d64c695473da9",
"cipherList": [
"TLS_AES_128_GCM_SHA256",
"TLS_AES_256_GCM_SHA384",
"TLS_CHACHA20_POLY1305_SHA256",
"TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256",
"TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256",
"TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384",
"TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384",
"TLS_ECDHE_ECDSA_WITH_CHACHA20_POLY1305_SHA256",
"TLS_ECDHE_RSA_WITH_CHACHA20_POLY1305_SHA256",
"TLS_ECDHE_RSA_WITH_AES_128_CBC_SHA",
"TLS_ECDHE_RSA_WITH_AES_256_CBC_SHA",
"TLS_RSA_WITH_AES_128_GCM_SHA256",
"TLS_RSA_WITH_AES_256_GCM_SHA384",
"TLS_RSA_WITH_AES_128_CBC_SHA",
"TLS_RSA_WITH_AES_256_CBC_SHA"
],
"extentions": [
"server_name",
"extended_master_secret",
"renegotiation_info",
"supported_groups",
"ec_point_formats",
"session_ticket",
"application_layer_protocol_negotiation",
"status_request",
"signature_algorithms",
"signed_certificate_timestamp",
"key_share",
"psk_key_exchange_modes",
"supported_versions",
"compress_certificate",
"extensionApplicationSettings",
"padding"
],
"supportedgroups": [
"X25519",
"CurveP256",
"CurveP384"
],
"ecPointFormats": [
"uncompressed"
],
"proto": "HTTP/2",
"h2": {
"SETTINGS": {
"1": "65536",
"3": "1000",
"4": "6291456",
"6": "262144"
},
"WINDOW_UPDATE": "15663105"
}
}
如何過http2指紋呢?知道瞭原理,還不好過嗎總結指紋識別在整個網絡中變得非常普遍,Http2的指紋相對來說不為人知,但是並不新鮮比如這篇論文:https://www.blackhat.com/docs/eu-17/materials/eu-17-Shuster-Passive-Fingerprinting-Of-HTTP2-Clients-wp.pdf詳細介紹瞭一項具有類似結論的研究作者:俞正東 來源:微信公眾號:halouha出處:https://mp.weixin.qq.com/s/JgrrrCmX5Pz04pegGRrhFw


本文出自快速备案,转载时请注明出处及相应链接。

本文永久链接: https://www.xiaosb.com/beian/52223/