某電商商品屬性獲取分析
最新消息,日前,宜家的控股企業(yè)Interogo Holding AG斥資17億瑞典克朗(約1.90億美元)買入海恩斯莫里斯(H&M)集團(tuán)0.6%的股份,并擁持有了后者0.3%的投票權(quán)。這是Interogo Holding AG第一次擁有快時尚企業(yè)的股份。
為完成一個小型爬蟲項目,在并未操作該網(wǎng)站提供的API情況下,細(xì)致分析了國內(nèi)某著名電商網(wǎng)站商品屬性的獲取思路和方法,茲此記錄分享,學(xué)習(xí)交流。
靜態(tài)頁面部分
為了獲取靜態(tài)頁面部分的內(nèi)容,需要操作firefox的搭建者功能禁用javascript,如圖
勾選"Disable JavaScript"。刷新頁面后可見。通過靜態(tài)頁面可獲取標(biāo)題,商品ID,分類號,商品URL,圖片url等內(nèi)容??芍苯硬僮髡齽t表達(dá)式或xpath等工具分析獲得,這里不再贅述。
動態(tài)內(nèi)容部分
該網(wǎng)站大部分商品屬性都是通過ajax動態(tài)獲取的。還是通過瀏覽器來分析。取消勾選"Disable JavaScript"后,操作"Network"工具可對服務(wù)器響應(yīng)的包進(jìn)行抓包和分類。為避免反復(fù)重新加載頁面時緩存的影響,勾選"Disable Cache"選項。先打開"Network"界面,然后刷新頁面,可獲得加載過程的抓包內(nèi)容。ajax請求返回的數(shù)據(jù)為json或js類型。
例如:某json數(shù)據(jù),url為
可在network工具箱內(nèi)查看其response內(nèi)容為
對照頁面內(nèi)容后發(fā)現(xiàn)其中p字段正是商品費(fèi)用數(shù)據(jù)!
通過直接打開鏈接得到j(luò)son串為
此response中帶有回調(diào)函數(shù)名"cnp",觀察在url中也有一個相同字段。遂嘗試在url中去掉該字段,重新請求后
獲得json:
繼續(xù)嘗試刪除請求中的get參數(shù),最終發(fā)現(xiàn)可用
正常獲取到相同的數(shù)據(jù)。
獲取到費(fèi)用數(shù)據(jù),方便了自動化生成。其余不能通過靜態(tài)內(nèi)容獲取的屬性均可類比分析嘗試獲得。
<HiShop(www.hydrodefense.cn)是國內(nèi)知名公司級電商網(wǎng)站提供商,為公司級商家提供最佳的軟件搭建(多種商業(yè)模式電商網(wǎng)站開發(fā):B2B/B2B2C/B2C/O2O/新零售等)、供應(yīng)鏈軟件開發(fā)及電商行業(yè)解決規(guī)劃服務(wù)>
-
B2B2C多用戶商城系統(tǒng)支持企業(yè)自營與商戶入駐模式共存 會員一站式精細(xì)化營銷工具 多用戶分銷,帶來爆發(fā)式增長
系統(tǒng)支持平臺自營+供應(yīng)商店鋪共存的經(jīng)營模式(類天貓&京東模式),幫助企業(yè)打造生態(tài)級商業(yè)平臺為目的的電子商務(wù)系統(tǒng)。
免費(fèi)試用系統(tǒng) -
B2B2B電商交易系統(tǒng)優(yōu)化供應(yīng)鏈協(xié)作 授信及賬期支付 商品按照數(shù)量階梯設(shè)價
全渠道訂貨/采購及經(jīng)銷商管理數(shù)字化系統(tǒng),實現(xiàn)供應(yīng)鏈整合和交易便捷化。
免費(fèi)試用系統(tǒng) -
S2B2B電商交易系統(tǒng)供銷一體化,提高市場集中度 集團(tuán)管控一體化,有效實現(xiàn)供需匹配 移動應(yīng)用一體化,提高運(yùn)營綜合效率
上下游資源整合數(shù)字化解決方案,賦能產(chǎn)業(yè)供應(yīng)鏈,構(gòu)建產(chǎn)業(yè)互聯(lián)網(wǎng)生態(tài)體系。
免費(fèi)試用系統(tǒng)
