Weiting
更新時間：2022/6/14 上午 10:19:54

您好我想要問python bible自學聖經第11章爬蟲我後來自己去嘗試遇到的問題
我想問:
1.requests.get().text他是返回網頁原始檔內容嗎?因為我發現他返回的內容大致相同但有些地方不一樣，像是有些東西在原始檔裡找的到，但.text裡卻找不到，然後會返回空列表
2.上訴原因是因為ajax所導致的嗎?
3.如果.text不是返回原始檔，那他是返回甚麼東西(我在網路上都只找到'資料'、'內容')
4.要怎麼處理這類問題

Weiting
更新時間：2022/6/14 上午 10:25:46

補訴問題1:用.find_all時偶而會遇到返回空列表的問題(明明原始檔有東西)

孫廷
更新時間：2022/6/14 下午 10:39:18

您好我想要問python bible自學聖經第11章爬蟲我後來自己去嘗試遇到的問題
我想問:
1.requests.get().text他是返回網頁原始檔內容嗎?因為我發現他返回的內容大致相同但有些地方不一樣，像是有些東西在原始檔裡找的到，但.text裡卻找不到，然後會返回空列表(用.find_all時偶而會遇到返回空列表的問題，明明原始檔有東西)
2.上訴原因是因為ajax所導致的嗎?
3.如果.text不是返回原始檔，那他是返回甚麼東西(我在網路上都只找到'資料'、'內容')
4.要怎麼處理這類問題

Weiting
更新時間：2022/6/14 下午 10:39:20

您好我想要問python bible自學聖經第11章爬蟲我後來自己去嘗試遇到的問題
我想問:
1.requests.get().text他是返回網頁原始檔內容嗎?因為我發現他返回的內容大致相同但有些地方不一樣，像是有些東西在原始檔裡找的到，但.text裡卻找不到，然後會返回空列表(用.find_all時偶而會遇到返回空列表的問題，明明原始檔有東西)
2.上訴原因是因為ajax所導致的嗎?
3.如果.text不是返回原始檔，那他是返回甚麼東西(我在網路上都只找到'資料'、'內容')
4.要怎麼處理這類問題

文淵閣工作室
更新時間：2022/6/15 上午 08:43:03

您好
1.2. 這個問題大多都是 ajax 非同步載入造成的.
3. 用 requests 模組讀回的內容, 用.text 讀取會是原始文字, 但內容不一定是網頁, 有時可能是 json 或 csv 等資料, 那就必須用這些格式拆解的方式進行讀取. 你要先看看檔案的內容格式是什麼, 書上都有各種格式文字的處理方法.
4. 基礎的爬蟲技巧不是能處理所有狀況, 如果是非同步載入可能就要花更多精神去找相關來源, 如, 觀察他載入的網址, 觸發的方式, 甚至是用其他的模組, 如 selenium。每個爬蟲都是要量身訂作, 您可以用這些關鍵字進行相關的資料收集。

文淵閣工作室
更新時間：2022/6/15 上午 08:45:12

原始檔有資料, 不等於瀏覽器最終取回的結果, 很多時候是網站運用了非同步載入的技巧, 或是伺服器的設定會擋下爬蟲的動作, 這些攻防不一定都會有解, 要多方嚐試。