免費論壇 繁體 | 簡體
Sclub交友聊天~加入聊天室當版主
分享
返回列表 發帖
應該是資料庫的問題,而非excel
因為出現Not Availale是資料庫上的訊息,非excel的訊息
表示excel抓表正常

只是不知為何我按都OK,同學卻not avail?

TOP

先祝大家新年快樂
我的是用2010版 昨天也遇到not available情況
再次感謝大家 祝新年快樂

TOP

應該是資料庫的問題,而非excel
因為出現Not Availale是資料庫上的訊息,非excel的訊息
表示excel抓表正常
...
mikeon88 發表於 2020-1-27 07:37


同樣使用新的營再表,剛開始前幾筆都抓得到,大約第十次之後就變成noy avilable. 關掉 Excel再重新打開,又正常。但是再查詢約七八筆又開始not availabe.

感覺是資料庫的問題,是否過濾短時間內大量異常抓取,不得而知。

TOP

應該是Brian桑指出的問題,謝謝
等Alex桑休假回來再修

TOP

Dear Mike桑,
昨天又一直測試,把之前盈再表版本也測試幾次,也下載最新200126版本
全部重新開機,再測試一次, Excel 2019
台/港/中/全球 沒有這個問題, 只有美股怎麼按股名和日期攔都是Not Available

這段期間(去年12月,今年1月)我剛好更新美股,主要在按美股,印象比較深刻
這幾個測試的版本,之前按美股都是沒有問題的,包括200118版本,原本也是沒有問題的
但是200118版本開始出現Not Available後,
之前沒問題的版本,現在測試後,也全部都出現Not Available了

TOP

感謝Mike大~
回報測試結果
剛剛測試新版美股盈再表一樣not availabe(但淑貴價好像沒問題)
但全球盈再表ok

TOP

非常感謝Alex桑幫忙修改
請下載200128



Wu Alex  於 2020年1月27日 上午11:32 寫道:

Hi Mike,

https://www.marketwatch.com/investing/Stock/ko 這一page, 用 XMLHTTP send request 多次後,  該網站就會又開始防止scrape data, 故改回用IE method來抓取, 請參考附檔.

Ps. 目前balance sheet, P&L and statement of cash-flow等仍採用XMLHTTP方法來scrape, 目前尚可頻繁抓取, 但不能確認該網站是否又啟動機制, 來防止使用者頻繁的抓取...

Regards,

Alex

TOP

盈再表終於可以順利運作~
萬分感謝Mike大&Alex桑~

TOP

謝謝Mike桑&Alex桑更新盈再表
但是我下載最新版200128使用後還是有問題
重新開機測試幾檔美股,總是停在步驟6/9 抓公司名+股價+日期,Excel 就沒反應了
每檔股票我都等至少5分鐘以上,實在沒反應,只好強制關閉Excel 2019
從下午四點半多下載,測試到現在快六點,都是一樣的情況  


附件: 您需要登錄才可以下載或查看附件。沒有帳號?註冊

TOP

回復 1051# vicky


1. 請先確認一下是否安裝了IE 11
2. 若已安裝了IE 11, 請手動打開IE, 並試著連到https://www.marketwatch.com/investing/Stock/ko, 檢查是否可以看到該網站的內容
3. 若可以看到 2的網站內容, 請重新執行盈再表, 看看是否可以運作正常

TOP

非常感謝Alex桑幫忙修改
請下載200128

Wu Alex  於 2020年1月27日 上午11:32 寫道:

Hi Mike,

這一p ...
mikeon88 發表於 2020-1-27 15:22


第一支,OK.
第二支, not available.
該網站擋流量擋的真認真啊...

除開名稱跟日期之外,其他資料都正常.

TOP

Alex桑新年好,

1.確認我的IE 11.0版
2.用IE連到Market Watch網站的畫面如下圖, 有出現一個Cookie Notice, 點了上面的X後,Cookie Notice就關了,就可以看到MarketWatch的完整網頁,隨便點了上面的Profile和Charts等,網頁都有跑動,這樣應該是OK吧!
3.重新下載,重新開機,重新執行盈再表200128,還是一樣,到步驟6/9 抓公司名+股價+日期,Excel 就沒反應了



附件: 您需要登錄才可以下載或查看附件。沒有帳號?註冊

TOP

搖一搖滑鼠,或按ESC

TOP

回復 1054# vicky


    1. 看起來IE運作正常
    2. 請下載附檔, 並協助測試看看
        2.1)說明: 請分別點擊 (A)Test IE(Medium) , (B) Test IE, 將會各自抓取KO的相關資料, 執行過程中, 會自動開啟IE
        2.2)執行後, 請告知(A) or (B) 何者可以抓取到KO的資料 OR 兩者都無法抓到資料
        2.3)如果執行過程, 發生程式中斷時, 此時應該會停留在程式碼中, 請將其截圖列出
附件: 您需要登錄才可以下載或查看附件。沒有帳號?註冊

TOP

Mike桑&Alex桑好,

先報告我剛剛的測試結果, 再來測試TestIE

2.用IE連到Market Watch網站,只有第一次出現Cookie Notice, 點了上面的X後,Cookie Notice就關了
關閉IE,重新開啟IE, 再次連到Market Watch, Cookie Notice就沒有再出現了
就算重新關機, 重啟IE, 連到Market Watch, cookie notice 也沒有再出現了

剛剛再次執行盈再表, 美股MGA
之前的版本200112, 200118, 200126, 股名和日期雖然Not Available,都有跑完9個步驟,所以資料應該是正確的
200128版本, 到步驟6/9 抓公司名+股價+日期,Excel 就沒反應了,沒有跑完步驟,所以資料都是錯誤的




附件: 您需要登錄才可以下載或查看附件。沒有帳號?註冊

TOP

Alex桑你好,

剛剛執行TestIE-200127結果,
按(A), 按(B), 結果都一樣, 都沒有抓KO資料, 出現視窗如下圖



附件: 您需要登錄才可以下載或查看附件。沒有帳號?註冊

TOP

補充: 上面KO的價格,是開啟檔案就有的, 所以應該是沒有抓取KO資料, 因為一按Test鍵  Microsoft Visual Basic視窗就跑出來了, 就停在這個畫面了, IE也沒有自動開啟

TOP










附件: 您需要登錄才可以下載或查看附件。沒有帳號?註冊

TOP

回復 1059# vicky


    謝謝Vicky的測試, 從測試的結果來看有點棘手, 因為在妳的電腦上, 無法用程式call IE 起來連結到marketwatch,
    目前我沒有解法, 容我想一想可能的因素, 不好意思....

TOP

回復 1060# 雜工


        謝謝雜工桑的測試!!

TOP

返回列表