移動版軟體能用爬蟲下載文件嗎

『壹』 爬蟲只能爬取網頁，爬軟體可以嗎

軟體？如果是app的話，有點是可以的，通過抓包工具抓包，然後在抓取。

『貳』 直接下載文件到移動硬碟里去可以嗎

文件是可以直接下載到移動硬碟里的，但是，我建議你，如果是相對比較小的文件可以直接下載到移動硬碟里；但是，如果相對較大的文件，我還是建議你先放到本地硬碟上，因為移動硬碟的讀寫不可能比本地硬碟的速度高，這樣的話，下載會有延遲，速度受移動硬碟讀寫的限制的。一般的移動硬碟讀寫在30M/S左右，但是本地移動硬碟在70M/S左右，差距還是很大的。

『叄』 怎麼把手機里的軟體拷貝到u盤

1、首先買一根OTG轉接線，如下圖所示

7.已經拷貝成功

『肆』 電腦一個軟體的文件夾中的應用程序可以另外下載嗎

可以，但是要把源文件，所有相關文件都拷貝下來才可以的。1，將u盤插上電腦，然後找到要拷的軟體，在圖標上右鍵復制，打開可移動磁碟，空白處右鍵粘貼。2，插到另一台電腦，解壓，如果不是壓縮包不要解壓，然後點擊setup或exe文件，選擇同意條款，之後按提示安裝。
一、首先第一步要右鍵單擊該軟體的快捷方式選擇屬性，然後點擊」查找目標「打開該軟體安裝的根目錄，最後將根目錄下的所有文件應用復制到U盤裡面、二、將U盤插到」新電腦「上面打開」計算機「隨意打開一個盤符，將剛復制到的文件應用都」粘貼「到」新電腦「的硬碟分區裡面、三、完成復制粘貼後打開」該軟體「所在的盤符目錄，直接打開該軟體的可執行程序就可以了、四、另外還有一個方法就是將」新電腦「的硬碟拆解下來，然後安裝到」舊電腦「的」從盤「位置上面，也就是說」舊電腦「就等於安裝了兩塊硬碟，安裝完硬碟之後開機打開」軟體搬家應用」將軟體直接遷移到「新電腦」的硬碟分區上就可以了，最後將硬碟在還原到「新電腦」上就可以了。

『伍』 如何用爬蟲抓取股市數據並生成分析報表

1. 關於數據採集
股票數據是一種標准化的結構數據，是可以通過API介面訪問的（不過一般要通過渠道，開放的API有一定的局限性）。也可以通過爬蟲軟體進行採集，但是爬蟲軟體採集數據不能保證實時性，根據數據量和採集周期，可能要延遲幾十秒到幾分鍾不等。我們總結了一套專業的爬蟲技術解決方案(Ruby + Sidekiq)。能夠很快實現這個採集，也可以後台可視化調度任務。

2. 關於展現
網路股票數據的展現，網頁端直接通過HTML5技術就已經足夠，如果對界面要求高一點，可以採用集成前端框架，如Bootstrap；如果針對移動端開發， 可以使用Ionic框架。

3. 關於觸發事件
如果是採用Ruby on Rails的開發框架的話，倒是很方便了，有如sidekiq, whenever這樣子的Gem直接實現任務管理和事件觸發。

『陸』 小米能下載移動採集app嗎

能。
小米手機可以去小米應用市場下載移動採集app，根據移動採集app官網顯示，在小米應用市場是上架了的。
移動採集app是一款由廈門帝嘉科技有限公司開發的交警工具軟體，本軟體擁有強大的採集功能，可以幫助交警用戶提高工作效率，更快更方便的採集事故現場，讓數據統一降低辦公成本。

『柒』 如何爬取appstore的數據

定義：App Store是iTunes Store 中的一部分，是iPhone、iPod Touch、iPad以及Mac的服務軟體，iphone用戶只能通過App Store下載軟體，是蘋果公司為保護用戶下載安全退出的服務軟體。
設置方法：打開手機，選擇「設置」，在「設置」選項中選擇「移動蜂窩數據」，往下拉將看到最後一欄有一行小字「將移動蜂窩數據用於」下面有手機中安裝的軟體列表，其中就有App Store的選項，打開即可設置為在移動數據下載軟體。
如圖：

注意：將App Store設置為移動數據下載軟體後，只能下載100M以內的軟體，如超過100M，有流量也不會下載，只有在連接WLAN的情況下才可下載。

『捌』 使用Appium爬取淘寶App數據

Appium選擇了Client/Server的設計模式，Server可以在OSX、Windows以及Linux系統上運行，Client支持Ruby、Python、Java、PHP、C#、JavaScript等語言的實現。

本教程以MacBook Pro通過Python程序控制Android系統的淘寶App為例，因為Appium依賴Android SDK，Android SDK需要Java環境，所以所需環境如下：

pc端和移動端的連接有兩種方式USB連接和無線連接

更多命令：官方教程

程序第一次運行的時候，會在手機安裝3個app，一定要同意安裝，只有Appium Settings在桌面有圖標

Android SDK官方教程
Appium官方教程
Appium新手入門

『玖』 如何爬取京東手機上萬的商品數據，這個神器可以幫你

Charles是一個網路抓包工具，我們可以用它來做App的抓包分析，得到App運行過程中發生的所有網路請求和響應內容，這就和Web端瀏覽器的開發者工具Network部分看到的結果一致。

相比Fiddler來說，Charles的功能更強大，而且跨平台支持更好。所以我們選用Charles作為主要的移動端抓包工具，用於分析移動App的數據包，輔助完成App數據抓取工作。

一、本節目標

本節我們以京東App為例，通過Charles抓取App運行過程中的網路數據包，然後查看具體的Request和Response內容，以此來了解Charles的用法。

二、准備工作

請確保已經正確安裝Charles並開啟了代理服務，手機和Charles處於同一個區域網下，Charles代理和CharlesCA證書設置好。

三、原理

首先Charles運行在自己的PC上，Charles運行的時候會在PC的8888埠開啟一個代理服務，這個服務實際上是一個HTTP/HTTPS的代理。

確保手機和PC在同一個區域網內，我們可以使用手機模擬器通過虛擬網路連接，也可以使用手機真機和PC通過無線網路連接。

設置手機代理為Charles的代理地址，這樣手機訪問互聯網的數據包就會流經Charles，Charles再轉發這些數據包到真實的伺服器，伺服器返回的數據包再由Charles轉發回手機，Charles就起到中間人的作用，所有流量包都可以捕捉到，因此所有HTTP請求和響應都可以捕獲到。同時Charles還有權力對請求和響應進行修改。

四、抓包

初始狀態下Charles的運行界面如下圖所示。

Charles會一直監聽PC和手機發生的網路數據包，捕獲到的數據包就會顯示在左側，隨著時間的推移，捕獲的數據包越來越多，左側列表的內容也會越來越多。

可以看到，圖中左側顯示了Charles抓取到的請求站點，我們點擊任意一個條目便可以查看對應請求的詳細信息，其中包括Request、Response等內容。

接下來清空Charles的抓取結果，點擊左側的掃帚按鈕即可清空當前捕獲到的所有請求。然後點擊第二個監聽按鈕，確保監聽按鈕是打開的，這表示Charles正在監聽App的網路數據流，如下圖所示。

這時打開手機京東，注意一定要提前設置好Charles的代理並配置好CA證書，否則沒有效果。

打開任意一個商品，如iPhone，然後打開它的商品評論頁面，如下圖示。

不斷上拉載入評論，可以看到Charles捕獲到這個過程中京東App內發生的所有網路請求，如下圖所示。

左側列表中會出現一個api.m.jd.com鏈接，而且它在不停閃動，很可能就是當前App發出的獲取評論數據的請求被Charles捕獲到了。我們點擊將其展開，繼續上拉刷新評論。隨著上拉的進行，此處又會出現一個個網路請求記錄，這時新出現的數據包請求確定就是獲取評論的請求。

為了驗證其正確性，我們點擊查看其中一個條目的詳情信息。切換到Contents選項卡，這時我們發現一些JSON數據，核對一下結果，結果有commentData欄位，其內容和我們在App中看到的評論內容一致，如下圖所示。

這時可以確定，此請求對應的介面就是獲取商品評論的介面。這樣我們就成功捕獲到了在上拉刷新的過程中發生的請求和響應內容。

五、分析

現在分析一下這個請求和響應的詳細信息。首先可以回到Overview選項卡，上方顯示了請求的介面URL，接著是響應狀態Status Code、請求方式Method等，如下圖所示。

這個結果和原本在Web端用瀏覽器開發者工具內捕獲到的結果形式是類似的。

接下來點擊Contents選項卡，查看該請求和響應的詳情信息。

上半部分顯示的是Request的信息，下半部分顯示的是Response的信息。比如針對Reqeust，我們切換到Headers選項卡即可看到該Request的Headers信息，針對Response，我們切換到JSON TEXT選項卡即可看到該Response的Body信息，並且該內容已經被格式化，如下圖所示。

由於這個請求是POST請求，我們還需要關心POST的表單信息，切換到Form選項卡即可查看，如下圖所示。

這樣我們就成功抓取App中的評論介面的請求和響應，並且可以查看Response返回的JSON數據。

至於其他App，我們同樣可以使用這樣的方式來分析。如果我們可以直接分析得到請求的URL和參數的規律，直接用程序模擬即可批量抓取。

六、重發

Charles還有一個強大功能，它可以將捕獲到的請求加以修改並發送修改後的請求。點擊上方的修改按鈕，左側列表就多了一個以編輯圖標為開頭的鏈接，這就代表此鏈接對應的請求正在被我們修改，如下圖所示。

我們可以將Form中的某個欄位移除，比如這里將partner欄位移除，然後點擊Remove。這時我們已經對原來請求攜帶的Form Data做了修改，然後點擊下方的Execute按鈕即可執行修改後的請求，如下圖所示。

可以發現左側列表再次出現了介面的請求結果，內容仍然不變，如下圖所示。

刪除Form表單中的partner欄位並沒有帶來什麼影響，所以這個欄位是無關緊要的。

有了這個功能，我們就可以方便地使用Charles來做調試，可以通過修改參數、介面等來測試不同請求的響應狀態，就可以知道哪些參數是必要的哪些是不必要的，以及參數分別有什麼規律，最後得到一個最簡單的介面和參數形式以供程序模擬調用使用。

七、結語

以上內容便是通過Charles抓包分析App請求的過程。通過Charles，我們成功抓取App中流經的網路數據包，捕獲原始的數據，還可以修改原始請求和重新發起修改後的請求進行介面測試。

知道了請求和響應的具體信息，如果我們可以分析得到請求的URL和參數的規律，直接用程序模擬即可批量抓取！

手機爬蟲非常有意思，而且可以爬取的數據非常多，當然還有很多東西要學。以後我也會寫一些實戰的有趣案例給大家。

『拾』 能不能發現某台電腦，或者某個IP內 之前使用過爬蟲軟體，如何隱藏呢

使用爬蟲軟體，配合http代理，然後通過爬蟲軟體設置好爬取的規則，是不會留下痕跡的；
切勿使用爬蟲軟體，用自己本地的ip地址爬取，不然極其容易限制本地的ip；
如果爬取的內容不多，可以找市面上免費的http代理商
注冊贈送1000ip，每天領取，很方便的。