移动版软件能用爬虫下载文件吗

‘壹’ 爬虫只能爬取网页，爬软件可以吗

软件？如果是app的话，有点是可以的，通过抓包工具抓包，然后在抓取。

‘贰’ 直接下载文件到移动硬盘里去可以吗

文件是可以直接下载到移动硬盘里的，但是，我建议你，如果是相对比较小的文件可以直接下载到移动硬盘里；但是，如果相对较大的文件，我还是建议你先放到本地硬盘上，因为移动硬盘的读写不可能比本地硬盘的速度高，这样的话，下载会有延迟，速度受移动硬盘读写的限制的。一般的移动硬盘读写在30M/S左右，但是本地移动硬盘在70M/S左右，差距还是很大的。

‘叁’ 怎么把手机里的软件拷贝到u盘

1、首先买一根OTG转接线，如下图所示

7.已经拷贝成功

‘肆’ 电脑一个软件的文件夹中的应用程序可以另外下载吗

可以，但是要把源文件，所有相关文件都拷贝下来才可以的。1，将u盘插上电脑，然后找到要拷的软件，在图标上右键复制，打开可移动磁盘，空白处右键粘贴。2，插到另一台电脑，解压，如果不是压缩包不要解压，然后点击setup或exe文件，选择同意条款，之后按提示安装。
一、首先第一步要右键单击该软件的快捷方式选择属性，然后点击”查找目标“打开该软件安装的根目录，最后将根目录下的所有文件应用复制到U盘里面、二、将U盘插到”新电脑“上面打开”计算机“随意打开一个盘符，将刚复制到的文件应用都”粘贴“到”新电脑“的硬盘分区里面、三、完成复制粘贴后打开”该软件“所在的盘符目录，直接打开该软件的可执行程序就可以了、四、另外还有一个方法就是将”新电脑“的硬盘拆解下来，然后安装到”旧电脑“的”从盘“位置上面，也就是说”旧电脑“就等于安装了两块硬盘，安装完硬盘之后开机打开”软件搬家应用”将软件直接迁移到“新电脑”的硬盘分区上就可以了，最后将硬盘在还原到“新电脑”上就可以了。

‘伍’ 如何用爬虫抓取股市数据并生成分析报表

1. 关于数据采集
股票数据是一种标准化的结构数据，是可以通过API接口访问的（不过一般要通过渠道，开放的API有一定的局限性）。也可以通过爬虫软件进行采集，但是爬虫软件采集数据不能保证实时性，根据数据量和采集周期，可能要延迟几十秒到几分钟不等。我们总结了一套专业的爬虫技术解决方案(Ruby + Sidekiq)。能够很快实现这个采集，也可以后台可视化调度任务。

2. 关于展现
网络股票数据的展现，网页端直接通过HTML5技术就已经足够，如果对界面要求高一点，可以采用集成前端框架，如Bootstrap；如果针对移动端开发， 可以使用Ionic框架。

3. 关于触发事件
如果是采用Ruby on Rails的开发框架的话，倒是很方便了，有如sidekiq, whenever这样子的Gem直接实现任务管理和事件触发。

‘陆’ 小米能下载移动采集app吗

能。
小米手机可以去小米应用市场下载移动采集app，根据移动采集app官网显示，在小米应用市场是上架了的。
移动采集app是一款由厦门帝嘉科技有限公司开发的交警工具软件，本软件拥有强大的采集功能，可以帮助交警用户提高工作效率，更快更方便的采集事故现场，让数据统一降低办公成本。

‘柒’ 如何爬取appstore的数据

定义：App Store是iTunes Store 中的一部分，是iPhone、iPod Touch、iPad以及Mac的服务软件，iphone用户只能通过App Store下载软件，是苹果公司为保护用户下载安全退出的服务软件。
设置方法：打开手机，选择“设置”，在“设置”选项中选择“移动蜂窝数据”，往下拉将看到最后一栏有一行小字“将移动蜂窝数据用于”下面有手机中安装的软件列表，其中就有App Store的选项，打开即可设置为在移动数据下载软件。
如图：

注意：将App Store设置为移动数据下载软件后，只能下载100M以内的软件，如超过100M，有流量也不会下载，只有在连接WLAN的情况下才可下载。

‘捌’ 使用Appium爬取淘宝App数据

Appium选择了Client/Server的设计模式，Server可以在OSX、Windows以及Linux系统上运行，Client支持Ruby、Python、Java、PHP、C#、JavaScript等语言的实现。

本教程以MacBook Pro通过Python程序控制Android系统的淘宝App为例，因为Appium依赖Android SDK，Android SDK需要Java环境，所以所需环境如下：

pc端和移动端的连接有两种方式USB连接和无线连接

更多命令：官方教程

程序第一次运行的时候，会在手机安装3个app，一定要同意安装，只有Appium Settings在桌面有图标

Android SDK官方教程
Appium官方教程
Appium新手入门

‘玖’ 如何爬取京东手机上万的商品数据，这个神器可以帮你

Charles是一个网络抓包工具，我们可以用它来做App的抓包分析，得到App运行过程中发生的所有网络请求和响应内容，这就和Web端浏览器的开发者工具Network部分看到的结果一致。

相比Fiddler来说，Charles的功能更强大，而且跨平台支持更好。所以我们选用Charles作为主要的移动端抓包工具，用于分析移动App的数据包，辅助完成App数据抓取工作。

一、本节目标

本节我们以京东App为例，通过Charles抓取App运行过程中的网络数据包，然后查看具体的Request和Response内容，以此来了解Charles的用法。

二、准备工作

请确保已经正确安装Charles并开启了代理服务，手机和Charles处于同一个局域网下，Charles代理和CharlesCA证书设置好。

三、原理

首先Charles运行在自己的PC上，Charles运行的时候会在PC的8888端口开启一个代理服务，这个服务实际上是一个HTTP/HTTPS的代理。

确保手机和PC在同一个局域网内，我们可以使用手机模拟器通过虚拟网络连接，也可以使用手机真机和PC通过无线网络连接。

设置手机代理为Charles的代理地址，这样手机访问互联网的数据包就会流经Charles，Charles再转发这些数据包到真实的服务器，服务器返回的数据包再由Charles转发回手机，Charles就起到中间人的作用，所有流量包都可以捕捉到，因此所有HTTP请求和响应都可以捕获到。同时Charles还有权力对请求和响应进行修改。

四、抓包

初始状态下Charles的运行界面如下图所示。

Charles会一直监听PC和手机发生的网络数据包，捕获到的数据包就会显示在左侧，随着时间的推移，捕获的数据包越来越多，左侧列表的内容也会越来越多。

可以看到，图中左侧显示了Charles抓取到的请求站点，我们点击任意一个条目便可以查看对应请求的详细信息，其中包括Request、Response等内容。

接下来清空Charles的抓取结果，点击左侧的扫帚按钮即可清空当前捕获到的所有请求。然后点击第二个监听按钮，确保监听按钮是打开的，这表示Charles正在监听App的网络数据流，如下图所示。

这时打开手机京东，注意一定要提前设置好Charles的代理并配置好CA证书，否则没有效果。

打开任意一个商品，如iPhone，然后打开它的商品评论页面，如下图示。

不断上拉加载评论，可以看到Charles捕获到这个过程中京东App内发生的所有网络请求，如下图所示。

左侧列表中会出现一个api.m.jd.com链接，而且它在不停闪动，很可能就是当前App发出的获取评论数据的请求被Charles捕获到了。我们点击将其展开，继续上拉刷新评论。随着上拉的进行，此处又会出现一个个网络请求记录，这时新出现的数据包请求确定就是获取评论的请求。

为了验证其正确性，我们点击查看其中一个条目的详情信息。切换到Contents选项卡，这时我们发现一些JSON数据，核对一下结果，结果有commentData字段，其内容和我们在App中看到的评论内容一致，如下图所示。

这时可以确定，此请求对应的接口就是获取商品评论的接口。这样我们就成功捕获到了在上拉刷新的过程中发生的请求和响应内容。

五、分析

现在分析一下这个请求和响应的详细信息。首先可以回到Overview选项卡，上方显示了请求的接口URL，接着是响应状态Status Code、请求方式Method等，如下图所示。

这个结果和原本在Web端用浏览器开发者工具内捕获到的结果形式是类似的。

接下来点击Contents选项卡，查看该请求和响应的详情信息。

上半部分显示的是Request的信息，下半部分显示的是Response的信息。比如针对Reqeust，我们切换到Headers选项卡即可看到该Request的Headers信息，针对Response，我们切换到JSON TEXT选项卡即可看到该Response的Body信息，并且该内容已经被格式化，如下图所示。

由于这个请求是POST请求，我们还需要关心POST的表单信息，切换到Form选项卡即可查看，如下图所示。

这样我们就成功抓取App中的评论接口的请求和响应，并且可以查看Response返回的JSON数据。

至于其他App，我们同样可以使用这样的方式来分析。如果我们可以直接分析得到请求的URL和参数的规律，直接用程序模拟即可批量抓取。

六、重发

Charles还有一个强大功能，它可以将捕获到的请求加以修改并发送修改后的请求。点击上方的修改按钮，左侧列表就多了一个以编辑图标为开头的链接，这就代表此链接对应的请求正在被我们修改，如下图所示。

我们可以将Form中的某个字段移除，比如这里将partner字段移除，然后点击Remove。这时我们已经对原来请求携带的Form Data做了修改，然后点击下方的Execute按钮即可执行修改后的请求，如下图所示。

可以发现左侧列表再次出现了接口的请求结果，内容仍然不变，如下图所示。

删除Form表单中的partner字段并没有带来什么影响，所以这个字段是无关紧要的。

有了这个功能，我们就可以方便地使用Charles来做调试，可以通过修改参数、接口等来测试不同请求的响应状态，就可以知道哪些参数是必要的哪些是不必要的，以及参数分别有什么规律，最后得到一个最简单的接口和参数形式以供程序模拟调用使用。

七、结语

以上内容便是通过Charles抓包分析App请求的过程。通过Charles，我们成功抓取App中流经的网络数据包，捕获原始的数据，还可以修改原始请求和重新发起修改后的请求进行接口测试。

知道了请求和响应的具体信息，如果我们可以分析得到请求的URL和参数的规律，直接用程序模拟即可批量抓取！

手机爬虫非常有意思，而且可以爬取的数据非常多，当然还有很多东西要学。以后我也会写一些实战的有趣案例给大家。

‘拾’ 能不能发现某台电脑，或者某个IP内 之前使用过爬虫软件，如何隐藏呢

使用爬虫软件，配合http代理，然后通过爬虫软件设置好爬取的规则，是不会留下痕迹的；
切勿使用爬虫软件，用自己本地的ip地址爬取，不然极其容易限制本地的ip；
如果爬取的内容不多，可以找市面上免费的http代理商
注册赠送1000ip，每天领取，很方便的。