<h3 dir="auto">初衷/目标</h3>

<p dir="auto">方便我爬取一些东西</p>
<ul dir="auto">
<li>访问频率限制</li>
<li>Header 头信息校验</li>
<li>断点续爬</li>
<li>动态页面生成</li>
<li>IP 地址限制</li>
<li>Cookie 限制(或称为登录限制)</li>
<li>验证码限制</li>
<li>等等…</li>
</ul>
<h3 dir="auto">TODO类型</h3>
<ul class="contains-task-list">
<li class="task-list-item"><input type="checkbox" id="" disabled="" class="task-list-item-checkbox"> 类库</li>
<li class="task-list-item"><input type="checkbox" id="" disabled="" class="task-list-item-checkbox" checked=""> 框架</li>
<li class="task-list-item"><input type="checkbox" id="" disabled="" class="task-list-item-checkbox"> 服务</li>
<li class="task-list-item"><input type="checkbox" id="" disabled="" class="task-list-item-checkbox"> 命令行工具</li>
</ul>
<h3 dir="auto">预计时间</h3>

<ul class="contains-task-list">
<li class="task-list-item"><input type="checkbox" id="" disabled="" class="task-list-item-checkbox"> 一天</li>
<li class="task-list-item"><input type="checkbox" id="" disabled="" class="task-list-item-checkbox" checked=""> 一周</li>
<li class="task-list-item"><input type="checkbox" id="" disabled="" class="task-list-item-checkbox"> 两周</li>
<li class="task-list-item"><input type="checkbox" id="" disabled="" class="task-list-item-checkbox"> 一月</li>
<li class="task-list-item"><input type="checkbox" id="" disabled="" class="task-list-item-checkbox"> 更久</li>
</ul>
<h3 dir="auto">相关链接</h3>
<p dir="auto"><a href="https://github.com/axetroy/crawler">https://github.com/axetroy/crawler</a></p>

写一个nodejs的爬虫框架

初衷/目标

TODO类型

预计时间

相关链接

大牛们的评论:朕有话说

关于我

Github

Todo

Gist