这个python写的网络爬虫为何不能运行?

17次阅读
import urllib2
url='http://www.baidu.com/s?wd=cloga'
content=urllib2.urlopen(url).read()
import re
urls_pat=re.compile(r'<span class="g">(.*?)</span>')
siteUrls=re.findall(results_pat,content)
strip_tag_pat=re.compile(r'<.*?>')
file=open('results000.csv','w')
for i in results:
    i0=re.sub(strip_tag_pat,'',i)
    i0=i0.strip()
    i1=i0.split(' ')
    date=i1[-1]
    siteUrl=''.join(i1[:-1])
    rank+=1
    file.write(date+','+siteUrl+','+str(rank)+'\n')
file.close()

笑看风云茶馆

下面的内容主要提及3点:

  1. 变量命名方式
  2. 代码格式化
  3. 问题解答

变量命名方式

总所周知,变量(包括函数等)命名方式主要有两种:驼峰式和下划线式。两种方式都是可以接受的,但是我很难接受提问者在代码中既使用驼峰式又使用下划线式的风格。

代码格式化

就算是发布的问题代码,也需要讲究美观的吧?!个人比较倾向使用https://code.google.com/p/google-styl… 中介绍的编码方式。简单说几点,比如:

siteUrls=re.findall(urls_pat,content)

最好写成

siteUrls = re.findall(urls_pat, content)

根据自己情况适当对操作符和标点(如,)进行格式化。

问题解答

显而易见,该代码是无法正常运行的。第一个问题是第六行中results_pat应该改成urls_pat;第二个问题,第九行results更改为siteUrls;第三个问题,第九行前加入rank = 0
其实该代码的目的是提取出指定百度搜索页面的所有链接以及日期,至于rank,我的猜测是顺序,不知是否正确。

最后批评一下楼主提问的态度。

cattail

正文完