|
http://www.hackerschool.org/HS_Boards/zboard.php?id=Free_Lectures&no=1383 [복사]
일단
웹봇: 웹을 돌아다니면 정보를 수집하는 프로그램
일반적으로 구글봇이 제일 유명합니다.
구글봇같은 위대한(?) 프로그램 까지는 못만들고.. 일단 원리부터 알아봅시다.
일단 초기의 주소를 줍니다.
(예를 들어서 www.google.com)
그러면 일단 그 페이지의 소스를 봇이 다운을 받습니다.
그리고 나서 각종 링크를 수집합니다.
구글을 예로 들면 http://images.google.com등이 있습니다.
그러면 또 그 페이지를 다운 받습니다.
또 분석을 합니다.
무한히 루프를 돕니다...(뭐?)
그러면 일단 간단하게 만들어 봅시다.
파이썬으로 작성할겁니다.(C로 짜면 소켓부터해서 심각합니다.)
일단 vim webbot.py를 입력해서 편집상태로 들어갑니다.
일단 소스를 놓고 시작하겠습니다.
#!/usr/bin/python
import urllib2, re, string
enter_point ='http://' + raw_input('enter url: ') # enter point
db_name = 'base.txt' # input data base name
def uniq(seq):
set = {}
map(set.__setitem__, seq, [])
return set.keys()
def geturls(url):
items = []
request = urllib2.Request(url)
request.add_header('User-Agent', 'iBot ;)')
content = urllib2.urlopen(request).read()
items = re.findall('href="http://.*?"', content)
urls = []
for item in items:
item = item.replace('href=','')
item = item.replace('"','')
urls.append(item)
return urls
db = open(db_name,'w')
allurls = uniq(geturls(enter_point))
for url in allurls:
urls = geturls(url)
for u in urls: allurls.append(u)
allurls = uniq(allurls)
db.write(string.join(urls,'\n'))
print url+' ['+str(len(allurls))+']'
db.write('\n\n')
db.close()
첫줄에 #!/bin/python을 입력합니다.
이건 셸스크립트의 기본입니다.
그리고 import urllib2, re, string를 추가합니다.
import는 C언어의 #include와 비슷합니다. 그냥 urllib2,re,string 이 3개의 라이브러리를 로드한다고 생각하겠습니다.
그리고 처음으로 씨앗 url값을 입력받아야 합니다.
입력받기 위해 enter_point ='http://' + raw_input('enter url: ') 를 추가합니다.
그러면 http://입력받은값 이 enter_point라는 변수에 저장됩니다.
그리고 링크를 분석해야 하는데 가장 기본적인 링크인 <a>태그를 따라갈 겁니다.
a태그의 구조중 중요한 부분은 href="url" 입니다.
그래서 중간에
item = item.replace('href=','')
item = item.replace('"','')
라는 코드가 들어갑니다.
request.add_header('User-Agent', 'iBot ;)') 이부분은 브라우저의 이름입니다. 파이어폭스로 브라우징을 하면 이 부분이 파이어폭스의 고유 문자열이 들어갑니다.
아무튼 어떻게든 해서 문자열들을 얻어 왔습니다.
이걸 base.txt에 저장하게 됩니다.
이런강좌는 처음써서 엉망이네요 ....
나중에 수정을 하겠습니다.(라고 해놓고 언제할까..) |
Hit : 16183 Date : 2010/02/08 04:52
|
1600, 
1/80 
kjwon15
