인터넷 로봇 (로봇)도 스파이더, 웜, 또는 무작위, 핵심 목표로 알려진 인터넷에서 정보를 얻을 수있다. 홈 로봇을 탐색 웹 하이퍼 링크를 사용의 또 다른 HTML 문서를 크롤 링하는 HTML 문서에서 URL 참조를 통해. 온라인 로봇 수집된 정보의 색인을 생성 등 다양한 목적, HTML 문서를 검증, URL 링크 검증, 미러 사이트와 같은 업데이트된 정보에 접근할 수있습니다.




File list:
Robot.txt
用C#语言构造蜘蛛程序 .txt