Hillstone 지능형 차세대 방화벽 백서: 악성 웹 크롤러 탐지를 위한 하이브리드 접근 방식

웹 크롤러(웹 스파이더, 웹 로봇이라고도 함)는 일반적으로 정해진 순서에 따라 자동화된 방식으로 대상 웹사이트를 탐색하는 스크립트 또는 컴퓨터 프로그램으로, 인터넷에서 정보를 수집하는 중요한 방법이며 검색 엔진 기술의 핵심 구성 요소입니다. GoogleBot, BaiduSpider와 같은 주요 검색 엔진은 기본 웹 크롤러를 사용하여 인터넷에서 최신 데이터를 수집합니다.