크롤링(crawling), jsoup
크롤링(crawling) 인터넷 상에 존재하는 웹 페이지들을 자동으로 탐색하여 그 안에 있는 정보를 수집하는 기술입니다. 크롤링은 웹 상의 데이터를 수집하는 데에 매우 유용한 방법으로, 검색 엔진, 가격 비교 사이트, 뉴스 제공 업체, SNS 분석 등 다양한 분야에서 활용됩니다. 크롤러는 웹 사이트를 자동으로 탐색하며, HTML 태그와 CSS, JavaScript 등을 분석하여 원하는 데이터를 추출합니다. 크롤링을 위해서는 프로그래밍 언어나 도구를 사용해야 하며, 일반적으로 Python, Java, Ruby 등의 언어와 BeautifulSoup, Scrapy, Selenium, Jsoup 등의 라이브러리나 프레임워크를 사용합니다. 크롤링 기술을 사용하면 수집한 데이터를 분석하고 가공하여 다양한 형태의 정..
2023. 2. 17.