EYaTToCoding

Selenium vs Playwright 비교웹스크래핑웹스크래핑이란?웹스크래핑은 웹사이트의 데이터를 자동으로 긁어오는 기술로, 네이버나 구글 같은 웹사이트에서 직접 정보를 복사하고 붙여넣기 하는 대신, 코드로 데이터를 한 번eyatto-coding.tistory.com 쿠팡 육아용품 스크래핑이번 포스팅에서는 Playwright를 이용해 쿠팡에서 육아용품을 스크래핑해보려고 한다. Playwright의 비동기 기능을 활용해서 빠르고 효율적으로 데이터를 수집하는 방법을 설명한다. 그럼 코드의 주요 부분을 단계별로 살펴보자! 1. 필요한 모듈 Import하기우선 이 코드를 작성하기 위해 필요한 라이브러리들을 import 해보자. Playwright와 정규표현식 처리를 위한 모듈들을 가져온다.import asyn..

웹스크래핑웹스크래핑이란?웹스크래핑은 웹사이트의 데이터를 자동으로 긁어오는 기술로, 네이버나 구글 같은 웹사이트에서 직접 정보를 복사하고 붙여넣기 하는 대신, 코드로 데이터를 한 번에 긁어오eyatto-coding.tistory.com  Selenium vs Playwright: 동적 웹스크래핑 도구 비교동적 웹스크래핑을 할 때, 우리는 브라우저에서 로딩되는 콘텐츠까지 모두 가져와야 한다. 가장 많이 사용되는 도구가 Selenium과 Playwright인데, 이 두 가지는 브라우저를 직접 제어해 JavaScript로 로드된 콘텐츠까지 모두 가져올 수 있도록 도와주는 강력한 도구들이다. 정적웹스크래핑과 동적웹스크래핑에 대한 개념은 위의 링크에서 알아보았다. 이번 포스팅에서는 동적웹스크래핑의 최신 기술인 Pl..

웹스크래핑이란?웹스크래핑은 웹사이트의 데이터를 자동으로 긁어오는 기술로, 네이버나 구글 같은 웹사이트에서 직접 정보를 복사하고 붙여넣기 하는 대신, 코드로 데이터를 한 번에 긁어오는 것을 말한다. 주로 Python이나 JavaScript 같은 프로그래밍 언어를 많이 사용한다. 스크래핑을 잘 활용하면, 최신 뉴스, 상품 가격 정보, 영화 리뷰 같은 데이터를 손쉽게 수집할 수 있다. 웹스크래핑의 두 가지 유형은 바로 정적과 동적 웹스크래핑이다. 이 둘의 차이를 알면 원하는 데이터를 더 쉽게 얻을 수 있다. 정적 웹스크래핑 (Static Web Scraping)정적 웹스크래핑은 서버에서 웹페이지를 요청할 때 완성된 HTML 코드를 바로 받는 방식이다. 우리가 웹사이트를 열었을 때 모든 내용이 한 번에 표시되는..