EYaTToCoding

엑셀 파워쿼리란?엑셀 파워 쿼리(Power Query)는 데이터를 가져오고 변환하는 데 특화된 엑셀의 도구이다. 이를 통해 다양한 데이터 원본(예: Excel 파일, CSV, 데이터베이스, 웹 등)에서 데이터를 불러와 자동으로 정리, 변환, 병합, 분석 등의 작업을 할 수 있다. ETL(Extract, Transform, Load) 과정을 단순화하여 데이터를 보다 효과적으로 관리할 수 있도록 도와주는 기능이다.   주요 기능데이터 가져오기다양한 데이터 원본에서 데이터를 불러오는 기능지원하는 데이터 원본: 엑셀 파일, CSV, 텍스트 파일, 데이터베이스(SQL Server, Oracle, MySQL 등), 웹 데이터, API 등가져온 데이터와 원본 간의 연결 유지 가능원본 데이터를 변경하면 파워 쿼리를 통..

엑셀로 간단히 데이터 크롤링 하기엑셀로 크롤링하는 방법은 크게 VBA와 파워 쿼리 두 가지로 나뉜다. VBA는 코드 작성이 필요해 크롤링 전반에 대한 프로그래밍 지식이 요구되지만, 파워 쿼리를 이용하면 별도의 코딩 없이 직관적인 인터페이스만으로 데이터를 손쉽게 수집할 수 있다. 특히, 파워 쿼리는 반복 작업을 자동화하는 기능이 탁월해 데이터를 주기적으로 갱신해야 하는 경우에도 유리하다. 엑셀은 시트당 최대 1,048,576개의 행으로 제한된다. 따라서 수집하려는 데이터가 100만 건 미만이라면 엑셀을 통해 수집하는 것이 별도의 전문 프로그램을 사용하는 것보다 간단하고 효율적이다. 또한, 데이터 수집과 분석을 동일한 플랫폼에서 진행할 수 있어 작업 시간이 대폭 줄어든다. 이번 글에서는 네이버 부동산을 예제..

Selenium vs Playwright 비교웹스크래핑웹스크래핑이란?웹스크래핑은 웹사이트의 데이터를 자동으로 긁어오는 기술로, 네이버나 구글 같은 웹사이트에서 직접 정보를 복사하고 붙여넣기 하는 대신, 코드로 데이터를 한 번eyatto-coding.tistory.com 쿠팡 육아용품 스크래핑이번 포스팅에서는 Playwright를 이용해 쿠팡에서 육아용품을 스크래핑해보려고 한다. Playwright의 비동기 기능을 활용해서 빠르고 효율적으로 데이터를 수집하는 방법을 설명한다. 그럼 코드의 주요 부분을 단계별로 살펴보자! 1. 필요한 모듈 Import하기우선 이 코드를 작성하기 위해 필요한 라이브러리들을 import 해보자. Playwright와 정규표현식 처리를 위한 모듈들을 가져온다.import asyn..