티스토리

EYaTToCoding

검색하기

블로그 홈

EYaTToCoding

eyatto-coding.tistory.com/m

eyatto-coding 님의 블로그 입니다.

구독자: 0

방명록 방문하기

주요 글 목록

엑셀(Excel) 파워쿼리(PowerQuery) 엑셀 파워쿼리란?엑셀 파워 쿼리(Power Query)는 데이터를 가져오고 변환하는 데 특화된 엑셀의 도구이다. 이를 통해 다양한 데이터 원본(예: Excel 파일, CSV, 데이터베이스, 웹 등)에서 데이터를 불러와 자동으로 정리, 변환, 병합, 분석 등의 작업을 할 수 있다. ETL(Extract, Transform, Load) 과정을 단순화하여 데이터를 보다 효과적으로 관리할 수 있도록 도와주는 기능이다. 주요 기능데이터 가져오기다양한 데이터 원본에서 데이터를 불러오는 기능지원하는 데이터 원본: 엑셀 파일, CSV, 텍스트 파일, 데이터베이스(SQL Server, Oracle, MySQL 등), 웹 데이터, API 등가져온 데이터와 원본 간의 연결 유지 가능원본 데이터를 변경하면 파워 쿼리를 통.. 공감수 0 댓글수 0 2024. 11. 25.
엑셀(Excel) 파워쿼리(PowerQuery)를 활용한 네이버 부동산 데이터 수집 엑셀로 간단히 데이터 크롤링 하기엑셀로 크롤링하는 방법은 크게 VBA와 파워 쿼리 두 가지로 나뉜다. VBA는 코드 작성이 필요해 크롤링 전반에 대한 프로그래밍 지식이 요구되지만, 파워 쿼리를 이용하면 별도의 코딩 없이 직관적인 인터페이스만으로 데이터를 손쉽게 수집할 수 있다. 특히, 파워 쿼리는 반복 작업을 자동화하는 기능이 탁월해 데이터를 주기적으로 갱신해야 하는 경우에도 유리하다. 엑셀은 시트당 최대 1,048,576개의 행으로 제한된다. 따라서 수집하려는 데이터가 100만 건 미만이라면 엑셀을 통해 수집하는 것이 별도의 전문 프로그램을 사용하는 것보다 간단하고 효율적이다. 또한, 데이터 수집과 분석을 동일한 플랫폼에서 진행할 수 있어 작업 시간이 대폭 줄어든다. 이번 글에서는 네이버 부동산을 예제.. 공감수 1 댓글수 0 2024. 11. 23.
Playwight로 데이터 수집 Selenium vs Playwright 비교웹스크래핑웹스크래핑이란?웹스크래핑은 웹사이트의 데이터를 자동으로 긁어오는 기술로, 네이버나 구글 같은 웹사이트에서 직접 정보를 복사하고 붙여넣기 하는 대신, 코드로 데이터를 한 번eyatto-coding.tistory.com 쿠팡 육아용품 스크래핑이번 포스팅에서는 Playwright를 이용해 쿠팡에서 육아용품을 스크래핑해보려고 한다. Playwright의 비동기 기능을 활용해서 빠르고 효율적으로 데이터를 수집하는 방법을 설명한다. 그럼 코드의 주요 부분을 단계별로 살펴보자! 1. 필요한 모듈 Import하기우선 이 코드를 작성하기 위해 필요한 라이브러리들을 import 해보자. Playwright와 정규표현식 처리를 위한 모듈들을 가져온다.import asyn.. 공감수 10 댓글수 7 2024. 10. 30.
Selenium vs Playwright 비교 웹스크래핑웹스크래핑이란?웹스크래핑은 웹사이트의 데이터를 자동으로 긁어오는 기술로, 네이버나 구글 같은 웹사이트에서 직접 정보를 복사하고 붙여넣기 하는 대신, 코드로 데이터를 한 번에 긁어오eyatto-coding.tistory.com Selenium vs Playwright: 동적 웹스크래핑 도구 비교동적 웹스크래핑을 할 때, 우리는 브라우저에서 로딩되는 콘텐츠까지 모두 가져와야 한다. 가장 많이 사용되는 도구가 Selenium과 Playwright인데, 이 두 가지는 브라우저를 직접 제어해 JavaScript로 로드된 콘텐츠까지 모두 가져올 수 있도록 도와주는 강력한 도구들이다. 정적웹스크래핑과 동적웹스크래핑에 대한 개념은 위의 링크에서 알아보았다. 이번 포스팅에서는 동적웹스크래핑의 최신 기술인 Pl.. 공감수 2 댓글수 0 2024. 10. 30.
웹스크래핑 웹스크래핑이란?웹스크래핑은 웹사이트의 데이터를 자동으로 긁어오는 기술로, 네이버나 구글 같은 웹사이트에서 직접 정보를 복사하고 붙여넣기 하는 대신, 코드로 데이터를 한 번에 긁어오는 것을 말한다. 주로 Python이나 JavaScript 같은 프로그래밍 언어를 많이 사용한다. 스크래핑을 잘 활용하면, 최신 뉴스, 상품 가격 정보, 영화 리뷰 같은 데이터를 손쉽게 수집할 수 있다. 웹스크래핑의 두 가지 유형은 바로 정적과 동적 웹스크래핑이다. 이 둘의 차이를 알면 원하는 데이터를 더 쉽게 얻을 수 있다. 정적 웹스크래핑 (Static Web Scraping)정적 웹스크래핑은 서버에서 웹페이지를 요청할 때 완성된 HTML 코드를 바로 받는 방식이다. 우리가 웹사이트를 열었을 때 모든 내용이 한 번에 표시되는.. 공감수 1 댓글수 0 2024. 10. 30.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.