요즘 초등학생도 필수로 배운다는 코딩,
나도 배워야 할 것 같은데 생각하셨나요?
"개발을 할 건 아닌데 그 정도까지 공부해야 하나...?" 고민되는 것도 사실이죠.
그런 마케터, 기획자, 실무자분들을 위한 코딩 분야가 따로 있어 소개해드립니다! 바로 웹 크롤링인데요.
웹 크롤링
소프트웨어가 웹을 돌아다니며
유용한 정보를 찾아 특정 데이터베이스로 수집해오는 작업
"오늘까지 경쟁사 상품/가격 정보 좀 리스트 업 해주세요."
"우리 브랜드에 대한 고객 버즈 정리해놔요"
"요즘 2030 세대에게 인기 있는 상품은 뭐가 있나요?"
"SNS 트렌드 분석에 필요한 자료 좀 준비해주세요."
"ㅇㅇ 관련 기사, 블로그 콘텐츠, 댓글 좀 정리해둬요"
이런 질문과 요청, 현업에서 근무하다 보면 많이 받으시잖아요. 하나하나 검색해보며 엑셀로 컨트롤 C + V 반복하셨던 분들이라면 코딩 아니 웹 크롤링만 아셔도 한 결 편해집니다. 웹 크롤링을 하는 방법에는 크게 2가지가 있는데요.
첫 번째 방법은 우리가 일반적으로 생각하는 웹 사이트 크롤링입니다. 게시판이나, 네이버 뉴스와 같이 모든 정보가 모여있는 하나의 페이지에서 데이터를 크롤링 하는 것을 의미하는데요.
▲ 네이버 VIBE 오늘 Top 100
하나의 페이지 내에 모든 정보가 들어가 있는 네이버 뉴스 섹션 헤드라인 긁기, 네이버 TOP 10 검색어 등과 같은 데이터 수집&분석을 진행할 때는 파이썬 라이브러리 패키지 ''BeautifulSoup'를 활용하면 됩니다. 일반적으로 고정된 페이지들은 대부분 'BeautifulSoup' 패키지를 활용하면 수집이 된다고 이해하시면 된답니다! 그러나 우리가 트렌드 분석이나 데이터 수집을 할 때 고정된 값만 필요한 것은 아닙니다.
네이버 지도, 인스타그램, 페이스북 같은 사이트는 우리가 어떻게 행동하느냐에 따라 결과값이 바뀌는데요. 특히 인스타그램 같은 사이트는 웹 사이트를 내릴 때마다 새로운 사진들이 로딩되는 형태라 'BeautifulSoup'으로 크롤링이 불가합니다.
이럴 때는 'selenium'을 사용하면 되는데요. 수강신청하실 때 다들 매크로 사용해보셨나요?
매크로처럼 브라우저에게 '로그인해' 'ㅇㅇ키워드 검색해' '스크롤 내려' 등의 행동을 하게 해 관련 데이터를 수집하는 것입니다. 현업에서 트렌드 분석을 하게되면 고정된 페이지만 분석하지 않기 때문에 이 두가지 크롤링 방법을 모두 숙지해 활용하는 것이 필요한데요. 독학으로 공부하실 분들이라면 파이썬 기초와 파이썬 라이브러리의 이용법을 숙지하신 후, BeautifulSoup, selenium 기술을 중심으로 학습하시는 것을 추천합니다.
만약 혼자가 자신 없다면 웹 크롤링만 집중해서 배우는 멀티캠퍼스 [저녁반] 데이터 쓸어담는 웹 크롤링 입문 Class를 들어보세요!
파이썬 기초부터 웹크롤링 데이터 수집과 관련된 BeautifulSoup, selenium 기술 모두를 집중해서 배운답니다. 오프라인 수업과 스터디, 게다가 혼자 공부할 수 있는 자습용 교재를 모두 드린다는 사실
개발자가 되고 싶지는 않지만, 내 커리어에 코딩 한 스푼 얹고 싶은 마케터, 기획자, 직장인분들 웹 크롤링 기술을 꼭 기억하세요! 트렌드 분석에 대한 여러분의 경쟁력을 높여줄 거예요.
