멀티캠퍼스의 매거진

마케터, 기획자를 위한 코딩! 웹 크롤링

멀티캠퍼스

2020.08.24 00:00
  • 601
  • 0
  • 2
  • 0

 

 

요즘 초등학생도 필수로 배운다는 코딩, 

 

나도 배워야 할 것 같은데 생각하셨나요? 

 

"개발을 할 건 아닌데 그 정도까지 공부해야 하나...?" 고민되는 것도 사실이죠. 

그런 마케터, 기획자, 실무자분들을 위한 코딩 분야가 따로 있어 소개해드립니다! 바로 웹 크롤링인데요.  

 

 

 

 

 

 

웹 크롤링 


소프트웨어가 웹을 돌아다니며 

유용한 정보를 찾아 특정 데이터베이스로 수집해오는 작업

 

 

"오늘까지 경쟁사 상품/가격 정보 좀 리스트 업 해주세요." 

"우리 브랜드에 대한 고객 버즈 정리해놔요" 

"요즘 2030 세대에게 인기 있는 상품은 뭐가 있나요?" 

"SNS 트렌드 분석에 필요한 자료 좀 준비해주세요." 

"ㅇㅇ 관련 기사, 블로그 콘텐츠, 댓글 좀 정리해둬요" 

 

이런 질문과 요청, 현업에서 근무하다 보면 많이 받으시잖아요. 하나하나 검색해보며 엑셀로 컨트롤 C + V 반복하셨던 분들이라면 코딩 아니 웹 크롤링만 아셔도 한 결 편해집니다. 웹 크롤링을 하는 방법에는 크게 2가지가 있는데요. 

 

첫 번째 방법은 우리가 일반적으로 생각하는 웹 사이트 크롤링입니다. 게시판이나, 네이버 뉴스와 같이 모든 정보가 모여있는 하나의 페이지에서 데이터를 크롤링 하는 것을 의미하는데요. 

 

 

 

▲    네이버 VIBE 오늘 Top 100 

 

하나의 페이지 내에 모든 정보가 들어가 있는 네이버 뉴스 섹션 헤드라인 긁기, 네이버 TOP 10 검색어 등과 같은 데이터 수집&분석을 진행할 때는 파이썬 라이브러리 패키지 ''BeautifulSoup'를 활용하면 됩니다. 일반적으로 고정된 페이지들은 대부분 'BeautifulSoup' 패키지를 활용하면 수집이 된다고 이해하시면 된답니다! 그러나 우리가 트렌드 분석이나 데이터 수집을 할 때 고정된 값만 필요한 것은 아닙니다. 

 

네이버 지도, 인스타그램, 페이스북 같은 사이트는 우리가 어떻게 행동하느냐에 따라 결과값이 바뀌는데요. 특히 인스타그램 같은 사이트는 웹 사이트를 내릴 때마다 새로운 사진들이 로딩되는 형태라  'BeautifulSoup'으로 크롤링이 불가합니다. 

 

 

▲Selenium을 활용한 네이버 지도 데이터 수집기

 

 

 

이럴 때는 'selenium'을 사용하면 되는데요. ​수강신청하실 때 다들 매크로 사용해보셨나요? 

매크로처럼 브라우저에게 '로그인해' 'ㅇㅇ키워드 검색해' '스크롤 내려' 등의 행동을 하게 해 관련 데이터를 수집하는 것입니다. 현업에서 트렌드 분석을 하게되면 고정된 페이지만 분석하지 않기 때문에 이 두가지 크롤링 방법을 모두 숙지해 활용하는 것이 필요한데요. 독학으로 공부하실 분들이라면 파이썬 기초와 파이썬 라이브러리의 이용법을 숙지하신 후, BeautifulSoup, selenium 기술을 중심으로 학습하시는 것을 추천합니다. 

 

 

만약 혼자가 자신 없다면 웹 크롤링만 집중해서 배우는 멀티캠퍼스 [저녁반] 데이터 쓸어담는 웹 크롤링 입문 Class를 들어보세요!

과정 자세히보기 click!

 

 

파이썬 기초부터 웹크롤링 데이터 수집과 관련된 BeautifulSoup, selenium 기술 모두를 집중해서 배운답니다. 오프라인 수업과 스터디, 게다가 혼자 공부할 수 있는 자습용 교재를 모두 드린다는 사실 

개발자가 되고 싶지는 않지만, 내 커리어에 코딩 한 스푼 얹고 싶은 마케터, 기획자, 직장인분들 웹 크롤링 기술을 꼭 기억하세요! 트렌드 분석에 대한 여러분의 경쟁력을 높여줄 거예요. 

 

오픈애즈 유저들을 위한 멀티캠퍼스 할인코드 받기

 

 

 

 

  • #멀티캠퍼스
  • #크롤링

추천 콘텐츠

더보기