전체 글29 22.02.02 <3주차 숙제> 지니 뮤직 크롤링하기 import requests from bs4 import BeautifulSoup headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get('https://www.genie.co.kr/chart/top200?ditc=D&ymd=20200403&hh=23&rtm=N&pg=1',headers=headers) soup = BeautifulSoup(data.text, 'html.parser') trs = soup.select('#body-content > div.newest-lis.. 2022. 2. 2. 22.02.02 DB개괄, pymongo로 DB 조작하기, 웹스크래핑 결과 이용하기 mongoDB는 눈에 보이지 않지만 작동되고 있음 그걸 시각화해서 볼 수 있게 하는 프로그램이 robo3T 데이터 베이스의 목적은 단순 보관이 아니라 잘 활용하기 위해서임 SQL - 엑셀에 가까움. 열,행을 미리 정해놔야 함. (공란으로라도 채워짐) 중간에 수정하기가 힘들다는 단점이 있으나, 데이터가 일관적이기때문에 분석하기 용이함. NoSQL(Not only SQL) - 딕셔너리 형태. 데이터 하나하나가 다 다르기 때문에 유연함. 스타트업, 초기 단계에서 많이 채택. 파이썬으로 DBmongo 사용하려면? 'pymongo' 라이브러리 설치 #pymongo 기본코드 from pymongo import MongoClient #pymongo 쓰겠습니다. client = MongoClient('localhost.. 2022. 2. 2. 22.01.28 python 웹스크래핑(크롤링) 필요한 패키지 - requests / beautiful soup(BS4) * 크롤링 기본 세팅 코드 import requests #import하기 from bs4 import BeautifulSoup headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} data = requests.get('URL',headers=headers) #headers:코드단에서 요청할 때 막아둔 사이트가 많아서, 브라우저에서 한 것 같은 효과를 냄 soup = BeautifulSoup(data.text, 'html.parser'.. 2022. 2. 2. 22.01.27 Python 시작하기, 기초 공부, 패키지 설치하기 & 사용해보기 주의사항 new project 1. location : pythonprac 으로 설정 2. venv 붙었는지 꼭 확인 (안 붙었으면 써주기) 3. base interpreter : python3.8 로 설정 (우리가 설치한거임) 4. create a main ~ 체크해제 오픈 후 + venv 폴더는 절대 건들지 말 것 : 패키지가 담긴 공구상자, 가상환경이므로 괜한 뻘짓 x 실행 할 땐 마우스 우클릭>run 으로 할 것 (화면 상단 버튼 xxxxxxx) 모든 문법을 다 알 수 없고 다 외울 필요도 없으니, 필요할 때 그때그때 구글링하는 습관 가지기! [기초문법] 에러 확인시 제일 아래 문장부터 보고 대충 파악한 뒤에 해당 문장 구글링해보면 해결법 나올거임 - 변수, list, dict는 javas랑 비슷.. 2022. 1. 27. 이전 1 2 3 4 5 6 7 8 다음
