프로젝트 설계
코딩 하기 전에 만들 API를 설계하는게 중요함!
포스팅 API, 리스팅 API에서 클라이언트가 요청하는 정보와 서버가 제공하는 기능 & 응답 데이터를 명확히 설계하고 코딩 시작할 것.
포스팅 API (카드 생성) | 리스팅 API (저장된 카드 보여주기) | |
요청정보 | - 요청 URL : /memo - 요청 방식 : POST (create니까) - 요청 데이터 : URL(url_give), 코멘트(comment_give) |
- 요청 URL : /memo - 요청 방식 : GET (Read니까) - 요청 데이터 : 없음 |
서버 제공 기능 | - URL의 meta태그 정보를 이용해서 제목, 설명, 이미지URL 스크래핑 - 스크래핑한 정보를 DB에 저장 |
- DB에 저장되어있는 모든 정보 가져오기 |
응답 데이터 | - API가 정상적으로 작동하는지 클라이언트에게 알려주기 위해 성공여부 alert로 알려주기 - 'result' = 'success' |
- 아티클들의 정보(제목, 설명, URL, 이미지URL,코멘트) 카드로 만들어서 붙이기 - 'articles' : 아티클 정보 |
조각 기능 구현해보기
조각기능 : 안 해본, 익숙치 않은 것들은 따로 python파일 만들어서 실행해보고 잘 되면 킵해뒀다가 필요한 타이밍에 붙여넣기
meta 태그 : <head></head>에 들어감. 눈으로 보이는 것(body)외에 사이트의 속성을 설명해 주는 태그들. sns 공유할 때 링크만 붙이면 자동으로 뜨는 이미지, 제목, 설명문 같은 것들.
import requests
from bs4 import BeautifulSoup
url = 'https://movie.naver.com/movie/bi/mi/basic.nhn?code=171539'
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get(url,headers=headers)
soup = BeautifulSoup(data.text, 'html.parser') # 여기까지가 크롤링 기본 코드(bs4)
og_image = soup.select_one('meta[property="og:image"]')
og_title = soup.select_one('meta[property="og:title"]')
og_description = soup.select_one('meta[property="og:description"]')
print(og_image)
print(og_title)
print(og_description) #select_one 으로 meta tag 가져와서 확인하기
url_image = og_image['content']
url_title = og_title['content']
url_description = og_description['content']
print(url_image)
print(url_title)
print(url_description) #위에서 가져온 meta tag의 content 가져와서 확인하기
POST
1. 클라이언트와 서버 연결 확인하기
서버 코드
@app.route('/memo', methods=['POST'])
def post_articles():
sample_receive = request.form['sample_give'] #클라이언트로부터 URL과 코멘트를 전달 받아야 함
print(sample_receive) #받은 URL에서 meta tag를 스크래핑한 후
return jsonify({'msg': 'POST 연결되었습니다!'}) # URL, 제목, 설명, 이미지 URL, 코멘트 를 DB에 넣어야 함
클라이언트 코드
function postArticle() {
$.ajax({
type: "POST", //서버에게 meta tag를 가져 올 url과 유저가 입력한 코멘트를 넘겨야 함
url: "/memo", //따라서 input-box #post-url과 #post-comment에서 데이터를 가져온 후
data: {sample_give:'샘플데이터'},
success: function (response) { // /memo에 POST 방식으로 메모 생성을 요청해야함
alert(response['msg']); // 성공하면 페이지 새로고침도!
}
})
}
<button type="button" class="btn btn-primary" onclick="postArticle()">기사저장</button>
2. 서버 만들기
@app.route('/memo', methods=['POST'])
def saving():
url_receive = request.form['url_give']
comment_receive = request.form['comment_give']
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get(url_receive, headers=headers)
soup = BeautifulSoup(data.text, 'html.parser')
title = soup.select_one('meta[property="og:title"]')['content']
image = soup.select_one('meta[property="og:image"]')['content']
desc = soup.select_one('meta[property="og:description"]')['content']
doc = {
'title':title,
'image':image,
'desc':desc,
'url':url_receive,
'comment':comment_receive
}
db.articles.insert_one(doc)
return jsonify({'msg':'저장이 완료되었습니다!'})
3. 클라이언트 만들기
function postArticle() {
let url = $('#post-url').val()
let comment = $('#post-comment').val()
$.ajax({
type: "POST",
url: "/memo",
data: {url_give:url, comment_give:comment},
success: function (response) { // 성공하면
alert(response["msg"]);
window.location.reload()
}
})
}
4. 완성 확인하기
네이버 영화 링크 URL입력하고 기사 저장 눌렀을 때 '포스팅 성공!' alert창 뜨면 성공한거임.
GET
1. 클라이언트와 서버 연결 확인하기
서버 코드
@app.route('/memo', methods=['GET'])
def read_articles():
#조건없이 모든 메모를 보여줄 것이므로, 서버가 클라이언트에게서 추가로 전달받아야 할 정보는 없음(_id 값을 제외하고 모든 데이터 조회해오면 됨.)
return jsonify({'result':'success', 'msg':'GET 연결되었습니다!'}) #articles라는 키 값으로 artivles 정보 보내주기
클라이언트 코드
function showArticles() {
$.ajax({
type: "GET", // /memo에 GET방식으로 메모 정보 요청하고 articles로 메모 정보 받기
url: "/memo",
data: {},
success: function (response) {
if (response["result"] == "success") { // makeCard 함수를 이용해서 카드 HTML 붙이기
alert(response["msg"]);
}
}
})
}
2. 서버부터 만들기
@app.route('/memo', methods=['GET'])
def listing():
articles = list(db.articles.find({}, {'_id': False}))
return jsonify({'all_articles':articles})
3. 클라이언트 만들기
function showArticles() {
$.ajax({
type: "GET",
url: "/memo",
data: {},
success: function (response) {
let articles = response['all_articles']
for (let i = 0; i < articles.length; i++) {
let title = articles[i]['title']
let image = articles[i]['image']
let url = articles[i]['url']
let desc = articles[i]['desc']
let comment = articles[i]['comment']
let temp_html = `<div class="card">
<img class="card-img-top"
src="${image}"
alt="Card image cap">
<div class="card-body">
<a target="_blank" href="${url}" class="card-title">${title}</a>
<p class="card-text">${desc}</p>
<p class="card-text comment">${comment}</p>
</div>
</div>`
$('#cards-box').append(temp_html)
}
}
})
}
4. 완성확인하기
새로고침 했을 때, 앞에서 테스트 했던 메모가 붙여지면 성공!
전체 완성 코드
더보기
더보기
클라이언트 코드
<!Doctype html>
<html lang="ko">
<head>
<!-- Required meta tags -->
<meta charset="utf-8">
<meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no">
<!-- Bootstrap CSS -->
<link rel="stylesheet" href="https://maxcdn.bootstrapcdn.com/bootstrap/4.0.0/css/bootstrap.min.css"
integrity="sha384-Gn5384xqQ1aoWXA+058RXPxPg6fy4IWvTNh0E263XmFcJlSAwiGgFAW/dAiS6JXm"
crossorigin="anonymous">
<!-- JS -->
<script src="https://ajax.googleapis.com/ajax/libs/jquery/3.5.1/jquery.min.js"></script>
<script src="https://cdnjs.cloudflare.com/ajax/libs/popper.js/1.12.9/umd/popper.min.js"
integrity="sha384-ApNbgh9B+Y1QKtv3Rn7W3mgPxhU9K/ScQsAP7hUibX39j7fakFPskvXusvfa0b4Q"
crossorigin="anonymous"></script>
<!-- 구글폰트 -->
<link href="https://fonts.googleapis.com/css?family=Stylish&display=swap" rel="stylesheet">
<title>스파르타코딩클럽 | 나홀로 메모장</title>
<!-- style -->
<style type="text/css">
* {
font-family: "Stylish", sans-serif;
}
.wrap {
width: 900px;
margin: auto;
}
.comment {
color: blue;
font-weight: bold;
}
#post-box {
width: 500px;
margin: 20px auto;
padding: 50px;
border: black solid;
border-radius: 5px;
}
</style>
<script>
$(document).ready(function () {
showArticles();
});
function openClose() {
if ($("#post-box").css("display") == "block") {
$("#post-box").hide();
$("#btn-post-box").text("포스팅 박스 열기");
} else {
$("#post-box").show();
$("#btn-post-box").text("포스팅 박스 닫기");
}
}
function postArticle() {
let url = $('#post-url').val()
let comment = $('#post-comment').val()
$.ajax({
type: "POST",
url: "/memo",
data: {url_give:url, comment_give:comment},
success: function (response) { // 성공하면
alert(response["msg"]);
window.location.reload()
}
})
}
function showArticles() {
$.ajax({
type: "GET",
url: "/memo",
data: {},
success: function (response) {
let articles = response['all_articles']
for (let i = 0; i < articles.length; i++) {
let title = articles[i]['title']
let image = articles[i]['image']
let url = articles[i]['url']
let desc = articles[i]['desc']
let comment = articles[i]['comment']
let temp_html = `<div class="card">
<img class="card-img-top"
src="${image}"
alt="Card image cap">
<div class="card-body">
<a target="_blank" href="${url}" class="card-title">${title}</a>
<p class="card-text">${desc}</p>
<p class="card-text comment">${comment}</p>
</div>
</div>`
$('#cards-box').append(temp_html)
}
}
})
}
</script>
</head>
<body>
<div class="wrap">
<div class="jumbotron">
<h1 class="display-4">나홀로 링크 메모장!</h1>
<p class="lead">중요한 링크를 저장해두고, 나중에 볼 수 있는 공간입니다</p>
<hr class="my-4">
<p class="lead">
<button onclick="openClose()" id="btn-post-box" type="button" class="btn btn-primary">포스팅 박스 열기
</button>
</p>
</div>
<div id="post-box" class="form-post" style="display:none">
<div>
<div class="form-group">
<label for="post-url">아티클 URL</label>
<input id="post-url" class="form-control" placeholder="">
</div>
<div class="form-group">
<label for="post-comment">간단 코멘트</label>
<textarea id="post-comment" class="form-control" rows="2"></textarea>
</div>
<button type="button" class="btn btn-primary" onclick="postArticle()">기사저장</button>
</div>
</div>
<div id="cards-box" class="card-columns">
</div>
</div>
</body>
</html>
더보기
더보기
서버코드
from flask import Flask, render_template, jsonify, request
app = Flask(__name__)
import requests
from bs4 import BeautifulSoup
from pymongo import MongoClient
client = MongoClient('localhost', 27017)
db = client.dbsparta
## HTML을 주는 부분
@app.route('/')
def home():
return render_template('index.html')
@app.route('/memo', methods=['GET'])
def listing():
articles = list(db.articles.find({}, {'_id': False}))
return jsonify({'all_articles':articles})
## API 역할을 하는 부분
@app.route('/memo', methods=['POST'])
def saving():
url_receive = request.form['url_give']
comment_receive = request.form['comment_give']
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get(url_receive, headers=headers)
soup = BeautifulSoup(data.text, 'html.parser')
title = soup.select_one('meta[property="og:title"]')['content']
image = soup.select_one('meta[property="og:image"]')['content']
desc = soup.select_one('meta[property="og:description"]')['content']
doc = {
'title':title,
'image':image,
'desc':desc,
'url':url_receive,
'comment':comment_receive
}
db.articles.insert_one(doc)
return jsonify({'msg':'저장이 완료되었습니다!'})
if __name__ == '__main__':
app.run('0.0.0.0',port=5000,debug=True)
'스파르타 > 웹개발' 카테고리의 다른 글
22.02.04 POST & GET 연습 <모두의 책리뷰> / PyCharm에 JQuery 최신버전 설치하기 (0) | 2022.02.06 |
---|---|
22.02.04 서버와 클라이언트 개념, Python Library (flask, bs4, requests, pymongo), 기본 폴더 구조 세팅, GET & POST (0) | 2022.02.06 |
22.02.03 <덕담 공유 코딩 패키지> '덕담 하나 주면 안 잡아먹지!' 만들기 (0) | 2022.02.04 |
3주차 개발일지 (0) | 2022.02.02 |
22.02.02 <3주차 숙제> 지니 뮤직 크롤링하기 (0) | 2022.02.02 |