yos_blog

파이썬 웹프레임워크중 하나인 Django에 대해 배웠다.. settings.py: 프로젝트에 다양한 설정에 관한 내용이 들어있는 파일 urls.py: (URI를 설정하기위한 파일) 하나의 프로젝트에는 여러개의 urls 파일이 만들어지고 config 안의 urls파일은 최초로 탐색되는 기준 urls 파일 기준 urls 파일은 settings 파일에서 변경 가능 각 기능을 앱으로 만든다(게시판,로그인,결제 등등) python manage.py startapp [앱이름] App 구조는 1) admin.py: 관리자가 접속하면 보이는 화면, 내장돼 있음 2) apps.py: 앱을 프로젝트에 등록하는 기능을 함 3) models.py : 장고 DB 관련된 파일 / DB 사용계획, 정의, 연결 등의 다양한 설정들을..

빅데이터 아키텍쳐(데이터 파이프라인, PUB/SUB 모델, 하둡) 데이터 파이프라인 ETL은 추출(Extract), 변환(Transform), 적재(Load)의 줄임 Pub/Sub 모델 Publish/Subscribe의 줄임말로 메시지 기반의 미들웨어 시스템을 말합니다 하둡 kafka va rabbitmq 더보기 https://www.confluent.io/blog/event-streaming-platform-1/ 1. 카프카 Kafka는 LinkedIn에서 개발한 분산 스트리밍 플랫폼, 오픈 소스 메시지 브로커 메시징, 메트릭 수집, 로그 수집, 스트림 처리 등 다양한 용도로 사용 가능 1) 특징 빠르다 수 천개의 데이터 소스로 부터 초당 수백 메가바이트의 데이터를 입력 받아도 안정적으로 처리 가능 확..

server [ 192.168.179.100 ] - 프로메테우스 서버 01-node [ 192.168.179.101 ] - 노트 익스포터 02-node [ 192.168.179.102 ] - 노트 익스포터 1. 네트워크 설정 - 각 컴퓨터 네트워크 설정 - 각 컴퓨터 호스트 이름 설정 - hosts 파일 설정 192.168.179.100 server 192.168.179.101 01-node 192.168.179.102 02-node 서버측 설정 방화벽끄기 레포지터리 설정 추가 프로메테우스 설치 설정파일 수정 프로메테우스 서버 시작 서버접속하여 확인 노드쪽 설정 방화벽끄기 노드익스포트 설정 추가 노드익스포트 설치 설정파일 수정 노드익스포트 서버 시작 더보기 server 01-node 02-node 1. ..

EC2에 모니터링을 할수있다. 작업 > 모니터링 > 세부모니터링관리 활성화 프리티어 확인하자. 더보기 CloudWatch> 지표 > 모든지표 경보만들기 경보> 모든경보 > 경보생성 알림을 받을 방식을 선택하는건데 없으면 새 주제 생성하여 메일을 등록하고 생성하면 메일주소를 등록하면 AWS SNS에 주제가 등록되며 내 이메일로 알림이 도착하여 구독해주면 된다 저장하고 시간이 지나면 작동된다. 평상시 경보상태를 보면 정상으로 나타난다 조건이 만족하면 경보상태가 되며 기록을 확인하면 메일을 보냇다고 한다 메일을 확인하면 AWS에서 메일온걸 확인할수 있다. 알림뿐만 아니라 설정에서 용량 증설도 가능하다. 대시보드는 각종 경보나 지표를 등록하여 한눈에 보기편하게 할수 있다. 대시보드 생성시 각종 정보를 추가할수도..

더보기 프로메테우스 - 메트릭 수집 프로그램 그라파나 - 시각화 도구 알람 - 메일서버 > smtp : 메일서버가 메일을 주고받는 프로토콜 > pop3 , imap : 메일서버로부터 메일을 가져오는 프로토콜 - DNS서버 On-premise 이긴하지만 EC에 올려서 작업해보자 smtp 서버 설치하고 셋팅 postfix 설치할때는 설정안함 vi /etc/hostname #mail.도메인주소로 바꾸기 > mail.oud.kr 설정파일위치 /etc/postfix master.cf 파일을 아래 주소에 있는 안내와 같이 수정한다. 단 내 도메인을 넣어야 한다. https://www.server-world.info/en/note?os=Ubuntu_18.04&p=mail&f=1 Ubuntu 18.04 LTS : Po..

파이썬 창을 만들어 버튼을 눌러 실행하고 설정값을 받고 할수있다 PyQt5 라이브러리를 사용한다. #창띄우고 종료버튼 만들기 import sys from PyQt5.QtWidgets import QApplication, QPushButton, QMainWindow from PyQt5.QtCore import QCoreApplication from PyQt5.QtGui import QIcon class MyApp(QMainWindow): def __init__(self): super().__init__() self.initUI() def initUI(self): #아이콘 설정 self.setWindowTitle('Icon') self.setWindowIcon(QIcon('./image/icon.png'))..

파이썬은 많은 개발자들이 만들어둔게 많다 그중에서 셀레니움이라는 크롬브라우저를 제어하는 함수모음이 있는데 그걸 이용하여 로그인을 해보자 selenium을 사용하게 설정 크롬에 맞는 크롬 드라이버 설치 from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.keys import Keys from selenium.webdriver.support import expected_conditions as EC import chromedriver_autoinstaller 이전에 배운 텔레그램을 사용하여 알림 남기기 import subprocess import pype..

pymysql.err.OperationalError: (2003, "Can't connect to MySQL server on '192.168.0.230:3300' ([Errno 11001] getaddrinfo failed)") 원인은 포트번호를 따로해야한다... 멍청이. AWS Lambda 에 올려서 테스트하는데 계속 타임아웃이길래 찾다찾다 왜안되나했다.. 한시간만에 범인을 발견.. AWS Lambda 는 한국이아닌가봐 ㅠㅠ

Lambda 를 활용하여 파이선 코드로 RDS에 연동하는 실습을 진행한다. GET방식 import pymysql def lambda_handler(event,context): conn = pymysql.connect( host='[db주소]', user='[아이디]', password='[비번]', db='[db이름]', charset='utf8') curs = conn.cursor() sql = "SELECT sage FROM student WHERE sname='"+event["sname"]+"'" curs.execute(sql) rows = curs.fetchall() conn.close() return rows[0][0] db에서 이름으로 정보 불러오는 html코드 람다에 함수를 추가하고 테스트를..

파이썬의 기초를 배워서 이제 AWS에서 람다를 활용해 함수들을 만들수있다. 10메가 이상은 S3에서 불러올수있고 그이하는 직접 작성하여 zip파일로 올릴수있다. 함수를 만들고 테스트를 할때 테스트 이벤트를 생성하여 테스트 서버에 이벤트값는 json 방식으로 event 전달된다. Lambda 함수를 만드는 시점에 서비스가 코드를 실행할 때 AWS Lambda가 호출할 수 있는 코드의 함수인 핸들러를 지정합니다. Python에서 핸들러 함수를 생성할 때 다음과 같은 일반적인 구문 구조를 사용합니다. import json print('Loading function') def lambda_handler(event, context): #print("Received event: " + json.dumps(event..