yos_blog

Python으로 AWS 비용 데이터 자동화 및 Slack 알림 시스템 구축하기개요AWS 비용 모니터링은 클라우드 운영에서 필수적인 업무입니다. 하지만 매번 수동으로 비용 데이터를 확인하고 보고서를 작성하는 것은 비효율적입니다. 이 글에서는 Python을 사용해 AWS 비용 데이터를 자동으로 수집하고, Excel 파일로 저장한 후 Slack으로 알림을 보내는 완전 자동화 시스템을 구축하는 방법을 소개합니다.주요 기능✅ 웹 스크래핑을 통한 AWS 비용 데이터 자동 수집✅ Excel 파일 자동 생성 및 저장✅ Slack Bot API를 통한 실시간 알림✅ 파일 첨부 기능으로 즉시 데이터 공유✅ 환경변수를 통한 보안 정보 관리✅ Windows 작업 스케줄러 연동시스템 아키텍처[AWS 비용 서버] → [Pytho..

게더타운 접속자를 확인하는 파이썬 프로그램 크롬 익스텐션의 문제점이 발견되어 > 파이썬 셀레니움으로 변경 크롬익스텐션의경우 상시가 되지않고 다른데 클릭하면 꺼짐. 플라스크+파이썬 셀레니움 조합으로 변경하여 코드 변경 0. 크롬 디버그모드 접속 크롬 브라우저를 디버그 모드로 접속. "C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe" --remote-debugging-port=9222 --user-data-dir="D:\\ChromeTEMP" 바로 가기경로에 아규먼트 추가 원격디버그 포트 추가 -remote-debugging-port 9222 유저데이타 저장 폴더 지정 -user-data-dir="D:\ChromeTEMP" app.py에 플라스크로 학..

크롬 익스텐션의 한계를 극복하기 위해, 게더타운이 실행 중인 크롬을 파이썬을 통해 디버그 모드로 실행하는 방법을 도입했습니다. 이를 위해 셀레니움을 활용하여 크롬을 제어하고, Flask를 이용하여 웹페이지를 구축하여 게더타운의 출석 페이지를 웹 기반으로 관리할 수 있도록 구현했습니다. 구현 방법 요약: 파이썬을 사용하여 게더타운이 실행 중인 크롬을 디버그 모드로 실행합니다. 셀레니움을 활용하여 크롬을 자동으로 제어합니다. Flask를 통해 간단한 웹페이지를 구축합니다. 게더타운의 출석 페이지를 웹 기반으로 구현하여 학생 출석 정보를 관리합니다. 문제점과 해결책: 그러나 회사에서 제공한 노트북의 성능 한계로 인해 동시에 여러 작업을 실행할 경우 시스템 자원이 부족하여 별도의 서버를 구축해야 하는 문제가 발..

이전글. 더보기 https://myharu.tistory.com/218 Docker 가지고 놀기 1탄 - 웹 크롤링(docker,python,selenium 등등) 일단 1탄이다. 시작은 반이니까.. 흐름은 이렇다. 도커로 만든 크롤러가 특정사이트에서 특정 상품이 있는지 체크하고 있으면 텔레그램으로 알려주는 기능이다. 일단 도커파일 만들기 FROM python:3 myharu.tistory.com https://myharu.tistory.com/219 출석체크 셀레니움 도커 이전작업 1일차 함수들 만들어두기 원래는 윈도우에 스케쥴링으로 구성해놨었다.. 근데 윈도우서버가 노후되고 실행이 잘안되서 도커로 이전작업을 한뒤에 클라우드에 도커 컨테이너 방식으로 올려볼 예정이다. 현재 작업된 소 myharu.tis..

이전글. https://myharu.tistory.com/218 Docker 가지고 놀기 1탄 - 웹 크롤링(docker,python,selenium 등등) 일단 1탄이다. 시작은 반이니까.. 흐름은 이렇다. 도커로 만든 크롤러가 특정사이트에서 특정 상품이 있는지 체크하고 있으면 텔레그램으로 알려주는 기능이다. 일단 도커파일 만들기 FROM python:3 myharu.tistory.com https://myharu.tistory.com/219 출석체크 셀레니움 도커 이전작업 1일차 함수들 만들어두기 원래는 윈도우에 스케쥴링으로 구성해놨었다.. 근데 윈도우서버가 노후되고 실행이 잘안되서 도커로 이전작업을 한뒤에 클라우드에 도커 컨테이너 방식으로 올려볼 예정이다. 현재 작업된 소 myharu.tistory..

원래는 윈도우에 스케쥴링으로 구성해놨었다.. 근데 윈도우서버가 노후되고 실행이 잘안되서 도커로 이전작업을 한뒤에 클라우드에 도커 컨테이너 방식으로 올려볼 예정이다. 현재 작업된 소스를 도커 컨테이너 방식에 맞게 수정하고 하나씩 실행해보고 문제여부를 체크해본다. https://blog.yos.kr/218 Docker 가지고 놀기 1탄 - 웹 크롤링(docker,python,selenium 등등) 일단 1탄이다. 시작은 반이니까.. 흐름은 이렇다. 도커로 만든 크롤러가 특정사이트에서 특정 상품이 있는지 체크하고 있으면 텔레그램으로 알려주는 기능이다. 일단 도커파일 만들기 FROM python:3 blog.yos.kr 에서 만들었던 도커파일을 계속사용한다. 도커에 소스폴더를 마운트 했기때문에 외부에서 소스 작..

일단 1탄이다. 시작은 반이니까.. 흐름은 이렇다. 도커로 만든 크롤러가 특정사이트에서 특정 상품이 있는지 체크하고 있으면 텔레그램으로 알려주는 기능이다. 일단 도커파일 만들기 FROM python:3.9 WORKDIR /usr/src RUN apt-get -y update RUN apt install -y wget unzip RUN wget RUN apt -y install ./google-chrome-stable_current_amd64.deb RUN wget -O /tmp/chromedriver.zip curl -sS chromedriver.storage.googleapis.com/LATEST_RELEASE`/chromedriver_linux64.zip RUN mkdir chrome RUN unzi..

파이썬 웹프레임워크중 하나인 Django에 대해 배웠다.. settings.py: 프로젝트에 다양한 설정에 관한 내용이 들어있는 파일 urls.py: (URI를 설정하기위한 파일) 하나의 프로젝트에는 여러개의 urls 파일이 만들어지고 config 안의 urls파일은 최초로 탐색되는 기준 urls 파일 기준 urls 파일은 settings 파일에서 변경 가능 각 기능을 앱으로 만든다(게시판,로그인,결제 등등) python manage.py startapp [앱이름] App 구조는 1) admin.py: 관리자가 접속하면 보이는 화면, 내장돼 있음 2) apps.py: 앱을 프로젝트에 등록하는 기능을 함 3) models.py : 장고 DB 관련된 파일 / DB 사용계획, 정의, 연결 등의 다양한 설정들을..

파이썬 창을 만들어 버튼을 눌러 실행하고 설정값을 받고 할수있다 PyQt5 라이브러리를 사용한다. #창띄우고 종료버튼 만들기 import sys from PyQt5.QtWidgets import QApplication, QPushButton, QMainWindow from PyQt5.QtCore import QCoreApplication from PyQt5.QtGui import QIcon class MyApp(QMainWindow): def __init__(self): super().__init__() self.initUI() def initUI(self): #아이콘 설정 self.setWindowTitle('Icon') self.setWindowIcon(QIcon('./image/icon.png'))..

파이썬은 많은 개발자들이 만들어둔게 많다 그중에서 셀레니움이라는 크롬브라우저를 제어하는 함수모음이 있는데 그걸 이용하여 로그인을 해보자 selenium을 사용하게 설정 크롬에 맞는 크롬 드라이버 설치 from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.keys import Keys from selenium.webdriver.support import expected_conditions as EC import chromedriver_autoinstaller 이전에 배운 텔레그램을 사용하여 알림 남기기 import subprocess import pype..