Psychogrammer

🚛 DevOps 검색 결과

해당 글 23건

Elasticsearch 대용량 데이터 파이프라인 구축기 - 수십억 건 데이터를 실시간으로 처리하는 법

문제 상황어느 날 갑자기 팀원이 찾아와서 말했다. "지금 로그에서 사용자 선호 국가 데이터를 시각화하는데, 5개를 고른 유저와 1개만 고른 유저의 데이터가 같이 쌓이고 있어서 왜곡이 생기는 것 같아요. 국가별로 광고 캠페인을 집행해야하는데, 빨리 확인해볼 수 있을까요?" 맞는 말이었다. '한국'만을 선호하는 사용자와 5개 국가 중 하나로 한국을 포함시킨 사용자의 데이터가 동일한 가중치로 집계된다면, 실제 선호도를 제대로 반영하기 어려울 것이다. "그럼, 선택한 개수에 따라 가중치를 계산해서 필드로 제공해드릴까요? 예를 들어 1개 선택하면 1.0, 5개 선택하면 각각 0.2씩 부여하는 식이면 정확하진 않아도, 지금보다는 훨씬 정확할 거에요." 팀원도 좋은 아이디어라고 동의하며 바로 현재 상황을 분석하기..

🚛 DevOps 2025. 6. 19. 17:41

Docker COPY에서 node_modules 충돌 해결하기

turborepo + pnpm 환경을 도커 설정을 수정하다가 흥미로운 에러를 만났다.ERROR: failed to solve: cannot copy to non-directory: /var/lib/docker/overlay2/.../app/apps/chat/node_modules/typescriptnode_modules 관련 충돌인 건 분명한데, git에는 node_modules가 없는 상황이라 원인 파악이 필요했다. 상황 분석현재는 캐시 최적화를 위해 다음과 같은 Dockerfile 구조를 사용하고 있었다.COPY apps/chat/package.json ./apps/chat/package.jsonRUN pnpm install COPY apps ./apps # 여기서 에러 발생git 상태를 확인해..

🚛 DevOps/🐳 Docker 2025. 6. 2. 19:05

[GIT] git config 모음

Git Config git config --global -e # git config 파일 수정 git config --global core.editor "code" # vscode로 수정하기 git config -h # help option git의 global config 파일은 ~/.gitconfig에 있다. 1. git pull 할 때 rebase를 기본값으로 git config --global pull.rebase true Pull시 rebase 자동 설정: http://theeye.pe.kr/archives/1980 Git Pull시에 자동으로 Rebase적용하기 | 아이군의 블로그 이번글은 git pull시에 rebase를 사용할것인지 말것인지에 대한 이야기는 아닙니다. 프로젝트를 진행하다 보..

🚛 DevOps/🟥 GIT 2022. 6. 9. 18:20

[GIT] 팀 프로젝트 merge시 사용했던 명령어

merge 실수 관련 명령어 revert : 현재에 있으면서 과거의 특정 사건(commit)들만 없던 일로 만든다. git revert HEAD -m 1 과거의 커밋내용이 merge할 때 다른 브랜치에 영향을 주어 2번 방법을 사용 reset : 시간을 아예 과거의 특정 사건(commit)으로 되돌린다. git reset HEAD^ : 최신 commit 없애버리기 git push origin origin/OOO-- force: no-ff 옵션 붙여 merge했을 때 push가 안되면 강제로 올리기 merge 실수 관련 명령어 git merge origin/OOO : merge git merge --abort : merge 명령어 취소 git reset --hard HEAD: 병합 후 편집까지 했지만, 취..

🚛 DevOps/🟥 GIT 2022. 3. 21. 21:35

[GIT] clone부터 해당 체크아웃까지 (branch, checkout)

프로젝트를 시작할 때, 간단하게 코드만 확인하고 싶은 분들을 위해 정리했다. ✅ 프로젝트 클론부터 브랜치 이동까지 1. 프로젝트 클론하기 git clone 2. 해당 디렉토리로 이동 cd 3. 브랜치 이동 git checkout -t [원격 저장소의 branch 이름] # 로컬에 동일한 이름의 branch를 생성하면서 checkout git checkout -b [생성할 branch 이름] [원격 저장소의 branch 이름] # 원격 branch 이름을 바꿔 가져오기 git checkout -b [생성할 branch 이름] # (현재 브랜치를 기준으로) 새로운 브랜치를 만들기 + checkout ✅ 참고사항 Clone한 프로젝트에는 .git 폴더가 이미 생성되어 있어, 아래 명령어는 생략해도 된다. gi..

🚛 DevOps/🟥 GIT 2022. 3. 15. 20:08

GIT double dash의 의미: git checkout -- filename

Git에서 특정 파일의 변경을 취소할 때 아래와 같은 커맨드를 실행한다. $ git checkout -- path/to/file.txt 문법을 외워서 사용하고 있는데, 더블대시가 왜 나오며, 어떤 식으로 변경이 취소되는 걸까? 더블 대시는 배시에서 커맨드 옵션의 끝을 의미한다. 예를 들어, grep 명령으로 옵션 -v 가 아닌 문자열 -v 를 검색하고 싶다면, 아래와 같이 -- 로 옵션이 종료되었음을 명시할 수 있다. $ grep -- -v file 깃 커맨드도 마찬가지로 -- 는 옵션의 끝을 의미한다. $ git checkout -- path/to/file.txt git chekcout 의 usage 를 보면 아래와 같이 돼있다. git checkout [] or git checkout [] [] --..

🚛 DevOps/🟥 GIT 2022. 1. 15. 17:07

GIT 라이프사이클: git 관리상태 확인: status, log

untracked: 새로운 파일 modified : 추적파일 and 수정함 1. staging area 영역 파일 확인: git status $ git status - Staging area의 어떤 파일이 변경되었는지, Staging file들의 상태를 확인할 수 있다. - 새로 만든 파일의 ADD 여부 확인 - 커밋된 파일을 수정하고 있는지의 여부 확인 - untracked, tracked 상태 확인 - 명령어가 동작하지 않을 때 에러 확인 - 내가 작업한 파일 외에 다른 파일이 수정되진 않았는지 확인 ​ 2. 코드로 살펴보는 파일 상태 1. article.js, comment.js, user.js 파일을 생성하고 add하지 않은 상황이다. 2. git add 명령어를 통해 article.js 파일을 ..

🚛 DevOps/🟥 GIT 2022. 1. 15. 12:56

GIT 원격 저장소 명령어: branch, merge, checkout, push

1. 브랜치 생성 - 브랜치는 독립적으로 어떤 작업을 진행하기 위한 개념으로 각각의 브랜치는 다른 브랜치에 독립적이다. - 메인 브랜치: 배포할 수 있는 수준의 안정적인 브랜치 - 토픽 브랜치: 기능 추가나 버그 수정과 같은 단위 작업을 위한 브랜치 $ git branch # 브랜치 목록 확인 $ git checkout 브랜치이름 # 브랜치 전환 $ git checkout snapshot hash code # 스냅샷 이동도 가능 $ git branch 브랜치이름 # 브랜치 생성 2. 브랜치 병합 $ git checkout master $ git merge topic_branch $ git branch --merged # merge된 branch 확인 $ git branch -d branch name # ..

🚛 DevOps/🟥 GIT 2021. 10. 13. 11:43

[AWS] EC2 배포할 때 팁과 유의사항

EC2 배포 팁 1. 인스턴스 생성 후 running되기까지 5분, 아파치 display보이기까지 10분 정도 걸림 2. 502 Bad Gateway: 80번 포트로 접속, 3000으로 포워딩해줬는데, 3000이 아무것도 반환하지 않고 있었음; Nginx를 이용한 React 배포시 index.html을 랜더링 하고, static에 있는 bundling 되어있는 js와 css를 import하지 못하는 404 오류가 발생했다. nginx conf 값 두 군데 모두 바꿔주자. /etc/nginx/sites-available/default server { listen 80; location / { root /home/{user}/myapp/build; # root는 React build로 만든 build파일들의..

🚛 DevOps/📙 AWS 2021. 8. 19. 21:50

AWS EC2 인스턴스에 파일 업로드

파일을 EC2에서 직접 만들 수도 있지만. 로컬에 있는 파일을 EC2에 직접 올려야 하는 경우가 더 많다. EC2에서 파일을 올리기 위해서는 "SFTP" 파일전송 프로토콜을 이용한다. 일반 FTP와는 다르게 보안전송이 가능한 프로토콜이고 SSH와 같은 포트(보통 22번 포트)를 이용한다. 먼저 SFTP를 지원하는 FTP클라이언트가 필요하다. FileZilla - The free FTP solution Overview Welcome to the homepage of FileZilla®, the free FTP solution. The FileZilla Client not only supports FTP, but also FTP over TLS (FTPS) and SFTP. It is open source ..

🚛 DevOps/📙 AWS 2021. 5. 20. 16:49

AWS Route53 도메인 환불 가능할까?

스펠링 실수로 도메인을 2개 구입했다. 테스트용으로 사용하자니, 도메인이 하나 더 남는게 있기 때문에 환불받아야 했다. 엄연히 사용자 측 실수이기 때문에 큰 기대없이, 일단 문의했다. 그리고 2-3일이 지난 후 답변이 왔다. 1. 원래 도메인은 환불받을 수 없다. 2. 하지만 한 번 예외로, 도메인을 삭제하면 우리가 환불해주겠다. 3. 도메인을 삭제하고 답장을 보내달라. 그리고 10분도 안되어, 환불 메일이 왔다. 결론: 도메인 환불은 가능하다. (조건: 1번만, 도메인 삭제하면)

🚛 DevOps/📙 AWS 2021. 5. 17. 10:24

AWS EC2인스턴스 미국 오하이오 주 -> 한국으로 지역 변경

문제 발생 1. 이미지 로딩 속도가 느렸다. 2. 카카오톡 공유하기 버튼과 같은 API통신이 버벅거렸다. 유로 인스턴스로 속도를 올릴 의향이 충분히 있었다. 하지만 인스턴스 성능 차이는 해당 네트워크 속도 문제의 직접적인 원인은 아닌 것 같았다. 찾아보니, 문제는 지역이 default값인 미국 오하이오 주에 있었다. 아래 사진과 같이 지역이 서울로 나와야한다. 문제 해결 기존 지역에 존재하던, 인스턴스를 이미지화 하여 다른 지역에 복사해야 한다. 1. 아래 "작업" -> "이미지" -> "이미지 생성" 을 클릭 2. 이미지 생성 -> 이름 입력-> "이미지 생성" 클릭. 3. AMI(아마존 머신 이미지)를 들어가서, 생성한 이미지가 있는지 확인해 본다. 바로 들어가면 , 상태가 "Pending"으로 나오..

🚛 DevOps/📙 AWS 2021. 5. 16. 23:45

EC2와 ROUTE 53 도메인 연결

사전 준비 1. ec2 인스턴스와 elastic IP 연결 되어있다. 2. 도메인을 구입했다. 호스팅 설정 시 Route53 사용 시 무료 인증서 발급 과정에서 인증서 검증방법은 이메일 인증 혹은 CNAME 인증을 선택할 수 있습니다. 그런데 DNS 서비스로 Amazon Route53을 이용할 거라면 CNAME 인증을 선택하는 것이 편리합니다. 검증방법은 인증서 발급 신청 시 선택하게 되고 나중에 변경이 안되므로 처음부터 고려해야 합니다. CNAME 검증방법의 또다른 장점은 추후 인증서를 갱신할 때 자동으로 갱신해 주므로 갱신 주기마다 검증을 해야 하는 이메일보다 편리한 점입니다. 레코드 추가 A레코드 추가: example.com A레코드 추가: www.example.com 값 칸에 할당받은 'elast..

🚛 DevOps/📙 AWS 2021. 4. 12. 11:28

AWS 인증서: AWS Certificage Manager

ELB, 로드밸런스를 이용할 경우만 사용할 수 있다. If you want to install an SSL certificate directly on your EC2 instance, you cannot use ACM. Instead, you will need to obtain an SSL certificate through a third- arty (such as Lets Encrypt, GoDaddy, ec.) and install it following the instructions for your web server. SSL/TLS 인증서 발급 및 관리에 대한 많은 작업을 자동화 하고 단순화 하기 위해 시작되었습니다. ACM에서 제공되는 인증서는 Amazon의 인증 기관(CA)인 Amazon Tr..

🚛 DevOps/📙 AWS 2021. 4. 12. 11:23

Elastic IP 탄력적 IP 설명, 비용

탄력적 IP가 뭔가요? EC2 인스턴스를 생성하여 구동시킨 서버의 IP는 고정 IP가 아닙니다. 따라서 탄력적 IP(Elastic IP)를 이용해 고정 IP를 할당 받아서 사용할 수 있습니다. 탄력적 IP를 이용하지 않으면, 인스턴스(서버)를 중지하고 다시 실행시키면 IP가 변경되어 버리는 대참사가 일어납니다. 실제로 운영 중인 서버인 경우, 서버를 중지(STOP) 했다가 다시 켰을 때 IP가 변경되어 버리면 매우 귀찮은 일이 발생할 수 있습니다. 따라서 일반적으로 고정 IP를 할당 받기 위해서 탄력적 IP라는 것을 이용합니다. 탄력적 IP는 비용이 드나요? 탄력적 IP는 무료입니다. 단, '인스턴스에 의해 실행될 때만' 이라는 조건이 붙습니다. 할당만 받아놓고 사용하지 않으면 $0.005/hr 이 과금..

🚛 DevOps/📙 AWS 2021. 4. 12. 10:44

[Ubuntu] NGINX 설치 + LetEncrypt 설치

1. NGINX as a Reverse Proxy root권한으로 application을 실행하는 건 권장하지 않는다. NGNIX를 이용해 프록시 서버를 두자. # default로 설치 된 apache2 제거 sudo apt remove apache2 sudo apt purge apache2 sudo apt install nginx # 포트 허용 sudo ufw allow ssh sudo ufw allow http sudo ufw allow https # 방화벽 활성화 sudo ufw enable sudo ufw status 2. NGINX 설정 파일 변경 sudo vi /etc/nginx/nginx.conf user www-data; worker_processes auto; pid /run/nginx...

🚛 DevOps/📙 AWS 2021. 4. 9. 11:46

http -> https 리다이렉트 해결 (node js, helmet 모듈)

CSS, JS, 이미지 리소스 로드에 실패하여 화면이 깨지는 현상 node.js 웹서버를 배포, 기동 후 접속했는데, 위와 같은 현상이 발생할 때가 있다. (자바스크립트를 로드하지 못해서 웹페이지 자체가 작동을 안 하기도 한다) html코드를 검사해봤다. 모든 링크 파일이 https://로 연결되있었다. http://로 바꾸고 접속하니 이미지파일과 main.js파일이 잘 불러와졌다. 브라우저 개발자도구의 network탭을 보면, CSS, JS, 이미지 등을 모두 HTTPS로 요청하면서 리소스를 불러오지 못해 에러가 발생하는 케이스일 가능성이 있다. (ec2에서 모든 링크를 https로 변경해서 오류가 났다고 판단했다. ec2는 그런 권한이 없다.) node.js의 미들웨어에 helmet 모듈을 장착한건 ..

🚛 DevOps/📙 AWS 2021. 4. 8. 12:41

Amazone EC2를 이용한 배포 (인스턴스 생성 ~ 이슈 발생)

1. AWS EC2 인스턴스 생성1. 보안 그룹 추가: 인바운드 규칙에 ssh, http, https 추가2. pem키 생성 3. ssh 등록4. pem키 권한 변경chmod 400 EC2.pem맥 유저ssh -i [pem key 파일 경로] [사용자 이름]@[Public IP 주소 또는 DNS 이름]대부분의 Linux AMI의 경우, 기본 사용자 이름은 다음과 같다. Amazon Linux, CentOS, Red Hat Enterprise Linux (RHEL): ec2-user Ubuntu: ubuntu Debian: admin Fedora: fedorassh -i ~/Downloads/EC2.pem ubuntu@123.45.67.89윈도우 유저Putty-gen을 통해 pem파일을 pky파일로 변경한..

🚛 DevOps/📙 AWS 2021. 4. 1. 16:36

[GIT] 다른 아이디 사용시, "remote: Permission to 에러" (윈도우)

상황 1. A라는 github 아이디로 '최초' 글로벌 유저 등록한 상태 2. B라는 아이디로 다시 글로벌 유저등록해서 push를 진행하려 할 때 3. push의 시점은 여전히 A 라는 github 아이디를 찾고있다. 해결 1. B 라는 github 아이디로 push를 진행하고 싶을 때, 다음과 같이 설정을 바꿔준다. 2. 윈도우 > 제어판 > 자격 증명 관리자 > Windows 자격 증명 관리 3. 바꿔줄 깃허브 아이디를 넣고 저장 버튼을 누르기

🚛 DevOps/🟥 GIT 2021. 2. 14. 23:07

[GIT] 자주 발생하는 ERROR 모음

1. ERROR: (fatal: refusing to merge unrelated histories) 증상 1. git push가 안된다. 해결 1. push 전에 먼저 pull을 해서 프로젝트를 병합해 주어야 한다. 2. pull 명령 실행시 이런 문구와 함께 진행되지 않는다면, 다음의 명령으로 실행한다. $ git pull origin 브런치명 --allow-unrelated-histories # --allow-unrelated-histories # 서로 관련 기록이 없는 이질적인 두 프로젝트를 병합할 때 기본적으로 거부하는데, 이것을 허용해 주는 것이다.

🚛 DevOps/🟥 GIT 2021. 1. 28. 16:47