티스토리

후후후후

검색하기

블로그 홈

후후후후

mn040820.tistory.com/m

후후후하하하 님의 블로그입니다.

구독자: 2

방명록 방문하기

주요 글 목록

Nginx, Docker, Github Actions를 이용한 무중단 배포 진행 무중단 배포 도입 이유진행중인 프로젝트에서 Github Actions를 통해 CI/CD를 구축한 상태이다. main 브랜치에 merge될 때마다 자동 배포가 진행되는데, 이때 필연적으로 서버가 종료되고 다시 시작되는 시간(Downtime)이 발생했다. 최소 30초에서 길면 60초 정도가 걸렸는데, 지금은 개발기간이라 큰 문제는 없지만 이후 운영 상황에서의 이 Downtime은 사용자 경험 측면에서도 안좋고 서비스가 성장할 수록 손실이 커질 것이라 판단하여 무중단배포 도입을 결정하였다.Nginx를 선택한 이유무중단 배포를 구현하는 여러 가지 방식이 있다. Kubernetes, AWS ELB, Nginx 등K8s는 학습 비용이 높고, AWS ELB는 인스턴스를 생성, 관리(과금 위험)해야 했다. Nginx는.. 공감수 0 댓글수 0 2024. 8. 1.
무중단 배포 시 AWS EC2 프리티어 CPU 사용량 100% 초과 무중단 배포 도입 과정과 배포 전략에 관한 내용은 Nginx , Docker, Github Actions로 무중단배포 진행 를 참고하면 된다. 1. 문제 원인 파악현재 사용중인 서버는 AWS EC2 t2.micro(프리티어)이고, 메모리는 1GB이다. 배포 전략으로 선택한 Green/Blue 는 green과 blue WAS가 동시에 실행되는 시간이 발생하며 이때 RAM 프리티어 한도인 1GB를 넘어가게 되고, 이로 인해 서버의 작동 불가로 이어졌다. 그 이유는1. 모든 메모리가 사용되면 시스템은 새로운 프로세스나 기존 프로세스를 위한 충분한 메모리를 확보할 수 없게 된다.2. 이로 인해 여러 프로세스가 제한된 메모리 자원을 놓고 경쟁하게 만들고,3. 이러한 리소스 경합은 CPU가 효율적으로 프로세스를 .. 공감수 1 댓글수 1 2024. 7. 31.
상속 관계에서의 DB 조회 성능 개선 먼저 테스트 데이터 총 500만개 (caregivers=간병인), 지역은 총 20개 지역으로 나눠서 동일한 비율로 (지역당 약 25만개씩) 더미데이터를 추가한 뒤 환자 -> 간병인 찾기 기능을 진행하였습니다. 찾기 기능을 원활하게 하려면 적절한 인덱스 설정 + 페이지네이션 구현이 필수입니다.현재 프로젝트는 무한스크롤 방식인 No-Offset 방식의 페이지네이션을 채택하였고, 동적 조건 검색을 원활히 하기 위한 Querydsl을 도입하였습니다. 하지만 구현하는 과정에서 예상치 못한 상황들을 만났고, 해결해 나간 과정을 기록하려 합니다. No-Offset 적용 방식은 여기 입니다. (정렬 복합키 해결) 먼저 프로젝트 구조에 대해 설명드릴 내용이 있습니다. 진행중인 프로젝트는 JPA InheritanceT.. 공감수 0 댓글수 0 2024. 7. 14.
MySQL - Full Text Search는 전문 검색용이 아니다. 프로젝트를 진행하며 검색 기능을 할 때가 되었습니다. 매칭 신청을 보내기 위해서는 먼저 상대측 리스트를 검색할 필요가 있습니다.다양한 방법이 있었고, 먼저 MySQL의 Full Text Search를 적용해보기로 하였습니다.사용자의 원활한 검색을 위해 Querydsl을 이용해 동적 검색을 할 수 있게 하고 정렬 또한 최신순, 조회순, 후기순으로 가능하도록 진행하였습니다. 1. 첫 번째 문제 발생 : Full Text Search를 하기 위해서는 Match (1)... against (2)...라는 문법을 사용하여야 합니다. (2)-검색어에 해당하는 (1)-컬럼 을 조회하는 것입니다. 하지만 JPA은 full text search 문법을 지원하지 않습니다. 만약 사용한다면 직접 NativeQuery를 날.. 공감수 0 댓글수 0 2024. 7. 12.
7/10 ~ 7/14 지역 or 이름 or 나이 or 경력 으로 진행할 전체 검색 남음. 검색 결과 정렬도 가능해야함아마 성별은 빼고 특이사항 추가하고경력 빼고 조회수 남음 (락 학습, 도입) 조회수 구현1. redis의 hyperloglog를 이용하여 구현하기로 하였다. 왜냐하면 조회수 특성상 정확도가 100%일 필요가 없고, 기존 세션, 쿠키, ip 등으로 진행하면 단점들이 각각 존재. 특히 메모리 용량을 많이 차지함. but, hyperloglog는 매우 낮은 메모리 사용 & 정확도 100은 아니지만 상당히 일치함. 하지만 redis를 이용하는 것이다보니 redis가 이용 불가능할 시, 조회수를 이용 못함. 즉, 백업을 해두어야 함.이는 rdb로 진행을 해야 한다. 스케쥴러를 통해 하는게 좋다. ===========.. 공감수 0 댓글수 0 2024. 7. 10.
Querydsl + No-Offset 페이지네이션 구현 변화에 유연하게 ! 기존에는 검색 결과 리스트 반환은 Offset-Paging 방식으로 구현했었습니다. 하지만 한 주간 회의 진행 후 , 찾기는 무한 스크롤로 변경하기로 결정이 났습니다.그 이유는 검색 결과 리스트가 화면 구조상 최대 5개 정도 밖에 나오지 않는다. => 페이지를 넘길 때 무한스크롤 방식이 편리 (기존 페이징이라면 사용자가 페이지 버튼을 일일히 눌러야 하니 사용자 경험 하락 예상) 때문이였습니다. 이렇듯 기획과 요구사항은 시시각각 달라지고, 그것을 해결하기 위해 개발자가 필요하다고 생각합니다. 코드를 계속 리팩토링 하고 구조를 개선하고 이러한 과정들은 다 이런 변화에 비교적 쉽게 대처하기 위해 진행하는 것 같습니다. 우선 커서 기반 페이지네이션을 적용하는 데 있어서 그리 쉽지만은 않았습.. 공감수 0 댓글수 0 2024. 7. 9.
JPA InheritanceType.JOINED 전략으로 리팩토링 진행 OneToOne 관계에서 FetchType.LAZY는 만능이 아니다 ?! 여태까지 ToOne 관계에서 무분별한 조회를 막기 위해 default인 EAGER가 아닌 LAZY로 설정하면 프록시로 호출되기 때문에, 실제 조회 쿼리가 실행되지 않는다고 알고 있었다. 하지만, @OneToOne 양방향 관계에서, 연관관계의 주인이 아닌 테이블 조회 시, LAZY는 동작하지 않는다.그 이유는 생각해보면 단순하다. JPA에서 양방향 연관관계 설정 시에 FK는 연관관계의 주인인 테이블이 보유한다. 즉, Member와 Patient가 있고 Patient가 연관관계의 주인이라면 Patient 테이블에는 member_id가 존재하지만 Member 테이블에는 patient_id가 존재하지 않는다. 그러면 여기서 LAZY 전략.. 공감수 0 댓글수 0 2024. 7. 3.
7/1 ~ 7/7 7/1리스트 불러올 때, 원본 그대로 불러오면 당연히 용량을 너무 많이 불러옴. 이미지 리사이징을 해야하는데,나는 multipart를 사용 안하고, presigned url을 사용해서, 자바 코드로 서버에서 리사이징이 불가능함. (애초에 서버리스로 설계해서 서버를 통해 리사이징 한다는게 말이 안됨.) 그래서 aws lambda@edge를 사용해 원본 origin s3버킷에 접근해서 이미지를 받아올 때, cloud front에 캐싱이 되는데, 이 받아올 때 리사이징을 해서, cloud front에는 캐싱된 이미지를 저장하면 처음 요청시에만 좀 걸리고, 이후 요청부터는 캐싱 + 리사이징으로 인한 용량 저하로 매우 대단한 효과 나타남. !그런데 계속 안되다가,온갖 재시도 끝에 aws lambda@edge와 a.. 공감수 0 댓글수 0 2024. 7. 1.
AWS, Presigned URL 이용한 프로필 이미지 업로드 구현기 저는 환자와 간병인이 서로를 지역, 조건에 따라 검색하고, 리스트를 찾아서 매칭 신청을 보내고 응답하는 팀프로젝트를 진행중입니다.이 과정에서 매칭 신청을 보내려면 본인의 세부 프로필이 등록이 되어있어야 한다는 조건이 있습니다.그래서 세부 프로필 등록 시, 본인의 이미지를 선택사항으로 프로필에 등록할 수 있어야 한다는 기획이 있어서이미지 등록 기능을 진행하였습니다. 고려한 이미지 등록 방법은 크게 두 가지 였습니다.1. Multipart Upload를 이용한 서버에 저장 or 외부 저장소에 저장2. Presigned URL를 이용한 외부 저장소에 클라이언트에서 직접 저장 Multipart 를 이용한 이미지 처리의 경우는 DB에 저장을 하든 외부 저장소에 저장을 하든, 결국 server에서 이미지를 받아서 .. 공감수 0 댓글수 0 2024. 6. 29.
6/24 ~ 6/30 6/241. jmeter로 속도 측정 하려다가, 프로필 컨트롤러 수정, 삭제, 조회 메서드에서 @Pathvariable을 안쓰고 있었다는 사실을 발견..!안쓰고도 할 수 있지만 rest api 형식은 넣어줘야 한다. 왜? => 더 자세히 찾아보기그래서 @Pathvariable 를 넣고 서비스에서 getMember, getPatient로 두 번 리포지토리에서 데이터를 가져오던걸 findByIdAndMemberUsername을 통해 한번에 환자 프로필을 가져오게 됨. 멤버와 환자가 동일한지도 자동 검사 가능. 이렇게 리팩토링을 하고 테스트를 수정하려는데, 바뀐 메서드들 매개변수에 기존 매개변수에 Long id가 추가됨.(Pathvariable Long id의 id) 그런데 단위 테스트는 @Autowired가.. 공감수 0 댓글수 0 2024. 6. 24.
6/17 ~ 6/23 6/161. 매칭 신청을 위한 검색 기능 시작하려한다. Elastic Search를 쓰면 고속 검색 가능하고, 복잡한 쿼리도 가능하다.2. 사실 데이터가 적을 때는 문제가 없지만 많을 경우 고속 검색이 필요하다. 이를 예상하고 진행하는 것이므로구현 후에 100,000개의 데이터를 넣고 성능을 꼭 비교하고 kibana를 통해 데이터를 시각화까지 하자.- 먼저 FULL TEXT INDEX로 시작을 하고, 이후 성능 테스트 진행해보고 개선사항이나 성능 문제 찾아서 해결하면서 도입 고려해보자. 현재 자신의 동네 위치 정보를 받고,그 동네 지도가 자동으로 나오며,동네 지도에 환자 or 간병인들이 존재하는 모든 곳들에 marker가 표시 되고,오른쪽에는 리스트가 나와서 상세보기를 누를 수 있어야 한다. 현재 프로필.. 공감수 0 댓글수 0 2024. 6. 16.
6/10 ~ 6/16 6/11리팩토링, todo 기능 추가프로필 이미지 등록할 필요, 이후 채팅에서도 사진 저장 필요, 이후 계약에서도 계약서 저장 필요aws s3 도입, 왜?확장성(Scalability)파일 서버는 트래픽이 증가함에 따라 서버 인프라 및 용량 계획을 변경해야 되는데, S3가 확장 및 성능 부분을 대신 처리해준다.내구성(Durability)여러 영역에 여러 데이터 복사본을 저장하므로 한 영역이 다운되더라도 데이터를 사용할 수 있고, 복구가 가능하다. MultipartFile 방식은 다수의 사용자로부터 동시에 요청이 들어올 경우, 서버의 스레드가 빠르게 소진될 수 있다는 문제가 있다. 안전하면서 대용량 트래픽을 어떻게 받을 수 있나? 방법 1? s3 presigned url1.1. Multipart Upload.. 공감수 0 댓글수 0 2024. 6. 11.
6/5 ~ 6/9 6/5기존에는 가입 시에, role 정한 대로 바로 환자 OR 간병인도 엔티티를 같이 생성했었는데, 그러면 환자 프로필 등록 후에 다른 환자로 변경해서 등록하고 싶을 때, 불가능해진다. (환자가 매치 리스트를 가지고 있음) 환자 엔티티 삭제 시 매치도 다 날라감.새로 회원가입 해서 다른 환자 등록 하는 방법. -> 즉, 환자 프로필 전체 삭제가 안되고, 처음 등록한 환자로 쭉 간다. 세부정보 수정만 가능. ->? 새로운 환자 등록 버튼. -> 등록 되면 기존 환자 엔티티 삭제후 멤버와 연결. 이러면 환자 엔티티가 새로 만들어지고 기존 환자 정보, 매치리스트 사라짐.Member가 매치리스트를 가지고 있고, 환자 등록, 변경, 삭제가 자유로움.세부 작성아님 (아예 새로운 환자로 바꾸고 싶을 때) 새로운 환.. 공감수 0 댓글수 0 2024. 6. 5.
5/27 ~ 5/28 5/27OSIV를 꺼야하나, 켜야하나?테스트코드 커버리지 강제성? jacoco를 사용해?커버리지 통과를 위해 무의미한 테스트코드 삽입하는 경우 발생우선 강제하지 않고 자율적으로 테스트 작성 후추후 정밀한 테스트코드의 커버리지 측정 필요성 느껴지면 도입해도 괜찮겠다. 5/28requestDTO에 기본생성자(protected)를 왜 넣어야하지? 왜 JPA entity에 기본생성자(protected)가 있어야하지?공지사항 테이블만 만들어서 진행할건지? 아니면 추후 확장을 고려해 커뮤니티로 깊게 들어갈지?회원가입, 로그인 후 access_token 받아와서 matchList를 조회하는 api 테스트를 했는데 2024-05-28T18:28:34.624+09:00 ERROR 26736 --- [backend] [n.. 공감수 0 댓글수 0 2024. 5. 27.
5/24 ~ 5/26 1. git amend 이슈 - 왜 반영 안되는거 같지? 2. BaseTime, BaseEntity, @CreatedBy 문제 3. Member와 Patient 1 : 1관계에서 연관관계의 주인을 누구로?- 4. member쪽에 patient or caregiver 엔티티 연관관계 갖게할지? - 주인은 patient에 두는데, member 엔티티에도 patient를 둬야하나? 5. Patient 엔티티에 환자 특이사항 / 간병 요구사항 같은 컬럼들은 입력값이 매우 길어질 수 있다. - @Column(Text) vs @Lob 둘의 차이 학습 후 무엇을 적용? 장단점이 뭔지. -> 만약 TEXT를 쓴다면 성능 개선을 어떻게 할지 - https://velog.io/@yullivan/VARCHAR-vs-TE.. 공감수 0 댓글수 0 2024. 5. 24.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.