본문 바로가기

전체 글250

[아파치 카프카 애플리케이션 프로그래밍 with 자바] 4-2장 카프카 프로듀서 카프카 프로듀서 카프카 프로듀서는 토픽에 데이터를 저장하는 첫 단계! acks 옵션 프로듀서의 옵션으로 acks 옵션 프로듀서가 전송한 데이터를 클러스터에 얼마나 신뢰성 있게 저장할 지 지정 가능 옵션에 따라 성능이 달라질 수 있다. acks = 0 프로듀서가 리더 파티션으로 데이터를 전송했을 때 리더 파티션으로 데이터가 저장되었는지 확인 하지 않는다 리더 파티션은 데이터가 저장된 이후, 몇 번째 오프셋에 저장되었는지 return 이 경우에는 데이터가 저장된 여부에 따른 응답을 받지 않음. 프로듀서는 데이터 전송 실패시, 재시도할 수 있게, retries 옵션 설정 가능 하지만 acks = 0 일 경우, 데이터 전송을 무조건 성공으로 간주, 해당 옵션은 무의미하다. 프로듀서와 브로커 사이의 네트워크 오류.. 2023. 5. 7.

[아파치 카프카 애플리케이션 프로그래밍 with 자바] 4-1장 토픽과 파티션 토픽과 파티션 토픽이 사라지면 카프카 파이프 라인은 동작하지 않음. 적정 파티션 개수 토픽의 파티션의 개수는 카프카 성능과 밀접한 관계가 있다. 파티션의 개수를 적절하게 설정하고 운영하자. 파티션 개수를 정할 때 고려할 점 데이터 처리량 메시지 키 사용 여부 브로커와 컨슈머의 영향도 파일 시스템을 사용하는 카프카는, 파티션의 수 만큼 파일에 접근한다. 운영체제 특성 상 프로세스 당 접근 가능한 파일 개수가 정해져 있다. 브로커가 접근하는 파일 개수를 안정적으로 유지하고 싶을 경우는, 카프카 브로커의 수를 늘리면 된다. 데이터 처리 속도를 올리자 컨슈머의 처리량 늘리기 컨슈머가 실행되는 서버를 스케일업 GC 튜닝 컨슈머는 (S3, 하둡, 오라클 등등) 의 시스템과 연동되므로, 일정 수준 처리량을 높이는데,.. 2023. 5. 5.

OutBox Pattern 을 활용한 메일 전송 서비스 개발 [At Least Once] 스프링에서 메일 전송은 정말 간단하게 구현할 수 있다. JavaMailSender 로 말이야. 단순히, 메일만 전송하는 함수만 구현하면 끝일까? 물론 상황에 따라 간단한 구현이나, 복잡한 구현이 나눠져야 한다. 실 서비스에서는? 메일로 전송해야 하는 데이터 중요도에 따라 다르겠지만, 아무래도 메일을 수신하는 클라이언트 입장에서는 서버 장애 때문에, 메일 수신이 안 될 경우 매우 당황스러울 것이다. 즉, 적어도 한번 전송 (At least once) 를 만족하는 Eventually Consistency 를 구현해야 하는 것은 메일 전송 서비스에서 기본적으로 다뤄져야 할 사항이다. 일례로, 분산 서버 환경에서는, 알림 서비스만을 다루는 애플리케이션이 존재하는데, 이때 outbox 패턴이라는 것을 사용하여 구.. 2023. 4. 20.

[아파치 카프카 애플리케이션 프로그래밍 with 자바] 3-6장 카프카 커넥트 카프카 커넥트란? 데이터 파이프라인 생성 시 반복 작업을 줄이고, 효율적인 전송을 위한 애플리케이션 예로, 파이프라인 생성 시, 프로듀서 | 컨슈머 애플리케이션을 계속 만들 수 있지만, 반복 생성 작업의 경우 계속적으로 배포 및 운영이 비효율적이다. 이때 사용하면 안성 맞춤 Source Connector 프로듀서 역할 토픽으로 데이터를 보낼 때 Sink Connector 컨슈머 역할 토픽의 데이터를 받아 저장할 때 예시로, Mysql 의 데이터를 보내고 저장할 때 (JDBC 도 마찬가지) 커넥터를 이용하여 파이프라인 생성 가능 특징 오픈 소스 커넥터는 커넥터 jar 를 다운로드하여 편리하게 사용 가능하다. gradle 의 Mysql connector 를 말하는건가? 커넥터를 이용하여, 파이프라인 생성 시.. 2023. 4. 20.

[아파치 카프카 애플리케이션 프로그래밍 with 자바] 3-5장 카프카 스트림즈 카프카 스트림즈 토픽에 저장된 데이터를 실시간으로 다른 토픽에 적재하는 라이브러리 카프카 클러스터와 완벽 호환 및 스트림 처리에 필요한 편리한 기능 제공 장애 발생 시 Exactly Once 하도록 장애 허용 시스템 장착 => 데이터 처리 안정성 Up. 개요 스트림즈 애플리케이션은 내부적으로 1개 이상의 스레드 생성 가능 스레드는 1개 이상의 태스크를 가진다. 스트림즈의 Task 는 스트림즈 애플리케이션을 실행하면 생기는 데이터의 최소 처리 단위 3개의 파티션으로 이루어진 토픽을 처리할 경우, 스트림즈 애플리케이션을 실행 시, 내부의 3개의 태스크가 생김. 카프카 스트림즈는 스트림즈 DSL (Domain Specific Language) 과 프로세서 API 2개의 방법으로 개발 가능 스트림즈 DSL 은 .. 2023. 4. 13.

[아파치 카프카 애플리케이션 프로그래밍 with 자바] 3.4 장 카프카 클라이언트 카프카 클라이언트 카프카 클러스터에 명령을 내리거나 데이터를 송수신 하기 위해 사용한다. 카프카 프로듀서, 컨슈머, 어드민 클라이언트를 제공함. 엄연한 라이브러리이므로, 프레임워크나 애플리케이션에서 구현 후 실행. 프로듀서 API 카프카에 필요한 데이터를 선언하고 브로커의 특정 토픽의 파티션에 전송. 데이터를 전송할 때 리더 파티션 소유의 카프카 브로커와 직접 통신한다. 주요 특징 카브카 브로커로 데이터 전송 시, 내부적으로 파티셔너 및 배치 생성 단계를 거침. UniformStickyPartitioner 와 RoundRobinPartitioner 의 2개 파티션을 제공함. 메시지 키 유무에서 차이점이 발생한다. 프로듀서 동작에 특화된 UniformStickyPartitioner는 높은 처리량 및 낮은 .. 2023. 4. 9.

[아파치 카프카 애플리케이션 프로그래밍 with 자바] 3-2, 3장 토픽과 파티션, 레코드 토픽 데이터를 구분하기 위해 사용되는 단위 1개 이상의 파티션 소유 데이터를 Record 라 칭함 파티션 병렬처리의 핵심 컨슈머의 개수를 늘리는 스케일 아웃으로 한정된 컨슈머의 처리량을 보조 가능. Queue와 같은 구조 레코드 타임 스탬프, 메시지 키, 메시지 값, 오프셋, 헤더 구성 한번 적재된 레코드는 수정 불가 및 log retention or capacity에 따라 삭제 특징 생성된 시점에 Unix Time 설정 됨, 레코드 생성 시 타임 스탬프를 설정할 수 있다는 것에 유의 메시지 키를 이용하여 해시 값을 토대로 파티션 지정 가능 필요시 null 설정 메시지 값은 직렬화, 역직렬화 가능한 객체로 설정 => 동일한 형태로 상호 간 수행 컨슈머가 데이터를 가져갈 때, 오프셋을 사용 컨슈머 그룹이 .. 2023. 3. 27.

[아파치 카프카 애플리케이션 프로그래밍 with 자바] 3-1장 카프카 브로커와 클러스터 주키퍼 카프카 브로커 카프카 클라이언트와 데이터를 주고 받기 위해 사용하는 주체 장애가 발생하더라도 안전하게 사용하기 위해 데이터를 분산 저장하는 애플리케이션 보통 3대 이상의 클러스터로 운영 분산 저장 및 복제 카프카 브로커의 특징 전달 받은 데이터를 파티션에 저장 및 전달 파일 시스템에 데이터를 저장 메모리나 데이터 베이스가 아닌, 파일 시스템에 저장 => 속도 이슈를 캐싱으로 개선 데이터의 복제는 파티션 단위로 이루어짐 => 리더 파티션으로부터 받음 컨트롤러 다른 브로커들의 상태 체크 및 하나의 브로커가 제외될 경우, 리더 파티션을 재분배 데이터 삭제 카프카는 기본적으로 토픽 데이터 삭제하지 않음. 브로커만이 데이터를 삭제 가능함. => 삭제 용량 옵션 값 설정 가능 코디네이터 컨슈머 그룹 상태 체크 및 .. 2023. 3. 27.

[가상 면접 사례로 배우는 대규모 시스템 설계 기초] 11장 뉴스 피드 시스템 설계 뉴스 피드 홈페이지 중앙에 지속적으로 업데이트되는 스토리들 사용자 상태 정보 업데이트, 사진, 비디오, 링크, 앱 활동 등등 1단계 : 문제 이해 및 설계 범위 확정 모바일 앱을 위한 시스템인지, 웹을 위한 시스템인지 둘 다 지원해야 함 중요한 기능으론 어떤 것이 있는지 사용자는 뉴스 피드에 새로운 스토리를 올릴 수 있어야 함 친구들이 올리는 스토리를 볼 수도 있어야 함 뉴스 피드에는 어떤 순서로 스토리가 표시되어야 하는지? 단순히 시간 흐름 역순으로 표시된다고 가정 한 명의 사용자는 최대 몇 명의 친구를 가질 수 있는지? 예시 : 5000명 트래픽 규모? 매일 천만 명이 방문한다고 가정 피드에 이미지나 비디오 스토리도 올라올 수 있는지? 스토리에는 이미지나 비디오 등의 미디어 파일 포함 가능 2단계 :.. 2023. 3. 19.

[가상 면접 사례로 배우는 대규모 시스템 설계 기초] 10장 알림 시스템 설계 알림 시스템은 어느 서비스나 항상 고민하게 되는 부분이라 생각한다. 실제로 서비스를 구현할 때, 다양한 고민들을 하게 되는데, 설계에 대한 초점에서 바라본 건 새로웠다. 알림 시스템 고객에게 중요할 만한 정보를 비동기적으로 전송 모바일 푸시 알림, SMS 메시지, 이메일 세 가지로 분류 1단계 : 문제 이해 및 설계 범위 확정 시스템이 지원하는 알림 종류 푸시 알림, SMS 메시지, 이메일 실시간 시스템 여부 연성 실시간 시스템이라고 가정 (시스템 부하 시 약간의 지연 무방) 지원해야 하는 종류의 단말 iOS, 안드로이드, 랩톱/데스크톱 알림을 만들 수 있는 주체 클라이언트 애플리케이션 or 서버 측의 스케줄링 알림을 받지 않도록 설정도 가능해야 함 하루에 보낼 수 있어야 하는 양 천만 건의 모바일 푸시.. 2023. 3. 18.

[아파치 카프카 애플리케이션 프로그래밍 with 자바] 1장 들어가며 아파치 카프카 개발 공부를 하며 필수로 MQ, MB 정도는 하나 공부해야 겠다는 생각을 꾸준히 해왔다. 공부할만한 실력이 되는게 베이스가 될 시기와, 실제로 사용해야 될 시기가 딱 맞아 떨어져 바로 공부하기로 마음 먹었다. 카프카란? 카프카 내부에 데이터가 저장되는 파티션 동작은 FIFO 방식의 큐 자료구조와 유사하다. 큐에 데이터를 보내는 것이 ‘프로듀셔' 이고 데이터를 가져가는 것이 ‘컨슈머'. 카프카를 통해 전달할 수 있는 데이터 포맷은 거의 제한이 없다. 직렬화, 역직렬화를 통해 ByteArray 로 통신하므로 자바에서 선언한 모든 객체를 지원한다. (카프카 클라이언트에서는 기본적으로 ByteArray, ByteBuffer, Double, Long, String 타입에 대응한 직렬화.. 2023. 3. 13.

[가상 면접 사례로 배우는 대규모 시스템 설계 기초] 9장 웹 크롤러 설계 웹 크롤러란 검색 엔진에서 널리 쓰는 기술로, 웹에 새로 올라오거나 갱신된 콘텐츠를 찾아내는 것이 주된 목적이다. 웹 크롤러는 몇 개 웹페이지에서 시작하여 그 링크를 따라 나가면서 새로운 콘텐츠를 수집한다. 검색 엔진 인덱싱 : 크롤러의 가장 보편적인 용례. 크롤러는 웹 페이지를 모아 검색 엔진을 위한 로컬 인덱스를 만든다. 일례로 Googlebot은 구글 검색 엔진이 사용하는 웹 크롤러다. 웹 아카이빙 : 나중에 사용할 목적으로 장기보관하기 위해 웹에서 정보를 모으는 절차이다. 웹 마이닝 : 웹 마이닝을 통해 인터넷에서 유용한 지식을 도출해 낼 수 있다. 웹 모니터링 : 크롤러를 사용하면 인터넷에서 저작권이나 상표권이 침해되는 사례를 모니터링 할 수 있다. 이례로 디지마크사는 웹크롤러를 사용해 해적판 .. 2023. 3. 12.

[가상 면접 사례로 배우는 대규모 시스템 설계 기초] Chapter 8 URL 단축기 설계 1단계 : 문제 이해 및 설계 범위 확정 URL 단축기가 어떻게 동작해야 하는지? 긴 주소가 입력으로 주어졌을 때 단축 URL을 결과로 제공해야 함 단축 URL에 접속하면 원래 URL로 갈 수도 있어야 함 트래픽 규모는? 매일 1억(100million) 개의 단축 URL 단축 URL의 길이는? 짧으면 짧을수록 좋음 단축 URL에 포함될 문자에 제한은? 숫자(0부터 9까지)와 영문자(a부터 z, A부터 Z까지)만 사용 가능 단축된 URL을 시스템에서 지우거나 갱신할 수 있는지? 시스템을 단순화하기 위해 삭제나 갱신은 할 수 없다고 가정 2단계 : 개략적 설계안 제시 및 동의 구하기 API 엔드포인트 클라이언트는 서버가 제공하는 API 엔드포인트를 위해 서버와 통신 URL 단축기는 기본적으로 두 개의 엔드포.. 2023. 3. 7.

[가상 면접 사례로 배우는 대규모 시스템 설계 기초] Chapter 7. 분산 시스템을 위한 유일한 ID 생성기 분산 시스템에서 유일성이 보장되는 ID를 만드는 방법은 여러가지이다. 다중 마스터 복제 (multi-master replication) UUID (Universally Unique Identifier) 티켓 서버 (Ticket Server) 트위터 스노플레이크 (Twitter Snowflake) 접근법 다중 마스터 복제 이 접근법은 데이터베이스의 auto_increment 기능을 활용하는 것이다. 다만 다음 ID의 값을 구할 때 1이 아니라 k만큼 증가시킨다. 여기서 k는 현재 사용중인 데이터베이스의 서버의 수다. 데이터베이스 수를 늘리면 초당 생산 가능 ID수도 늘릴 수 있기 때문에 규모 확장성 문제를 어느정도 해결 가능하다. 여러 데이터센터에 걸쳐 규모를 늘리기 어렵다. ID의 유일성은 보장되지만 그.. 2023. 3. 2.

[Spring data JPA] N+1 문제 해결 이렇게 이루어진 ERD 모델이 있다. (예시) 조건에 맞춰 불러오고자 하는 Data는 세 테이블의 정보를 모두 필요로 한다. 이때 Fetch join을 고려해볼 수 있다. Permission 입장에서 user와 document를 두번 다 fetch join 할 수 있지만, 이능 데이터 베이스 성능 상 엄청난 문제가 있다. 데이터가 많을 경우, 연관된 엔티티의 수를 제한하는 방법으로 쿼리를 나눠서 발생시키는 것도 좋은 방법일 것이다. 해당 엔티티들은 모두 FetchType.LAZY 로 설정되어 있다. 기존 쿼리 : val documents = documentQueryService.findDocumentsByIdFetchJoinPermissions(projectId) return Response.UserPe.. 2023. 2. 28.

이전 1 2 3 4 5 6 7 ··· 17 다음

티스토리툴바