본문 바로가기

redis12

[빅데이터 저장 및 분석을 위한 NoSQL & Redis] Chapter 6 - Redis Cluster 시스템 & 로그 모니터링 6.1 복제 & 분산 시스템 개요 자원 공유 서버 자원 제한적, 과부하 시 다른 서버 자원 활용으로 효율성 증가 성능 향상 과부하 발생 시 로드 밸런싱을 통해 자원 분배 가능 안정성 복제 서버로 장애 대체하여 작동 데이터 참조 가능해 위험 분산 가능 Redis: 마스터-슬레이브, 마스터-슬레이브-센티널, 파티션 클러스터로 복제, 분산처리 가능 Partition 유형 범위 파티션 (Range Partition) Key-Value를 서버에 분산 저장 서버 대수 결정에 따라 저장 위치 결정 서버에 저장할 데이터 양 불균형 문제 발생 가능 해시 파티션 (Hash Partition) Hash 알고리즘으로 데이터 분산 저장 Partition 구현 방법 Client Side Partitioning 사용자가 데이터 분.. 2023. 8. 20.

[빅데이터 저장 및 분석을 위한 NoSQL & Redis] Chapter 5 - Redis 아키텍처 5.1 Redis 아키텍처 1. 메모리 영역 Resident Area 사용자의 작업이 먼저 저장되는 영역 실제 작업 수행 공간 "WorkingSet" 영역으로도 표현 Data Structure 상태 정보 저장을 위한 메모리 공간 Redis Server 운영 및 모니터링에 필요 2. 파일 영역 AOF 파일 중요한 데이터 지속 저장 스냅샷 데이터 DUMP 파일 소량 데이터 일시적 저장 3. 프로세스 영역 Server Process Redis 인스턴스 관리 및 사용자 작업 수행 4개의 멀티 쓰레드로 구성 Main thread, Sub thread 1(BIO-Close-File), Sub thread 2(BIO-AOF-Resync), Sub thread 3(BIO-Lazy-Free) Client Process .. 2023. 8. 20.

[빅데이터 저장 및 분석을 위한 NoSQL & Redis] Chapter 4 - Redis Data Modeling 4.1 키-밸류(Key-Value) 데이터 모델링 개념 4.1.1 용어 설명 테이블(Table): 관계형 DB에서 데이터를 저장하는 논리적 구조를 테이블(table)이라고 표현하는 것처럼 Key-Value DB에서도 테이블(Table)이라고 함. 필드(Field) 또는 엘리먼트(Element): 하나의 테이블을 구성하고 있는 요소들을 관계형 DB에서는 컬럼(column)이라고 하는데 Key-Value DB에서는 필드(Field) 또는 엘리먼트(Element)라고 말함. Key-Value DB에서는 하나의 Key와 하나 이상의 필드 또는 엘리먼트로 구성됨. Key-Value DB에서는 제약 조건 기능이 제공되지 않지만, HyperLogLogs 데이터 속성을 통해 원하는 조건의 데이터를 저장, 관리할 수 있.. 2023. 8. 20.

[빅데이터 저장 및 분석을 위한 NoSQL & Redis] Chapter 3 - 트랜잭션 제어 & 사용자 관리 3.1 Isolation & Lock 모든 NoSQL 제품이 트랜잭션을 제어하지는 않지만, Redis는 트랜잭션 제어 가능. Redis는 Read Commited 타입의 트랜잭션 제어도 가능함. Redis 4.0 버전에서 Data Sets 락 매커니즘 제공. 3.2 CAS (Check and Set) CAS는 데이터 일관성 공유를 위한 기술로 동시 처리 시 충돌을 피함. Watch 명령어를 사용하여 충돌 감지 가능. 3.3 commit & rollback EXEC: 변경한 데이터 최종 저장에 사용. DISCARD: 변경한 데이터 최종 저장하지 않고 취소. 3.4 Index 유형 및 생성 Redis는 Primary Key Index와 Secondary Key Index를 제공. Exact Match와 Ra.. 2023. 8. 20.

[빅데이터 저장 및 분석을 위한 NoSQL & Redis] Chapter 2 - Redis 설치 및 데이터 처리 Redis의 주요 특징 Redis는 NoSQL 데이터베이스로 분류되며 Key-Value 형태로 데이터를 관리합니다. Key-Value DB인 동시에 In-Memory 데이터 처리와 저장 기술을 제공하므로 빠른 Read/Write 성능을 가지고 있습니다. 다양한 데이터 유형을 지원하며 String, Set, Sorted Set, Hash, List, HyperLogLogs 등을 저장할 수 있습니다. 메모리 상의 데이터를 Dump 파일과 AOF(Append Of File) 방식으로 디스크에 저장할 수 있습니다. Master/Slave Replication을 통해 데이터의 분산 복제를 지원하며 Query Off Loading을 통해 Master는 Read/Write 작업, Slave는 Read 작업을 수행할 .. 2023. 8. 20.

[빅데이터 저장 및 분석을 위한 NoSQL & Redis] Chapter 1 - NOSQL 개념 Chapter1 - NOSQL 개념 NOSQL Not Only SQL 기존 SQL 뿐만 아니라, SQL 이 할 수 없는 영역의 기술도 제공하는 대체, 보완 기술 장점 클라우드 컴퓨팅 환경에 적합하다. RDBMS 에 비해 비용 및 성능 지연 문제에 적합 구축 단계에 비용 발생이 덜하다. 유연한 데이터 모델 RDBMS 는 데이터 베이스를 설계하기 위해 필요한 선수 개념들이 많다. 비정형 구조인 컬렉션, 테이블, 노드는 구체적이고 까다롭지 않기 때문에, 설계하기 쉽다. 빅데이터 처리에 효과적 RDBMS 보다 빅데이터 처리에 효과적이다. 빅데이터 처리에 대응하기 위해 나온 데이터베이스이기 때문. NOSQL 종류와 선정 기준 순차적으로 조건을 만족하며 선정 기준을 세분화한다. 1. 초당 5만건 이상의 데이터가 발.. 2023. 7. 23.

[가상 면접 사례로 배우는 대규모 시스템 설계 기초] 6장 키-값 저장소 설계 키-값 저장소 설계 키-값 저장소는 키-값 데이터베이스라고도 불리는 비 관계형 데이터베이스이다. 이 저장소에 저장되는 값은 고유 식별자를 키로 가져야한다. 키와 값 사이의 이런 연결관계를 “키-값” 쌍이라고 지칭한다. 키-값 쌍에서의 키는 유일해야 하며 해당 키에 매달린 값은 키를 통해서만 접근할 수 있다. 키는 일반 텍스트일 수도 있고 해시값일수도 있다. 성능상의 이유로 키는 짧을수록 좋다. 키-값 쌍에서의 값은 문자열일 수 도 있고 리스트일 수도 있고 객체일 수도 있다. 키-값 저장소는 보통 값으로 무엇이 오든 상관하지 않는다. 키-값 저장소로 널리 알려진 것으로는 아마존 다이나모, memcached, 레디스 같은 것들이 있다. 문제 이해 및 설계 범위 확정 완벽한 설계는 없다. 읽기, 쓰기 그리고 .. 2023. 2. 28.

[Refactor] 패키지 구조와 의존성 두 번째 프로젝트의 코드 작성이 거의 끝났고, 테스트 코드 작성을 앞두며 코드 리뷰를 받았다. 가장 큰 골자는 아무래도 참조 관계이다. 패키지 구조를 Layered에서 약간의 DDD(애매하지만 ㅎㅎ) 를 곁들인 구조로 변경했다. 그 과정에서 패키지 간 의존성에 대해서 고민해보고 작명하는 것과 설계하는 시간이 정말 오래 걸렸다. 코딩을 공부하면 할 수록 작은 것에 시간을 오래 들이게 되는 걸 느낀다. 어제는 패키지 이름을 짓는데 반나절이 걸렸다. 회사에서는 변수명 짓는 걸로도 회의를 한다고 하니 약간 실감이 나기도 한다. 이렇게 디테일하게 채워나가면 그 만큼 내 실력이 된다고 믿습니다. 최상위 구조 auth : 인증, 인가 처리 스프링 시큐리티 이용 스프링 컨테이너까지 도달하지 않는 필터 위주이기 때문에 .. 2022. 10. 14.

[Redisson] 트랜잭션 문제 발생 및 해결 지난 포스트 [Redisson]을 이용한 분산 Lock 구현 & 동시성 문제 해결 내 프로젝트의 Payment를 개발하면서 가장 기본 중에 기본이 되는 문제를 직면했었다. 그것은 바로 동시성 문제! 스프링부트의 내장 서버는 기본적으로 톰캣, 언더토우 등등의 WAS로 돌아가는데 이 sweeeetgoguma.tistory.com 지난 포스트에서 Redisson을 이용하여 동시성 문제를 해결하는 코드를 구현했다. 프로젝트 리팩토링이 거의 끝나가 조회 API를 구체화하여 몇 개 추가하던 도중, 스레드 100개의 동시 요청을 직접적으로 받는 과정을 확인하고 싶어졌다. 그래서 실험해봤다. 결과는?? 처참하다.. 무엇이 문제였을까 트랜잭션 처리가 씹혔다. @GetMapping("/test") public void t.. 2022. 10. 1.

[Redisson]을 이용한 분산 Lock 구현 & 동시성 문제 해결 내 프로젝트의 Payment를 개발하면서 가장 기본 중에 기본이 되는 문제를 직면했었다. 그것은 바로 동시성 문제! 스프링부트의 내장 서버는 기본적으로 톰캣, 언더토우 등등의 WAS로 돌아가는데 이 WAS는 멀티스레드 기반으로 동작한다. A라는 상품 (재고 3개) 을 [가]군이 2개 구매하려 한다. 동시에 [나]군이 2개 구매하려 한다. 미세하게 나마 0.00001초의 차이가 있을 수 있다. 결국 각각의 스레드가 같은 상품의 재고를 조회한다. 원래대로라면 한 명은 못 사야 정상이다. 위 문제를 해결하기 위한 방법이 뭐가 있을까? 1. Synchronized 자바로 해결하는 방법이다. Thread-Safe 하기 때문에 매우 좋아보이나, 서버가 증설될 경우 의미가 없어진다. 2. Database Lock D.. 2022. 9. 27.

2022.05.26 「트래픽이 몰렸을 경우」 이메일을 통해 인증 번호를 전송하는 방식은 매우 느리다. 서버 사용자가 늘어날수록 트래픽이 많이 몰려 인증 번호를 전송하는 시간이 무진장 늘어날 것이다. 이러면 안 된다. 그래서 찾아보았다. 트래픽이 몰렸을 경우에는 어떤 식으로 해결을 하는지? 동기와 비동기 방식이 있다. 동기는 첫 프로세스가 완료되어야 다음 프로세스로 넘어가는 방식이고, 완료 여부와 상관없이 다음 프로세스를 요청하거나 실행하는 것이 비동기 방식이다. 이메일 전송에 이 비동기 방식을 적용해 보고자 한다. Async Config 스프링에서는 @Async를 통해 비동기 방식을 쉽게 구현할 수 있다. configuration을 통해 스레드의 개수를 커스터 마이징 시켰다. Async 적용 비동기 방식으로 동작하길 바라는 메서드에 애노테이션을 적.. 2022. 5. 26.

2022.05.25 「Email 인증」 열심히 프로젝트를 하다가 초기 구상한 wiki를 다시 보게 되었다. 회원가입 시 이메일 api를 사용하기로 했는데 그걸 까먹었다.. 그래서 회원가입을 다시 건드리게 되었다. Java의 MailSender 인터페이스를 사용하여 SMTP 구글 이메일로 이메일 인증 번호를 클라이언트 요청 이메일로 보내주도록 설계하고 인증 번호를 redis DB에 저장하여 비교하고 회원가입을 이루게 할 것이다. Mail Sender // Mail implementation 'org.springframework.boot:spring-boot-starter-mail' 먼저 의존성을 추가했다. Application.yml 지금까지 Properties 파일을 사용하고 있었는데, 이번 기회에 yaml을 사용해보기로 결정했다. 이유는 인.. 2022. 5. 25.

이전 1 다음

티스토리툴바