레디스 세마포어로 선착순 쿠폰 발급을 만들고 나서 한 가지가 마음에 걸렸다. 이게 과연 공정할까? 그 전에 공정이 무엇인지부터 짚어 보자. 공정은 누구에게나 같은 크기의 몫을 나누어 주는 것이다. 그런데 쿠폰은 같은 크기로 나눌 수 없다. 그렇다면 남는 건 시간이다. 시간이 공정하다는 건 먼저 요청한 사람이 먼저 가져간다는 뜻이다. 그런데 세마포어로 처리량을 제어하면 이 시간의 공정함이 깨질 수 있다. 왜 그럴까?세마포어란 무엇일까?세마포어는 처리량을 제어하는 수단 중 하나로, 동시에 처리할 수 있는 개수를 제한한다. 문제는 지정한 개수보다 많은 요청이 한꺼번에 들어올 때다. 자리를 얻지 못한 요청은 모두 실패한다. 세마포어를 3으로 지정했는데 100명이 동시에 들어오면 97명은 실패한다는 뜻이다.그렇다..
컨슈머에게서 연락이 왔다. 브로커에서 메시지를 꺼내 처리해야 하는데, 그게 어떤 메시지인지 모른다는 것이었다. 즉, 그 메시지를 남긴 기록이 사라진 게 분명하다. 분명 send() 로 잘 보내놨던 것 같은데, 생각해보니 브로커에게서 메시지가 어느 파티션 몇 번 오프셋에 저장됐는지 알려주는 ack 를 받지 못했다. 이를 해결하기 위해 아웃박스를 도입하려고 한다. 아웃박스는 메시지 유실을 복구하기 위해 쓴다.아웃박스에 저장한 메시지는 어떻게 다시 꺼내 쓸 수 있을까?먼저 생각할 것은 프로듀서와 컨슈머가 서로 다른 애플리케이션이라는 점이다. 이벤트를 아웃박스에 저장해도 그것은 프로듀서의 DB에 있을 뿐이고, 컨슈머에게 직접 전달되지 않는다. 결국 아웃박스에 저장한 뒤에도 누군가 그 이벤트를 카프카로 보내야 한..
카프카를 사용하다 보면 메시지 유실과 중복이 발생한다. 프로듀서가 브로커로 메시지를 보내는 중에 브로커 하나가 죽으면, 그 브로커가 리더였던 파티션들은 ISR (리더를 따라잡고 있는 복제본 집합인 ISR) 안에서 새 리더를 뽑는다. 이 과정에서 유실과 중복이 생길 수 있다. 메시지가 바뀌는 문제도 있다. 프로듀서가 스키마를 바꿔 보내면 그것을 받는 컨슈머는 데이터를 저장하기 어려워진다. 이 글에서는 카프카를 안전하게 쓰는 방법을 알아본다.프로듀서에서 유실 또는 중복을 방지하기 위해 어떤일을 할까?프로듀서는 브로커에게 메시지를 전달하는 역할을 맡는다. 그렇다면, 프로듀서는 어떻게 메시지를 전달할까?acks가장 먼저 알아야 할 속성은 acks다. 프로듀서가 메시지를 보낸 뒤 브로커로부터 어디까지 확인을 받아..
인덱스를 걸면 속도가 빨라진다고 얘기한다. 실제로 2s가량의 1.1ms까지 감소가 된것을 확인했다. 하지만 이상하게도 하나의 쿼리는 속도가 생각보다 많이 줄지 않았다. 정확히 말하면 줄긴했지만 그렇다고 해서 유의미하게 준것은 아니었다. 왜 이런 현상이 발생했을까?해당 쿼리는 다음과 같다.SELECT p.id FROM product p LEFT JOIN product_like l ON l.product_id=p.id WHERE p.deleted_at IS NULL AND p.status='SELLING' GROUP BY p.id ORDER BY COUNT(l.id) DESC, p.id DESC LIMIT 20어째서 이 쿼리는 인덱스를 타지 않았을까? 해당 쿼리의 인덱스를 걸기전 실행 계획을 확인해보자.->..
흔히 낙관락은 충돌이 적은 곳에, 비관락은 충돌이 많은 곳에 쓴다고 한다. 틀린 말은 아니다. 하지만 이 답에는 결론만 있고 이유가 없다. 왜 충돌이 적으면 낙관락이고, 많으면 비관락인가? 나는 이 질문에 답하지 못한 채 그렇게 알고만 있었다. 이유를 찾으려면 한 단계 앞에서 시작해야 한다. 동시성 문제는 원래 DB가 맡는 일이다. DB는 격리 수준으로 트랜잭션끼리 서로를 얼마나 볼 수 있는지 정해 두고, 그 안에서 동시성을 처리한다. 그런데 왜 그 위에 락을 따로 걸까? 격리 수준만으로는 무엇이 막히지 않는가? 이 질문에 답하려면 DB가 동시성을 어떻게 다루는지부터 알아야 한다. 그러면 낙관락과 비관락이 각각 무엇을 대신 막는지 보이고, 언제 무엇을 골라야 하는지도 공식이 아니라 이유로 말할 수 있게 ..
유스케이스는 사용자 관점에서 시스템이 무엇을 해야 하는지를 시나리오로 풀어낸 요구사항 분석 방법이다. 그렇다면 유스케이스만으로 설계를 완성할 수 있을까? 물론 완벽한 설계는 불가능하다. 요구사항은 계속 추가되고, 유스케이스가 담지 못하는 영역도 있다. 다만 여기서 말하는 완성은 그런 뜻이 아니다. 유스케이스만 읽고도 이 서비스가 무엇인지 설명할 수 있느냐, 그 정도를 말한다. 총 22개의 유스케이스를 그리면서 든 생각을 그대로 적어두려 한다.간단하게 유스케이스의 구성요소부터 간단하게 확인해보자.구성요소에는 다이어그램에서 사용이 되어지는 구성요소와 명세(다이어그램 옆에 따로 쓰는 글로)에서 사용이 되어지는 구성요소로 구분이 되어있다.UML요소 내용액터시스템 외부에서 상호작용하는 주체. 사람일 수도, ..
프롬프트에 "이거 만들어줘"라고 치면 AI는 만들어 냅니다. 겉보기에는 완벽하게 만들어 냅니다. 그래서 우리는 설계 문서를 건너뛰기 시작했습니다. 어차피 동작하는 코드가 나오는데 문서를 왜 쓸려고 할까요? 문제는 그다음에 드러납니다. 이 프로젝트를 누군가에게 설명해야 하는 순간이 오면, 설명할 수 있는 사람이 없습니다. 코드는 있는데 그 코드가 왜 그렇게 생겼는지를 아는 사람이 없기 때문입니다. AI는 수많은 결정을 내렸지만 그 이유를 남기지 않았고, 우리는 결과만 받아 들고 승인했습니다. 이건 실력의 문제가 아니라 기록의 문제입니다. 남아 있는 것이 코드뿐이면 코드에서 읽어낼 수 있는 것만 알 수 있습니다. 무엇을 고려했고 무엇을 버렸는지는 코드에 남지 않습니다. AI를 도구로 부리려면 순서를 되돌려야..
세상에는 다양한 방법으로 해시를 이용하는 기술이 많습니다. 대표적으로 레디스, 카프카 등이 있습니다. 이번에 소개할 카산드라도 해시를 사용합니다.들어가기에 앞서 카산드라가 어떤 DB인지 간단히 알아보겠습니다. 카산드라는 2008년 페이스북에서 처음 개발되었으며, 현재는 아파치 산하에서 관리되고 있습니다. 대규모 데이터를 효율적으로 처리하도록 설계된 NoSQL 데이터베이스로, 높은 확장성과 내결함성을 바탕으로 정형·비정형 데이터를 다루는 데 최적화되어 있습니다.그런데 원본 데이터를 맡는다는 건, 곧 절대 멈춰서는 안 된다는 뜻이기도 합니다. 카산드라는 바로 이 '멈추지 않는 것', 즉 무중단에 강한 데이터베이스입니다. 그렇다면 카산드라는 어떻게 멈추지 않을 수 있을까요?카산드라는 무중단을 어떻게 지원할 수..
분산 해시를 공부하면서 %N부터 가상 노드까지 차례로 다뤘습니다. 이렇게 순서대로 늘어놓으면, 마치 %N은 초보적인 출발점이고 가상 노드는 그 위의 고도화된 기법처럼 보이기 쉽습니다. 하지만 실제로는 그렇지 않습니다. 상황에 따라 %N을 일부러 선택하는 경우도 적지 않습니다. 이번에 다룰 레디스(Redis)가 바로 그런 사례입니다. 레디스는 어째서 해시 링이나 가상 노드를 두고 %N을 골랐을까요? 그리고 %N의 치명적인 약점인 재배치 문제는 또 어떻게 피해 갔을까요?레디스가 %N으로 해시 분산을 할 수 있는 이유해시값 % N으로 데이터를 분산하면, 가장 치명적인 약점은 바로 재배치 문제였습니다. 이 문제를 풀기 위해 우리는 자연스럽게 해시 링(안정 해시)이라는 아이디어를 떠올릴 수 있습니다. 하지만 레디..
패스워드는 어째서 암호화를 사용하지 않고 해시를 사용하는 걸까?로그인 기능을 만들기 위해서는 아이디와 패스워드가 필요합니다. 아이디야 평문으로 해도 상관없지만, 패스워드는 보안상 평문으로 저장하면 안 됩니다. 그렇다면 평문을 다른 사람이 알아볼b-programmer.tistory.com생각보다 많은 곳에서 해시를 사용합니다. 그중 하나가 패스워드이고, 이는 위 포스트에서 확인할 수 있습니다. 해시의 핵심 성질은 크게 두 가지입니다. 하나는 데이터의 지문을 만드는 것이고(패스워드가 여기에 해당합니다), 다른 하나는 키로 위치를 계산하는 것입니다. 해시 함수를 통과시키면 정수 값이 나오는데(흔히 16진수로 표기합니다), 이 값을 이용해 데이터를 어느 서버에 저장할지 계산할 수 있습니다.해시가 어떤 값을 뱉는..
로그인 기능을 만들기 위해서는 아이디와 패스워드가 필요합니다. 아이디야 평문으로 해도 상관없지만, 패스워드는 보안상 평문으로 저장하면 안 됩니다. 그렇다면 평문을 다른 사람이 알아볼 수 없게 만들어야 합니다. 이를 위해 암호화를 사용하거나, 해시 함수를 이용해 평문을 해시값으로 변경합니다. 그리고 로그인 시 동일한 해시값이라면 로그인이 성공하고, 다르다면 실패합니다. 일반적으로 해시를 많이 이용하지만, 해시에는 치명적인 문제가 있습니다. 바로 중복 문제입니다. 즉, 서로 다른 평문에 해시 함수를 적용한다고 해서 그 결과가 서로 다르다는 보장은 할 수 없습니다. 이렇게 되면 해시 결과값만 같다면 로그인이 된다는 것인데, 보안상 나쁜 게 아닐까요?그렇다면 어째서 로그인에는 해시를 사용하는 걸까요? 암호화를 ..
레디스에는 다양한 명령어와 자료구조가 존재합니다. 하지만 막상 어떤 자료구조들이 있는지 하나씩 찾아보며 학습하는 경우는 많지 않습니다. 제가 그 이유를 생각해 보니 크게 두 가지였습니다. 첫 번째는, 프로그래밍을 학습하면서 리스트, 집합, 맵과 같은 기본적인 자료구조를 이미 익혔다고 생각했습니다. 그래서 자료구조 자체는 이미 알고 있다고 생각하며, 굳이 다시 학습할 필요성을 느끼지 못했습니다. 두 번째는, 세상에는 수많은 자료구조가 존재하기 때문에 모든 것을 미리 학습하는 것은 비효율적이라고 생각했습니다. 필요할 때마다 찾아보고 사용하는 것이 더 효율적이라고 판단하게 된다고 생각하였습니다. 그럼에도 제가 레디스의 자료구조를 학습하기로 마음먹은 이유가 있습니다. 레디스의 자료구조는 단순히 데이터를 저장하는..