프로젝트를 진행하며 "내가 작성한 편지를 검색하는 효율적인 방법이 없을까?"를 고민하다 MySQL의 전문 검색 인덱스(Full Text Search)를 이용해 간단한 검색 엔진을 구현해 보기로 했습니다.전문 검색 인덱스 (Full Text Search Index)1MB가 넘는 컬럼이 있다고 가정했을 때, B-Tree 인덱스는 1MB 전체를 인덱스 키로 잡지 않고 3,072 바이트(InnoDB)까지만 잘라서 인덱스 키로 사용합니다.그리고 B-Tree 인덱스는 특성상 전체가 같거나, 왼쪽부터 읽으며 일부가 일치하는지만 확인할 수 있습니다. 인덱스 키 값의 왼쪽을 기준(Left-most)으로 오른쪽 값이 정렬되어 있기 때문이죠. "LIKE"문으로 검색할 때 왼쪽 값이 없는 패턴이라면 Full Table Sca..

환경Spring Boot 3.3.4Amazon Corretto 17.0.11문제 발생@BeforeEachvoid setUp() { mockMvc = MockMvcBuilders.standaloneSetup(replyController) .setCustomArgumentResolvers(new PageableHandlerMethodArgumentResolver()) .build(); // 생략 ..}@DisplayName("published 값에 따른 편지와 1:1로 대응하는 답장을 페이징으로 응답할 수 있다")@ParameterizedTest@ValueSource(booleans = {true, false})void success_p..

ElasticSearch 기본 환경 설정클러스터의 환경 설정은 `elasticsearch.yml` 파일로 할 수 있습니다.Cluster 영역클러스터 내의 모든 노드들은 동일한 클러스터의 이름을 사용하는데, 그 이름을 설정합니다.설정하면 클러스터 전체에 적용됩니다.cluster.name: myCluserName- 아무 값도 설정하지 않으면 `elasticsearch`라는 이름으로 설정됩니다.Node 영역해당 노드에만 적용되는 설정입니다.node.name: myNode1노드의 이름은 클러스터 내에서 유니크해야 합니다.7.x 버전부터 기본값으로 `${HOSTNAME}`을 사용합니다.Path 영역데이터와 로그를 저장하는 위치를 설정할 수 있습니다.이 위치 설정 값이 없으면 ElasticSearch가 실행되지 않..

클러스터와 노드클러스터는 여러 대의 컴퓨터나 구성 요소를 논리적으로 연결한 전체를 하나인 것처럼 사용하게 하는 기술을 말합니다.ElasticSearch 클러스터여러 ElasticSearch 프로세스들을 논리적으로 연결해 하나의 프로세스처럼 사용하게 하는 기술고유한 클러스터 이름과 `UUID`를 갖는다.노드클러스터를 구성하는 하나의 ElasticSearch 프로세스고유한 노드 이름과 `UUID`를 갖는다.(노드 이름을 설정하지 않으면 7.x 부터 `${HOSTNAME}`을 사용. 이전 버전은 랜덤 값 사용)클러스터 내에서 서로 동일한 클러스터의 이름을 인식한다.위 그림의 각 노드들은 하나의 ElasticSearch로 동작하기 때문에 어떤 노드에 요청을 보내더라도 동일한 응답과 응답 속도를 보장받을 수 있습..

프로젝트에서 동적 쿼리를 적용하기 위해 Querydsl을 도입하기로 의사 결정했습니다.예전 프로젝트에서 사용했던 Querydsl 5.1 버전을 사용하려 했으나 보안 취약점(CVE-2024-49203)이 발견되어 사용할 수 없었습니다.CVE-2024-49203 보안 취약점Querydsl and OpenFeign Querydsl Java Library Vulnerability Permits SQL/HQL Injection 내용에 따르면, 보안 취약점은 정렬을 수행하기 위해 `OrderSpecifier`를 사용할 때 공격자가 SQL/HQL Injection 공격을 할 수 있다는 것입니다.`OrderSpecifier`가 공격자의 입력을 삭제하지 않기 때문에 발생하는 문제로 소개하고 있는데, 좀 더 자세한 내용을..

환경- OS: macOS m1- ElasticSearch version: `8.16.2` (Docker Image: `elasticsearch:8.16.2`)문제 발생인덱싱하려는 JSON 파일{"index": {"_id" : "1"}}{"title": "Kubernetes: Up and Running", "reviews": 10, ...생략 }{"index": {"_id" : "2"}}{"title": "Cloud Native Java", "reviews": 33, ...생략 }... 생략 인덱싱하려는 JSON 파일은 아래 ElasticSearch 공식 문서에 있는 형식을 지켰습니다. 공식 문서에 나와있는 입력 형태action_and_meta_data\noptional_source\naction_and_..

이전 포스팅에서 톰캣 스레드 풀을 늘리기 전에, 병목 지점은 데이터베이스 커넥션을 획득하는 부분에 있다는 것을 파악했었습니다.이번 포스팅에서는 데이터베이스 커넥션 풀의 크기를 조절과 캐시를 적용하는 각각의 과정을 담았습니다.데이터베이스 커넥션 풀 크기 조절하기HikariCP 설정 값 변경하기커넥션 풀 크기를 조절하는 방법은 이미지처럼 `application.yml`에서 간단하게 설정할 수 있습니다.hikariCP 설정 옵션에 대한 설명입니다.maximum-pool-size: 커넥션 풀의 최대 크기를 지정합니다. 커넥션 풀 크기만큼 커넥션이 담기면 idle 상태의 커넥션은 존재하지 않게 된다고 합니다.minimum-idle(default: same as maximumPoolSize): 커넥션 풀에 idle..

이번 포스팅에선 사용자 경험 향상을 위해 응답 속도와 TPS를 높일 수 있는 방법을 알아보겠습니다.응답 속도가 느린 이유이전의 부하 테스트 결과 지표에서 필요한 부분을 가져왔습니다.데일리 리포트와 위클리 리포트 각 테이블당 300만 건의 레코드가 들어있습니다.부하 테스트 결과 (트래픽 10배 늘었을 때를 가정)라벨표본 수평균최소값최대값표준편차오류 %처리량생성 가능 일자 조회(데일리 리포트)50003511750048.1396.340%423.51347생성 가능 일자 조회(위클리 리포트)500034832748319.76100.000%421.86973데일리 리포트 조회500035932757940.92100.000%427.31390총계150003531757938.5098.780%283.02955 평균 응답 속도는..