[개발이야기#082] 스팀잇 검색엔진 개발을 해보자 - 검색엔진 시스템 구성도

안녕하세요 가야태자 @talkit 입니다.

오늘은 원래 어제에 이어서 데이터베이스 서버를 설치 해야 하지만,

오늘은 간략하게 검색엔진의 구성을 말씀 드리겠습니다.

좀 더 상세한 구성이 필요하기는 하겠지만, 오늘은 일단 큰 틀을 설명 드리겠습니다.

저기 네모 아에 있는 시스템들이 검색엔진에서 필요한 서버들입니다.

처음에는 간단하게 하나의 서버에 구성해도 되지만 추후를 생각해서

여러대를 생각하고 설치하고 개발하고 있습니다.

일단 우리가 검색하려고 하는 대상은 맨 오늘쪽에 있는 스팀잇의 노드들에 저장 되어 이쓴 데이터 입니다.

그것을 우선, 제가 원래 오늘 설치 해야할 MySQL 서버에 저장 합니다.

수집 서버는 항상 바쁠껍니다. 매분마다든, 매시간마다든 계속 수집을 답답하게 될테니까요 ^^

그래서 원래는 분리해야하지만, 데이터베이스 서버에서 수집을 담당하려고 합니다.

중간에 카프카를 그대로 둘지가 지금 고민 입니다.

카프카는 임시 저장소라고 생각하시면 됩니다.

카프카에 있는 데이터를 오픈 서치라는 검색엔진에 넣습니다.

그럼 검색 준비는 모두 끝났습니다.

OepnSearch에서 제공하는 검색 API를 이용해서 검색을 진행하게 됩니다. 하지만, 오픈 서치 서버 까지는 외부가 아니라서 사용자는 접근이 불가능 합니다.

그래서 API서버를 통해서 사용자는 검색을 하도록 만들 계획입니다.

그리고 처음에는 검색 웹서버에서 들어오는 API 만 허용해줄 계획입니다.

하지만, 추후에 서버가 확장되고 여러 조건이 같춰지면, 저 API 서버도 개발자 분들에게 공개를 해볼 계획이비다.

오늘은 이정도 하고, 다음글에서는 다시 서버 설치를 진행 하겠습니다.

중간중간에 세부 서버에 대한 설명도 조금씩 그림과 함께 진행 해보겠습니다.

감사합니다.

Posted through the ECblog app (https://blog.etain.club)