아키텍처 (2) 썸네일형 리스트형 Redpanda 짧은 도입 후기 서론 개인 프로젝트를 돌릴 때 은근히 많이 신경 쓰이는 것이 CPU, 메모리 등의 리소스이다. 내가 Java보다는 파이썬이나 Go로 프로그램을 작성하는 이유도 리소스 때문에 선택하는 경우가 많다. (물론 Java를 별로 안 좋아하는 게 가장 크다...😒) Elasticsearch나 Kafka를 좋아하는 편이지만 개인 프로젝트에서 사용하려고 할 때마다 항상 발생했던 문제가 리소스 문제다. 개발 환경을 구축할 때는 개인 서버(4c/16g)의 메모리를 많이 잡아먹어 다른 서비스를 꺼야 했고 운영 환경에서는 비용적인 문제로 한 개 인스턴스에 여러 서비스를 띄우는 편인데 메모리를 가장 많이 잡아먹는 게 Elasticsearch, Logstash, Kafka였다. Redpanda는 이런 이유에서 도입하게된 Kafk.. 토렌트 수집 아키텍처 설계 및 구축 - 0 개요 토렌트는 유명해지기 전부터 이미 어느정도 알고 있었으나 실제 내부에서 어떻게 돌아가는지에 대해서는 별다른 관심이 없었다. 그러다가 어느순간 회사에서 토렌트 관련 프로젝트를 진행하게 되어 수집을 해볼 기회가 있었고 생각보다 많고(정말 많다...) 다양한(?) 데이터를 얻을 수 있었다. (물론 토렌트 특징 상 실제 데이터 다운로드는 하지 않고 오직 메타 데이터로만 분석했다..) 한동안 관심이 없다가 얼마전부터 다시 토렌트에 관심이 생겼고 다시 한번 아키텍처를 설계해보기로 마음먹었다. 물론 이번건은 회사로써가 아니라 개인으로써 진행하는 프로젝트이고 최근에 다른데 지출이 많아서 극단적으로 제한적인 예산으로만 아키텍처를 설계하고 구축해보았다. 요구사항 아키텍쳐를 설계하기전에 미니 프로젝트를 진행하기 위해 필.. 이전 1 다음
