# 5. 추가 개선 사항# 5.1. 데이터 수집 주기와 배치 크기 기준은 어떻게 설정하면 좋을까? 이전에 사용했던  logstash 에서도 데이터 수 증가( 버퍼 크기)의 문제로 데이터가 누락 또는 지연되었던 경험이 있습니다.이 경우는 logstash 메모리 버퍼 증가로 해결하였지만, MongoDB 의 관점에서 해결할 수 있는 방법을 찾아 보았습니다. 1.인덱스 설계 몽고DB는 대용량 데이터 처리에 강점이 있습니다. 그럼에도 불구하고 더 많은 데이터가 들어온다고 가정하면 성능에 영향을 줄 수 있습니다.불필요 인덱스를 제거 하고, TTL Index를 사용해 오래된 데이터를 정리할 수 있습니다. 2.샤딩수평 확장: 데이터가 많이 쌓이면 단일 서버에서 처리할 수 있는 한계를 넘어서게 됩니다. 이를 해결하기 위..

실무에서 새로운 프로젝트에 참여 했을 때 JSON 형태로 데이터를 활용하자고 제안한 적이 있습니다.1. 개요이유 실무에서 새로운 프로젝트에 참여 했을 때 JSON 형태로 데이터를 활용하자고 제안한 적이 있습니다.이 방법으로 여러 데이터 타입을 유연하게 분석할 수 있었습니다. 기존의 RDB 형태로 데이터를 Type별/컬럼별로 분리하여 관리하면, 신규 Type 추가 시마다 테이블 스키마 변경 및 업데이트 과정이 필요했습니다. 이는 데이터 지연 및 관리 복잡성 증가로 이어질 수 있었습니다.반면, JSON 형식의 데이터를 그대로 클라우드 분석 플랫폼에 저장하고,이를 Function 기능을 통해 실시간으로 분석 및 조회하도록 개선하면서 다음과 같은 이점을 확인할 수 있었습니다: - 운영 효율성 증대: 원본 JSO..

1. 정의MongoDB는 비관계형 데이터베이스(NoSQL)로, 문서 지향(Document-Oriented) 저장 방식을 채택하여 데이터를 JSON 형태의 문서로 저장하는 데이터베이스입니다. 이는 스키마에 엄격히 구애받지 않아 데이터를 자유롭게 추가 및 수정할 수 있는 유연성을 제공합니다.  2. 기존 RDB 와의 차이 및 장단점[장점]- 유연한 데이터 모델링: MongoDB는 JSON과 유사한 문서(document) 구조를 사용하여 데이터를 저장합니다. 이러한 구조 덕분에 데이터를 유연하게 모델링할 수 있으며, 스키마가 고정되어 있지 않아 필요한 경우 데이터 구조를 쉽게 변경할 수 있습니다. - 수평적 확장성: MongoDB는 샤딩(sharding) 기능을 통해 데이터를 여러 서버에 분산시켜 저장할 수 ..

보호되어 있는 글입니다.