코딩관계론

주식 테마 트리맵 서비스 성능 개선 과정이 글은 주식 테마 트리맵 서비스를 구현하면서 겪은 문제와 해결 과정을 다룹니다. 특히 트리맵 생성의 성능 이슈, 실시간 시세 갱신 구조, 네트워크 호출 최적화 및 캐싱 전략을 통해 아키텍처를 개선한 과정을 공유합니다.1. 트리맵(TreeMap)과 실시간 시세 갱신트리맵이 필요한 이유주식 서비스에서 시장 정보를 한눈에 파악할 수 있는 트리맵 기능은 필수적이며, 빠른 데이터 갱신이 중요합니다.초기 시세 갱신 방식의 문제점처음에는 개별 종목의 시세를 서버에서 하나씩 요청하고 DB에 저장하여, 과도한 네트워크 통신과 DB 트랜잭션으로 인해 성능 저하가 발생했습니다.개선된 요청 방식과 비동기 처리개별 요청을 시장(코스피, 코스닥) 단위의 일괄 요청으로 변경했으나, 서버 스..

배경 문제토스 증권 뉴스 페이지에서는 주가 상승 이유를 설명하는 다양한 뉴스를 제공하지만, 정보의 정확성과 관련성 부족으로 인해 투자자가 신뢰할 수 없는 경우가 많습니다.특히, 뉴스 내용이 주식과 직접적인 연관이 없거나 모호한 이유로 주가 상승을 설명하는 경우가 많아 투자자들은 추가적으로 네이버 등 외부 소스에서 정보를 확인해야 하는 불편함을 겪고 있습니다.이 과정에서 과거 뉴스까지 검색해야 할 경우 시간이 과도하게 소요되는 문제도 발생합니다. 초기 접근 방식초기에는 OpenAI가 권장하는 프롬프트 엔지니어링 방식을 통해 GPT 모델을 활용하려 했습니다.다만, 뉴스 데이터는 맥락이 복잡하고 비슷한 내용이 많아 단순 프롬프트로는 원하는 성능을 충분히 얻을 수 없었습니다.참고자료에서 제공된 사례와 권장 사항..

서버 특정 시간대 오류 분석 및 해결 과정문제 상황Search 서버가 특정 시간대에 주기적으로 중단되는 현상이 발생했습니다. 초기에는 빈번하게 발생했지만 시간이 지나며 발생 빈도가 줄어들었습니다. 최근 데이터베이스 마이그레이션 이후 다시 동일한 문제가 발생하여, 원인 분석 및 해결을 진행했습니다.초기 의심로컬 테스트와 AWS 환경 차이로컬 테스트에서는 문제없이 작동했으나, AWS 환경에서 업로드 후 문제가 발생.AWS 환경 문제를 의심하여 top 명령어로 리소스 사용량 로그를 추적했지만 특이점이 발견되지 않았습니다.오류 빈도의 감소시간이 지나며 오류 발생 빈도가 줄어들었기에 급한 일 처리 후 원인 분석을 유보했었습니다.상세 원인 분석데이터베이스 마이그레이션 후 오류가 재발하여 다시 분석에 돌입했습니다.문..

문제 정의오리엔트정공과 같은 특정 주식의 상승 이유를 설명하는 뉴스를 제공할 때,같은 주제의 뉴스가 반복적으로 노출되어 사용자들이 피로감을 느끼는 문제가 발생했습니다.특히, 2024-12-09일 주가 상승 이유는 **"탄핵", "이재명"**이라는 공통된 주제로 요약될 수 있음에도 불구하고, 중복된 뉴스가 다수 표시되어 불편함을 초래했습니다.따라서 이러한 주식들을 필터링할 수 있는 방법이 필요합니다. 첫 번째 시도: 키워드 기반 클러스터링처음에는 GPT에게 뉴스를 분석하여 핵심 키워드를 추출하도록 했습니다.각 뉴스에서 얻은 키워드 리스트를 바탕으로 공통된 키워드를 가진 뉴스를 묶어주는 방식을 고려했으나, 단순한 키워드 비교로는 한계가 있었습니다.한계 사례다음과 같은 뉴스 목록이 있다고 가정합니다.뉴스 1:..