Seungdols Company

Kafka Transaction - Lag 1 Gap issue

Kafka Transaction Commit Marker로 인한 Phantom Lag 현상들어가며Kafka 기반의 이벤트 드리븐 시스템을 운영하다 보면, 모니터링 대시보드에서 consumer lag이 0이 되지 않는 현상을 마주할 때가 있습니다. 메시지를 모두 처리했는데도 lag이 1씩 남아있는 이 현상을 Phantom Lag이라고 부릅니다.이 글에서는 실제 서비스에서 Phantom Lag을 만나게 된 과정, 원인 분석, 그리고 해결 방안을 공유합니다.시스템 구성CDC(Change Data Capture) 기반으로 검색 엔진 인덱싱을 수행하는 스트림 처리 시스템입니다.[MongoDB CDC] → [Indexer] → (delete-request 토픽) → [Deleter] → [Search Engine]..

사건의 발달KRX 거래소쪽의 선물 지수 데이터 가져오고 싶었다. 아, API 문서 관리 진짜 장난하나.대체 어느 시절의 개발 명세서 .docx 로 관리 하냐. (swagger 나 apidocs 라도 붙이던가.)그래서 불만만 말하면 되냐? 안됩니다. 그래서 만들었습니다.API DOCS https://seungdols.github.io/krxon/ KRX(한국 거래소) API의 공개 된 모든 엔드포인트, 요청, 응답을 정리 했습니다.API 키 신청 필요 (관리자 승인 필수)필요한 API 요청 필요 (관리자 승인 필수)CLI 지원 Homebrew (macOS/Linux)첫 설치 시 한 번만 tap 하세요:brew tap seungdols/krxon https://github.com/seun..

https://stockcrypto-logs.vercel.app/ StockCrypto Logs - Smart Trading JournalTrack your investments across stocks and crypto. Automated price updates and detailed analytics.stockcrypto-logs.vercel.app 원래 매매기록을 엑셀에 정리하곤 했는데, 대시보드가 좀 불편해졌습니다. 그러다보니, 만들어야지 하다가 드디어 주말에 만들어보게 되었네요. 여기까지는 초기 버전이었습니다.기능도 참, 거시기 하죠? 단순한 기록용도만 있었어요.[업데이트] - 기간별 분석 페이지 추가 - 모바일, PC 반응형 버그 수정 - 폰트 변경 - 차트 변경 - 계산 오류 수정 - 기..

📸 Instagram ID 샤딩 전략 Instagram이 대규모 분산 시스템에서 고유한 ID를 생성하는 방법 🔢 64비트 ID 구조 Timestamp 41 bits 밀리초 타임스탬프 Shard ID 13 bits 샤드 식별자 Sequence 10 bits 자동 증가 시퀀스 ..

gemini 3.0 pro 공개https://storage.googleapis.com/deepmind-media/Model-Cards/Gemini-3-Pro-Model-Card.pdf구글의 gemini 3.0 성능이 모든 llm 모델을 압도하고 있다.gemini 3.0 공개와 함께개발툴의 새역사가 쓰여지고 있다.https://antigravity.google/그 와중에 ide를 개발해냈다.windsurf 개발진들이 구글로 조인 한 뒤에 이뤄낸 프로젝트라고 생각하면 된다.사실 화면만 볼때는 그냥, vs code와 비슷하다.가장 좋은 점은 gemini 3.0 pro를 써볼 수 있다는 점이다.뭔가 만들어 봐야겠다.확실히 요새 구글 폼이 예전의 왕좌를 다시 가져오고 있다는 생각이 들었다.vs code 와 비슷하..

alpha / beta 환경에서 swagger를 쓰고 있었습니다. 환경을 설명하자면, local 을 제외 한 도메인은 https를 쓰고 있는 상태입니다.QA 분의 요청이 있었는데, 기타 본사의 QA에서 Postman으로 접근 하려면, 문제가 있다 보니 설정을 수정 해야 하는 문제가 불가피 했습니다. 그래서 swagger-ui에서 기타 설정을 하지 않으면, 호출시 http로 요청 되다 보니 문제가 생겼습니다. spring doc starter를 쓰고 있었고, 위의 설정을 볼 수 있습니다. 어떻게 처리 할까 하다가, 다양한 방법을 연구하게 되었습니다.@OpenAPIDefinition( servers = [ Server(url = "/", description = "Default Server..

회사 동료로부터 flowith를 알게 되어 사용 해봤습니다. 재밌는 기능들이 많았는데, 일단 agent mode가 참 편했습니다. 일단, 화면에서 보이는 모습은 agemt mode와 아닌 경우 llm 다양한 버전을 쓸 수 있다는 점이다. (대통합의 ai일까?)notebooklm의 장점이었는데, 여기에서도 비슷한 기능을 쓸 수 있네요?일단은 먼저 확인 해보고자.테스트로 러스트 학습 로드맵을 작성 해달라고 한번 시켜봤습니다.절차적으로 어떻게 진행 되는지? 수집 - 정리 - 목록화가 아주 잘 됩니다.그렇게 AI agent가 Rust 기초 학습 로드맵을 작성 해줬습니다.Rust 프로그래머를 위한 종합 학습 가이드서론: Rust 학습 여정의 시작Rust는 성능, 안전성, 동시성이라는 세 가지 핵심 가치를 추구하는..

Spring Batch로 카프카 메시지를 송신 하는데, 송신 한 값의 유무를 보고 다른 작업을 하는 Step이 있는데 이상하게 일부 메시지만 유실이 되었다.살펴보니, 카프카의 linger.ms 설정은 일정 시간동안 버퍼에 모았다가 메시지를 보내는 옵션이다.하지만, 이 옵션을 적게 변경 하면 성능이 떨어진다. https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html#linger-ms Kafka producer configuration reference | Confluent DocumentationEnter a string to search and filter by configuration proper..

JdbcCursorItemReader 를 이용해, db 쿼리를 한 뒤에, 조인 된 데이터를 가져와서 DTO data class에 담아 처리를 해야 할 일이 있었습니다.기존 return JdbcCursorItemReaderBuilder() .name("xxxStepItemReader") .dataSource(secondaryDataSource) .sql( """ SELECT .. xxx 비밀 ^^ """.trimIndent(), ) .fetchSize(BatchConstant.STEP_CHUNK_SIZE) ..

특정 workflow를 잘 사용하다가, Macos 의 보안 관련 오류로 search_notes: Operation not permitted 문제가 발생 했다. 이 부분은 주로, python workflow 모듈을 쓰는 경우 발생하는 것 같다. 해결 방법은 권한 오류가 발생한 경로를 아래 명령어에 넣어주면 된다.xattr -dr com.apple.quarantine [경로]ref. https://www.alfredforum.com/topic/22267-problem-with-alfred-and-searching-notes/