대규모 분산 크롤링 플랫폼 운영 고도화] 다채널(SNS/포털) 수집 엔진 추상화 및 고가용성 무중단 운영 체계 구축
🏢 대용량 소셜 데이터 분산 수집 플랫폼(Opinion Mining Flatform) 개발/운영 (데이타솔루션)
60대 규모 분산 크롤러의 다채널(트위터, 인스타그램, 포털 등) 수집 파서를 추상화하여, 잦은 채널 UI 변경 및 차단 이슈에도 전체 시스템 중단 없이 유연하게 대응하는 무중단 운영 거버넌스 확립
- Java
- HBase
- Crawling
- Linux
- HDFS