데이터 수집/분석/활용 플랫폼 S/W 엔지니어 모집
SK플래닛은
경기도 성남시
29 일 전

Ⅰ. 기본 정보

직무 실시간 데이터수집 / 분석 / 활용을 위한 파이프라인 개발 / 운영 근무지 판교

Ⅱ. 자격 요건 (Job Requirement)

Mission

실시간 데이터 수집 / 분석 / 활용을 위한 파이프라인 구현환경을 개발하고 운영할 데이터 엔지니어를 모집합니다.

SK Planet의 대용량 데이터를 다루는 빅데이터 플래폼인 DIC는 멀티테넌트 하둡 클러스터를 중심으로 데이터의 수집부터 활용까지 전 구간에 걸친 데이터파이프라인 구현 환경을 제공합니다.

DIC를 통해 다양한 서비스 사용자 / 서버로부터 발생하는 수십억건의 로그는 표준화된 방식으로 생성되고 중단없이 실시간으로 수집 / 처리되며 다양한 저장소 (Hive, HBase, Redis, Kudu, Druid, Elasticsearch)로 연동됩니다.

사용자가 비지니스로직에만 집중함으로써 다양한 데이터서비스가 빠르게 실험될 수 있는 환경 제공은 스트림처리를 서비스로써 안정성 / 확장성 / 편의성을 고려하여 제공하기 위한 많은 과제들을 제시하고 있습니다.

데이터 활용사례를 함께 고민하고 DIC의 데이터파이프라인을 유연하게 강화해가실 소프트웨어 엔지니어를 모십니다.

Responsibilities

  • Kafka Cluster 구축 / 운영
  • 실시간 데이터 처리 / 적재 플래폼 개발 / 운영
  • 실시간 데이터 입수 모니터링 시스템 개발 / 운영
  • 컨테이너 기술을 이용한 Serverless 데이터처리 환경 개발
  • 머신러닝 모델의 실시간 데이터처리 적용 환경 개발
  • Requirement - Java / Scala / Python 중 1개 이상의 언어로 1년 이상의 개발 경험

  • 리눅스 환경에서의 개발 경험 Preferred - Hadoop Ecosystem 이용 경험
  • 데이터 스트림 프로세싱 프레임워크 개발 / 운영 경험 ( Spark streaming / Flink / Kafka Streams 등 )
  • 오픈소스 활용 경험
  • 머신러닝 데이터파이프라인의 개념적 이해
  • 입사지원
    입사지원
    나의 이메일
    "계속"을 클릭하면 neuvoo의 개인 정보 보호 정책 에 설명 된대로 데이터를 처리하고 전자 메일 알림을 보내도록 neuvoo 동의를 제공합니다. 언제든지 동의 철회 또는 탈퇴 할 수 있습니다.
    계속
    신청서