210219_크라우드소싱관리매뉴얼

크라우드소싱 데이터 라벨러 관리의 모든 것

들어가며

관리자의 입장에서 인공지능 학습용 데이터셋 구축 프로젝트를 진행하다보면, 데이터 품질 관리·프로젝트 생산성 관리 측면에서 다뤄야 할 이슈가 매우 많습니다. 그 중에서도 많은 기업과 PM들이 가장 어렵다고 꼽는 이슈를 고르라면, 인력 수급일하는 인력의 생산성 관리 이슈일 것입니다. 

슈퍼브에이아이와 데이터연구소는 여러 건의 데이터 라벨링 프로젝트를 함께 진행하며 수백명의 데이터 라벨링 인력을 고용하고 있습니다. 특히 코로나 바이러스로 인한 재택근무 제도의 확산 이후에는, 크라우드소싱 채용 형태로 일부 전환하여 원격으로 라벨러를 관리하고 있습니다. 

비대면 인력 운용의 어려움

비대면 상황에서 라벨러를 관리하고, 엔지니어·PM 등 다양한 이해관계자와의 협업을 원활히 진행하기 위해서는 대면 상황에서보다 더 많은 포인트들을 신경써야 합니다. 직접 라벨링 가이드를 안내할 수 없는 만큼 비대면 교육에 심혈을 기울여야 하고, PM 입장에서는 라벨러가 눈에 보이지 않으니 성과가 좋은 라벨러와 그렇지 못한 라벨러를 한눈에 파악하기도 쉽지 않아 따로 시스템을 구축해야 합니다. 슈퍼브에이아이와 데이터연구소는 AI 학습용 데이터 구축 플랫폼인 ‘Superb AI Suite’의 협업 기능을 바탕으로, 원격근무 라벨러의 관리에 대한 노하우를 체득하고, 발전시켜 나가는 중입니다. 

  • 역할별 접근권한 설정

대규모 데이터셋 구축에는 엔지니어, PM 등 다양한 관리자가 관여하며, 많은 라벨링 인력이 투입됩니다. 때문에 이해관계자의 역할을 나누고, 각 역할에 맞는 기능을 사용하게끔 안내하면 프로젝트 진행의 혼란을 막고 각 워커가 자신의 업무에 집중할 수 있습니다.

  • 대규모 데이터셋 작업 분배

Assign 기능을 사용하면 대규모의 데이터셋을 크라우드 라벨러에게 일괄 배정하거나, 특정 라벨러에게 할당하는 등 담당자를 지정할 수 있습니다. 

  • 실시간 작업자 생산성 관리 

‘User Report’를 통해 라벨러들의 실시간 작업 현황을 확인하여 생산성을 관리하고, 이를 바탕으로 추후 작업 성과 검토 및 정산 시에도 활용할 수 있습니다. 

크라우드소싱 인력 관리, 헤매지 마세요

크라우드소싱 형태의 데이터 라벨러 고용을 고민중이지만 방법론 단계에서 헤매고 계시다면, 슈퍼브에이아이와 데이터연구소가 제작한 본 매뉴얼을 참고하세요. 양사의 시행착오적 경험을 토대로, 대규모 AI 학습용 데이터셋 구축 시 진행하는 ‘크라우드소싱’ 관련 원활한 인력 운용에 대한 팁과 체계적인 노하우를 나눕니다. 

다음 이미지를 클릭하면 매뉴얼을 다운받을 수 있습니다. 

<목차>

  • 데이터 구축 프로젝트 관리, 왜 중요한가?
  • Overview
  • 이해관계자 정의
  • Communication Channel
  • 라벨링 업무 평가(검수)
  • 검수/정산 주기 결정
  • 실전 Action Plan
    – 채용
    – 교육
    – 평가 기준
    – 라벨링 및 검수
    – 비용 지급

About Superb AI

Superb AI Suite는  머신러닝 데이터 파이프라인의 구축, 머신러닝 개발 방식의 혁신을 목표로 하는 데이터 플랫폼입니다. 머신러닝 데이터 관련 모든 작업을 All-in-one으로 할 수 있는 플랫폼인 Superb AI Suite를 통해 데이터 소스를 연동하고, 기존의 머신러닝 개발 작업과 통합시키고, 여러 역할을 가진 실무자와 조직이 원활하게 협업해 보세요. 머신러닝 엔지니어의, 머신러닝 엔지니어에 의한, 머신러닝 엔지니어를 위한 Superb AI의 미션은 모든 규모의 머신러닝 팀이 프로덕트 수준의 인공지능 개발에 박차를 가할 수 있도록 돕는 것입니다. 지금 바로 가입하세요. 

Superb AI가 준비하고 있는 머신러닝 오퍼레이션 자동화(ML Ops)의 미래를 함께하고 싶다면, Superb AI의 whitepaper series를 구독해보세요. 

Superb AI는 당신과 함께 하는 날을 기다리고 있겠습니다.

Share on facebook
Share on twitter
Share on linkedin
Share on email
Superb AI

Superb AI

Related Posts

우리 머신러닝 팀이 핵심 업무에 집중하지 못하는 이유

Insight

실무자 약 2천 여명이 참여한 서베이에서 핵심 업무에 집중하지 못하고 데이터 작업 중 특정 부분에 60%의 시간을 할애한다는 결과가 있었습니다. 이 글을 통해 머신러닝 팀의 리소스가 핵심 업무에 할당될 수 있도록 팀의 효율을 높이는 솔루션에 대한 설명을 드리고자 합니다.

Read More →

 © 2021 Superb AI, Inc. All Rights Reserved.