210219_크라우드소싱관리매뉴얼

크라우드소싱 데이터 라벨러 관리의 모든 것

들어가며

관리자의 입장에서 인공지능 학습용 데이터셋 구축 프로젝트를 진행하다보면, 데이터 품질 관리·프로젝트 생산성 관리 측면에서 다뤄야 할 이슈가 매우 많습니다. 그 중에서도 많은 기업과 PM들이 가장 어렵다고 꼽는 이슈를 고르라면, 인력 수급일하는 인력의 생산성 관리 이슈일 것입니다. 

슈퍼브에이아이와 데이터연구소는 여러 건의 데이터 라벨링 프로젝트를 함께 진행하며 수백명의 데이터 라벨링 인력을 고용하고 있습니다. 특히 코로나 바이러스로 인한 재택근무 제도의 확산 이후에는, 크라우드소싱 채용 형태로 일부 전환하여 원격으로 라벨러를 관리하고 있습니다. 

비대면 인력 운용의 어려움

비대면 상황에서 라벨러를 관리하고, 엔지니어·PM 등 다양한 이해관계자와의 협업을 원활히 진행하기 위해서는 대면 상황에서보다 더 많은 포인트들을 신경써야 합니다. 직접 라벨링 가이드를 안내할 수 없는 만큼 비대면 교육에 심혈을 기울여야 하고, PM 입장에서는 라벨러가 눈에 보이지 않으니 성과가 좋은 라벨러와 그렇지 못한 라벨러를 한눈에 파악하기도 쉽지 않아 따로 시스템을 구축해야 합니다. 슈퍼브에이아이와 데이터연구소는 AI 학습용 데이터 구축 플랫폼인 ‘Superb AI Suite’의 협업 기능을 바탕으로, 원격근무 라벨러의 관리에 대한 노하우를 체득하고, 발전시켜 나가는 중입니다. 

  • 역할별 접근권한 설정

대규모 데이터셋 구축에는 엔지니어, PM 등 다양한 관리자가 관여하며, 많은 라벨링 인력이 투입됩니다. 때문에 이해관계자의 역할을 나누고, 각 역할에 맞는 기능을 사용하게끔 안내하면 프로젝트 진행의 혼란을 막고 각 워커가 자신의 업무에 집중할 수 있습니다.

  • 대규모 데이터셋 작업 분배

Assign 기능을 사용하면 대규모의 데이터셋을 크라우드 라벨러에게 일괄 배정하거나, 특정 라벨러에게 할당하는 등 담당자를 지정할 수 있습니다. 

  • 실시간 작업자 생산성 관리 

‘User Report’를 통해 라벨러들의 실시간 작업 현황을 확인하여 생산성을 관리하고, 이를 바탕으로 추후 작업 성과 검토 및 정산 시에도 활용할 수 있습니다. 

크라우드소싱 인력 관리, 헤매지 마세요

크라우드소싱 형태의 데이터 라벨러 고용을 고민중이지만 방법론 단계에서 헤매고 계시다면, 슈퍼브에이아이와 데이터연구소가 제작한 본 매뉴얼을 참고하세요. 양사의 시행착오적 경험을 토대로, 대규모 AI 학습용 데이터셋 구축 시 진행하는 ‘크라우드소싱’ 관련 원활한 인력 운용에 대한 팁과 체계적인 노하우를 나눕니다. 

다음 이미지를 클릭하면 매뉴얼을 다운받을 수 있습니다. 

<목차>

  • 데이터 구축 프로젝트 관리, 왜 중요한가?
  • Overview
  • 이해관계자 정의
  • Communication Channel
  • 라벨링 업무 평가(검수)
  • 검수/정산 주기 결정
  • 실전 Action Plan
    – 채용
    – 교육
    – 평가 기준
    – 라벨링 및 검수
    – 비용 지급

About Superb AI

Superb AI Suite는  머신러닝 데이터 파이프라인의 구축, 머신러닝 개발 방식의 혁신을 목표로 하는 데이터 플랫폼입니다. 머신러닝 데이터 관련 모든 작업을 All-in-one으로 할 수 있는 플랫폼인 Superb AI Suite를 통해 데이터 소스를 연동하고, 기존의 머신러닝 개발 작업과 통합시키고, 여러 역할을 가진 실무자와 조직이 원활하게 협업해 보세요. 머신러닝 엔지니어의, 머신러닝 엔지니어에 의한, 머신러닝 엔지니어를 위한 Superb AI의 미션은 모든 규모의 머신러닝 팀이 프로덕트 수준의 인공지능 개발에 박차를 가할 수 있도록 돕는 것입니다. 지금 바로 가입하세요. 

Superb AI가 준비하고 있는 머신러닝 오퍼레이션 자동화(ML Ops)의 미래를 함께하고 싶다면, Superb AI의 whitepaper series를 구독해보세요. 

Superb AI는 당신과 함께 하는 날을 기다리고 있겠습니다.

Share on facebook
Share on twitter
Share on linkedin
Share on email
Superb AI

Superb AI

Related Posts

2021년 AI 학습용 데이터 구축 사업을 준비하는 기업이 꼭 알아야 할 3가지

Insight

사업에 참여해 성공하는 게 여러모로 회사의 현재와 미래에 중대한 기여를 할 수 있는 만큼, 사업 참여 및 수행에 성공하고자 한다면 보다 치밀하게 전략을 구상하고 실행할 필요가 있습니다. AI 학습용 데이터 구축 사업의 추세를 더 면밀히 살펴보고 어떤 기업이 사업 공모에 성공했으며 또 어떻게 수행했는지를 살펴본다면 여러분의 기업도 성공의 반열에 합류할 공산이 더 커질 것입니다. NIA에서 주도하고 있는 인공지능 학습용 데이터 구축 사업의 전반부와 성공적인 사업 구성과 실행을 위해 알아야 할 내용을 이 글을 통해 전달하고자 합니다.

Read More →
increase-ai-training-dataset-quality

AI 학습용 데이터셋의 품질을 끌어올리는 5가지 관리 포인트

Insight

데이터 구축 작업에는 많은 비용과 시간이 필요합니다. 공들여 작업한 데이터에 예상치 못한 품질 이슈가 발생한다면, 인공지능 성능의 문제가 됩니다. 좀 더 문제를 일찍 발견한다고 하더라도, 모델 개발에서의 비용이 기하급수적으로 증가하는 상황이 발생할 수 있습니다. 하지만 데이터 가공과 검수 단계에서의 관리포인트를 챙기는 것만으로도 이런 문제를 사전에 예방할 수 있습니다. 이에 데이터 품질 관리를 위해 짚고 넘어가야 할 5가지 관리 포인트를 소개합니다.

Read More →

 © 2021 Superb AI, Inc. All Rights Reserved.