AI 프로덕트의 성공적인 개발과 운영을 위해서는 체계적인 접근이 필요합니다. 이 블로그 포스트에서는 AI 프로덕트 개발 및 운영 과정의 주요 단계를 살펴보고, 각 단계에서 필요한 스킬과 직무를 소개하겠습니다.

1. 문제 정의 및 목표 설정

설명: 프로젝트의 시작 단계로, 해결하려는 문제를 명확하게 정의하고, 성과를 평가할 목표를 설정합니다.

필요한 스킬/직무:

• 비즈니스 분석가: 문제를 정의하고 비즈니스 요구 사항을 수집합니다.
• 데이터 과학자: 문제에 적합한 모델과 접근 방식을 선정합니다.
• 프로젝트 매니저: 목표 설정 및 프로젝트 계획 수립을 담당합니다.

2. 데이터 수집, 라벨링 및 전처리

설명: AI 모델 학습을 위한 데이터를 수집하고, 데이터를 라벨링한 후 전처리 작업을 수행합니다.

필요한 스킬/직무:

• 데이터 엔지니어: 데이터 수집 및 저장, 데이터 파이프라인 구축을 담당합니다.
• 데이터 라벨러: 데이터에 정확한 라벨을 부여합니다.
• 데이터 과학자: 데이터 클리닝, 정규화, 특징 추출 등의 전처리 작업을 수행합니다.

3. 모델 개발

설명: 데이터를 기반으로 AI 모델을 개발하고, 모델의 성능을 평가하며 최적화합니다.

필요한 스킬/직무:

• 머신러닝 엔지니어: 모델 설계, 훈련, 평가를 수행합니다.
• 데이터 과학자: 하이퍼파라미터 조정 및 모델 성능 분석을 담당합니다.
• AI 연구자: 최신 알고리즘 및 기술을 적용하여 모델을 개선합니다.

4. 웹 애플리케이션 개발, CI/CD 및 보안

설명: AI 모델을 배포할 웹 애플리케이션을 개발하고, CI/CD 파이프라인을 구축하며 보안을 강화합니다.

필요한 스킬/직무:

• 웹 개발자: 웹 애플리케이션의 설계 및 구현을 담당합니다.
• DevOps 엔지니어: CI/CD 파이프라인 구축 및 자동화를 관리합니다.
• 보안 전문가: 데이터 보안 및 프라이버시 보호를 담당합니다.

5. 모델 최적화 및 경량화

설명: 모델의 성능을 최적화하고, 모델의 크기와 실행 속도를 개선하여 효율성을 높입니다.

필요한 스킬/직무:

• 머신러닝 엔지니어: 모델 최적화 및 경량화 기법을 적용합니다.
• AI 엔지니어: 모델의 리소스 사용을 줄이기 위해 효율적인 코드 및 알고리즘을 개발합니다.

6. 운영 및 모니터링

설명: 모델을 프로덕션 환경에 배포하고, 성능을 모니터링하며, 필요에 따라 모델을 업데이트 및 유지보수합니다.

필요한 스킬/직무:

• 운영 엔지니어: 모델의 운영 상태를 모니터링하고 유지보수를 수행합니다.
• 데이터 과학자: 모델 성능 분석 및 업데이트를 담당합니다.
• 시스템 관리자: 서버 및 인프라 관리와 관련된 작업을 수행합니다.

이 양식은 AI 프로덕트의 전체 개발 및 운영 과정과 관련된 다양한 직무와 필요한 스킬을 체계적으로 소개하는 데 도움이 됩니다. 각 단계별로 어떤 역할이 필요한지 명확하게 제시함으로써 독자들에게 AI 프로젝트의 복잡성을 이해시키고, 적절한 인력을 배치하는 데 유용할 것입니다.

직무를 5개로 압축하여 각 역할과 스킬을 정리하면 다음과 같습니다:

주요 직무 및 역할

1. 프로젝트 관리자

• 역할: 전체 프로젝트의 계획, 일정 관리, 목표 설정, 팀 조율을 담당합니다.
• 스킬: 프로젝트 관리, 의사 소통, 팀 리더십, 요구 사항 분석
• 관련 직무: 비즈니스 분석가, 프로젝트 매니저

2. 데이터 전문가

• 역할: 데이터 수집, 라벨링, 전처리, 및 데이터 파이프라인 구축을 담당합니다.
• 스킬: 데이터 수집 및 저장, 데이터 전처리, 데이터 라벨링, ETL
• 관련 직무: 데이터 엔지니어, 데이터 라벨링 전문가

3. 모델 개발자

• 역할: AI 모델의 설계, 훈련, 최적화 및 경량화를 담당하며 모델의 성능을 평가합니다.
• 스킬: 머신러닝 알고리즘, 모델 훈련 및 평가, 하이퍼파라미터 조정, 최신 AI 기술 연구
• 관련 직무: 데이터 과학자, 머신러닝 엔지니어, AI 연구자

4. 웹 및 시스템 개발자

• 역할: 웹 애플리케이션의 개발, AI 모델 배포, 서버 및 인프라 관리를 담당합니다.
• 스킬: 웹 개발, 프론트엔드/백엔드 기술, API 설계, 시스템 관리, 서버 유지보수, 네트워크 관리
• 관련 직무: 웹 개발자, 시스템 관리자

5. 운영 및 보안 전문가

• 역할: 모델의 운영 모니터링, 유지보수, 보안 강화 및 프라이버시 보호를 담당합니다.
• 스킬: CI/CD, 시스템 운영 및 모니터링, 정보 보안, 데이터 프라이버시
• 관련 직무: DevOps 엔지니어, 보안 전문가, 운영 엔지니어

지금까지 머신러닝 모델을 학습하고 릴리스하는 방법에 대해 살펴봤다. 이번 포스팅 부터는 머신러닝을 통해 시스템을 만드는 여러가지 패턴을 정리하려고 한다.

시스템이 필요한 이유

하나의 머신러닝 모델을 만들어 내기 위해서는 다양한 데이터와 알고리즘, 파라미터를 조합해야 한다. 이 조합에 따라 만들어지는 모델의 성능은 달라지는데, 도대체 어떤 데이터나 파라미터를 통해 학습되었는지를 이미 학습된 모델 자체를 통해서 알아내기는 어렵다. 따라서 머신러닝을 활용하기 위해서는 어떤 설정을 바탕으로 모델을 학습했는지 철저히 관리하고 버저닝해야 한다.

머신러닝을 효과적인 프로덕트나 서비스의 형태로 활용하기 위해서는 시스템이 모델을 포함해야 한다. 머신러닝 모델을 로컬 PC에서만 추론할 수 있게 구성하는 것은 도움이 되지 않으며, 다른 소프트웨어들과 조합해 모델이 호출되는 구조를 갖춰야 한다.

학습한 모델을 추론기에 포함하는 방법은 여러가지가 있다. 어떤 방법으로 모델을 추론기에 포함해서 구현할지는 시스템의 목적이나 모델의 성능에 따라 달라진다.

예를 들어 모든 요청에 대해 즉시 추론 결과를 응답하기 위한 추론기는 동기적으로 만드는 것이 좋다. 여러 개의 모델을 포함한 추론기를 구성해야 하는 경우라면 각각의 모델을 MSA(Micro Service Architecture)로 배치하는 방법을 고려해야 하고, 데이터를 모아두었다가 야간이나 일정한 기간에 일괄적으로 추론하고 싶은 경우는 배치 시스템으로 개발하는 것이 바람직하다.

앞으로 정리할 추론 시스템 패턴을 요약하면 다음과 같다.

• 웹 싱글 패턴: 하나의 작은 모델을 하나의 추론기로 동기적으로 추론
• 동기 추론 패턴: 요청에 대해 동기적으로 추론
• 비동기 추론 패턴: 요청에 대해 비동기적으로 추론
• 배치 추론 패턴: 배치 작업으로 추론 실행
• 전처리 추론 패턴: 전처리와 추론으로 서버를 분리
• 직렬 MSA 패턴: 의존관계에 있는 추론을 차례로 실행
• 병렬 MSA 패턴: 하나의 요청을 여러개의 추론기로 추론

각 패턴들의 구현 방법을 장단점과 함께 알아보자.

2024.09.09 - [Data Science/machine learning] - 웹 싱글 패턴

2024.09.11 - [Data Science/machine learning] - 동기 추론 패턴

2024.09.11 - [Data Science/machine learning] - 비동기 추론 패턴

Django와 Java Spring Boot의 비교: Django가 데이터 분석 웹 애플리케이션 개발에 더 적합한 이유

Django와 Java Spring Boot는 모두 강력한 웹 프레임워크이지만, 데이터 분석 웹 애플리케이션 개발에 있어 Django가 Java Spring Boot보다 더 나은 선택이 될 수 있는 몇 가지 중요한 이유가 있습니다.

1. Python 생태계와의 통합

Django는 Python으로 작성된 웹 프레임워크입니다. Python은 데이터 과학 및 분석 분야에서 가장 널리 사용되는 언어 중 하나로, 데이터 분석 및 머신러닝 작업에 필요한 방대한 라이브러리(Pandas, NumPy, Scikit-learn, TensorFlow 등)를 지원합니다. Django를 사용하면 이러한 Python 라이브러리와의 통합이 용이하여, 데이터 분석과 웹 개발을 하나의 환경에서 일관되게 수행할 수 있습니다. 반면, Java Spring Boot는 Java 기반이므로, Python 생태계의 라이브러리와 통합하기 위해 추가적인 설정과 연동 작업이 필요합니다.

2. 개발 속도와 생산성

Django는 "Batteries-included" 철학에 따라 웹 개발에 필요한 대부분의 기능(예: 사용자 인증, 데이터베이스 관리, URL 라우팅, 폼 처리, 보안 기능 등)을 기본적으로 제공합니다. 이는 개발자들이 반복적인 설정 작업 없이 신속하게 애플리케이션을 개발할 수 있게 해줍니다. 또한, Django의 간단하고 직관적인 문법과 Python의 특성 덕분에 개발 속도가 빠르고 코드 가독성이 높습니다.

Java Spring Boot는 강력하고 확장 가능한 애플리케이션을 구축할 수 있지만, 많은 설정과 XML 또는 어노테이션 기반의 설정 작업이 필요할 수 있습니다. 이는 복잡한 애플리케이션을 구축할 때 유연성을 제공하지만, 데이터 분석 웹 애플리케이션처럼 간단한 데이터 시각화와 처리가 주요 목표인 경우 오히려 복잡성을 증가시킬 수 있습니다.

3. 데이터 중심 애플리케이션의 유연성

Django는 ORM(Object-Relational Mapping)을 제공하여 데이터베이스와의 상호작용을 단순화하고, Python 코드로 직접 데이터베이스 쿼리를 작성하고 관리할 수 있게 합니다. 이는 데이터 모델링과 관리가 빈번한 데이터 분석 애플리케이션에 매우 유리합니다. Django의 ORM은 개발자가 SQL을 몰라도 쉽게 데이터베이스 작업을 수행할 수 있도록 해줍니다.

반면, Java Spring Boot는 JPA(Java Persistence API)를 사용하여 ORM을 제공하지만, 상대적으로 설정이 복잡할 수 있고 Java의 엄격한 문법을 따라야 하므로 간단한 작업에도 코드가 길어질 수 있습니다. 이는 특히 데이터 처리와 시각화가 빈번한 데이터 분석 웹 애플리케이션에서 개발 효율성을 떨어뜨릴 수 있습니다.

4. 보안과 유지보수

Django는 기본적으로 CSRF, XSS, SQL Injection 방지와 같은 보안 기능을 내장하고 있어, 보안에 대한 기본적인 보호막을 제공합니다. Python의 간결한 문법과 Django의 명확한 구조는 코드 유지보수에 유리하며, 팀 내 협업 시에도 코드의 일관성과 가독성을 높입니다.

Java Spring Boot는 역시 다양한 보안 기능을 제공하지만, 세밀한 보안 설정을 위해 더 많은 코딩과 설정이 필요할 수 있습니다. 또한, Java의 비교적 복잡한 문법은 유지보수와 코드 가독성 면에서 Django보다 다소 불리할 수 있습니다.

5. 커뮤니티와 지원

Django는 오픈 소스 프로젝트로, 대규모 커뮤니티와 풍부한 문서화가 장점입니다. 특히 데이터 분석과 관련된 다양한 Django 패키지와 플러그인들이 있어 데이터 분석 웹 애플리케이션 개발에 필요한 기능을 쉽게 확장할 수 있습니다. Python 생태계의 장점 덕분에 데이터 과학자와 소프트웨어 개발자가 동일한 언어로 협업할 수 있습니다.

Java Spring Boot는 엔터프라이즈 환경에서 강력한 지원을 받지만, 데이터 분석에 특화된 도구는 상대적으로 적을 수 있습니다. 주로 대규모 기업 환경에서의 웹 애플리케이션 구축에 사용되므로, 데이터 분석과 관련된 기능 확장에는 Django보다 적합하지 않을 수 있습니다.

결론

Django는 Python 생태계와의 통합, 개발 속도와 생산성, 데이터 중심 애플리케이션의 유연성, 보안과 유지보수 측면에서 데이터 분석 웹 애플리케이션 개발에 Java Spring Boot보다 더 적합한 선택이 될 수 있습니다. 특히 데이터 분석가와 소프트웨어 개발자가 협력하여 데이터 중심의 애플리케이션을 개발하는 데 Django의 장점이 큽니다. 이러한 이유로, 데이터 분석 팀의 소프트웨어 개발자는 Django를 활용하여 보다 효율적이고 효과적인 웹 애플리케이션을 개발할 수 있습니다.

바이오 데이터 분석에서의 직무 분류와 역할 정의

이전 글에서는 데이터 과학에서의 직무 분류를 다루었습니다.

2024.08.25 - [Data Science] - 데이터 과학에서의 직무 분류

최근 많은 바이오 회사들이 차세대 염기서열 분석(NGS, Next-Generation Sequencing) 기술의 발전에 따라 방대한 데이터를 생성하고 있으며, 이를 효과적으로 다룰 수 있는 생물정보학(Bioinformatics)의 필요성을 절감하고 있습니다. 이에 따라 관련 부서를 신설하는 경우가 많지만, 실제 데이터 분석 실무자로서 보면 바이오/메디컬 데이터를 다루는 방식과 일반적인 데이터 분석 업계에서의 접근 방식에 차이가 존재하는 경우가 많습니다. 따라서, 이번 글에서는 바이오/메디컬 데이터를 다루는 데이터 과학자(Data Scientist), 데이터 분석가(Data Analyst), 그리고 데이터 엔지니어(Data Engineer)의 역할을 재정의해 보려 합니다.

생물정보학과 데이터 과학의 유사점과 차이점

생물정보학을 공부할 때 처음 마주하는 데이터 과학자의 직무 분류 그림을 떠올려 봅시다. 여기에서 도메인을 "Biology"로 바꾸면 거의 비슷한 직무 분류가 나타납니다. 예를 들어, 생물정보학자는 생물학적 데이터를 분석하기 위해 데이터 과학의 여러 기술을 적용하며, 통계적 분석과 머신러닝 모델링도 다루기 때문입니다.

그러나 중요한 차이점도 존재합니다. 생물정보학에서는 컴퓨터 과학을 단순 코딩으로 해석하는 경우가 있지만, 현대에서는 코딩을 하나의 교양으로 볼 수 있습니다. 즉, 단순 코딩보다는 더 깊이있는 데이터를 다루기 위한 스킬을 익히는 것이 필수입니다.

특히 빅데이터 분석의 필요성을 고려하면, 적절한 IT 인프라가 필수적입니다. 대량의 데이터를 다루지 않는 상황이라면 이런 인프라의 필요성을 느끼지 못할 수 있지만, 데이터 분석의 핵심은 빅데이터를 분석하는 것에 있습니다. 따라서, 초기의 데이터 규모가 작다고 해서 분석 환경을 간소화하면, 이후 데이터가 급격히 증가하는 상황에서 중복 투자가 발생할 수 있습니다. 이는 데이터 파이프라인을 다시 구축하고, 데이터를 재처리하는 데 드는 시간과 비용의 낭비를 초래할 수 있습니다.

바이오 데이터 분석 팀의 최소 구성

저는 효과적인 바이오 데이터 분석 팀의 최소 구성은 각 분야의 전문가가 최소 1명씩 포함된 팀이라고 생각합니다. 각 분야란 데이터 과학자, 데이터 분석가, 데이터 엔지니어를 의미합니다. 각 전문가는 자신만의 독특한 역할과 스킬 세트를 가지고 있으며, 이들이 협력할 때 데이터 분석의 모든 단계가 원활하게 이루어질 수 있습니다. 이러한 구성은 바이오 데이터 분석의 복잡성을 다루는 데 필수적입니다.

1. 데이터 과학자 (Data Scientist)

데이터 과학자는 고급 통계학, 머신러닝 알고리즘, 모델링, 데이터 시각화 도구 등에 대한 깊은 이해를 요구하는 직무입니다. 생물정보학에서 데이터 과학자는 생물학적 데이터의 특성을 이해하고, 이를 바탕으로 알고리즘을 개발하는 중요한 역할을 합니다. 연구와 임상 검사 모두에 걸쳐, 데이터 과학자는 데이터에서 유의미한 패턴을 발견하고 예측 모델을 만드는 데 핵심적인 기여를 합니다.

예를 들어, 액체 생검에서 산모의 세포유리 DNA(cfDNA)에서 태아의 DNA를 추출하여 염색체 수 이상을 검출하는 검사를 수행할 때, 데이터 과학자는 이러한 데이터를 분석하여 태아의 염색체 이상을 탐지하는 알고리즘을 개발합니다. 이는 흔히 비침습적 산전 검사(NIPT 또는 NIPS)라고 불리며, 태아의 염색체 수 이상뿐만 아니라 미세 결절(microdeletion) 등 다양한 유전적 이상을 탐지하는 데 사용됩니다.

더 나아가, 정확한 결과를 예측하기 위해 데이터 과학자는 통계적 방법론이나 머신러닝(ML), 딥러닝(DL) 기술을 사용하여 새로운 예측 모델을 개발합니다. 예를 들어, 태아 분획도(fetal fraction)를 계산하는 다양한 방법론이 존재하며, 이를 통해 보다 정확한 진단과 예측이 가능해집니다. 데이터 과학자는 이러한 복잡한 모델과 알고리즘을 설계하고 최적화하는 전문가로, 바이오 데이터 분석 팀에서 중요한 역할을 수행합니다.

2. 데이터 분석가 (Data Analyst)

데이터 분석가는 데이터를 탐색하고, 패턴을 찾아내며, 이를 이해하기 쉬운 형태로 시각화하는 능력이 필요한 직무입니다. 일반적인 데이터 분석과 생물정보학 데이터 분석의 차이는 사용하는 도구와 시각화 방법에서 두드러집니다. 전통적인 데이터 분석에서는 Tableau나 Microsoft Power BI와 같은 도구를 사용하지만, 생물정보학에서는 주로 과학적 시각화를 위한 도구가 사용됩니다.

예를 들어, Plotly의 Dash Bio와 같은 도구를 통해 복잡한 바이오 데이터를 시각화할 수 있으며, 이 외에도 IGV(Integrative Genomics Viewer)나 KEGG PATHWAY 이미지와 같은 생물학적 시각화 도구들이 자주 사용됩니다. 이러한 도구들은 생물학적 데이터를 직관적이고 이해하기 쉽게 표현하는 데 중요한 역할을 합니다.

도메인 지식이 핵심이 되는 데이터 분석가는 데이터 과학자와 밀접하게 협력하여 분석 결과를 해석하고, 임상적 또는 연구적 의미를 도출합니다. 예를 들어, NIPS에서 신생아의 염색체 이상이 예측되었다면, 데이터 분석가는 ACMG의 CNV 해석 가이드라인과 관련된 임상 논문을 참고하여 예상되는 증상이나 질병을 제시할 수 있습니다. 이 역할은 특히 학계에서 중요한데, 분석 결과를 정확히 이해하고 해석하기 위해서는 폭넓은 생물학적 지식과 실험적 배경이 필요하기 때문입니다.

3. 데이터 엔지니어 (Data Engineer)

데이터 엔지니어는 데이터 파이프라인을 구축하고 유지보수하며, 대규모 데이터 처리 및 관리 시스템을 설계하는 직무를 담당합니다. 이 직무는 바이오 데이터 분석 팀에서 도메인의 영향을 상대적으로 적게 받지만, 산업계에서는 매우 중요한 역할을 수행합니다.

학계의 경우, 연구에 대규모 데이터 처리가 필요하지 않은 경우가 많아 데이터 엔지니어의 필요성이 덜할 수 있지만, 산업계에서는 안정적이고 확장 가능한 데이터 인프라가 필수적입니다. 이는 데이터 수집부터 저장, 처리, 분석에 이르는 전체 과정이 신뢰성 있게 작동해야 하기 때문입니다. 데이터 엔지니어가 이러한 시스템을 제대로 설계하고 유지하지 않으면, 초기에는 문제를 느끼지 못할 수 있지만, 데이터의 양이 증가하거나 복잡성이 높아질 경우 중복 투자가 필요해질 수 있습니다. 따라서, 데이터 엔지니어의 역할은 장기적으로 데이터를 효율적으로 관리하고, 비용을 절감하는 데 필수적입니다.

생물정보학과 데이터 분석의 적용 범위

특히, NGS 기술이 대용량 데이터를 생성하기 때문에 생물정보학적 분석에 적합한 것은 사실입니다. 그러나 회사에서 수행하는 지속적인 검사 데이터를 분석하는 데에도 생물정보학자가 충분히 기여할 수 있습니다. 예를 들어, 감염병 유행 검사에서 단순 PCR 데이터로 얻어지는 결과도 체계적으로 수집되고 해석된다면, 바이오 분석의 중요한 인사이트를 제공할 수 있습니다. 이는 생물정보학자가 데이터 분석의 방법론을 적용하여 의미 있는 결과를 도출할 수 있는 또 다른 예시가 됩니다.

결론

바이오/메디컬 데이터 분석은 데이터 과학과 유사하면서도 독특한 도전과 기회를 제공합니다. 바이오 데이터 분석 팀이 효과적으로 운영되기 위해서는 각 직무별로 충분한 전문 지식을 갖춘 인력이 필요합니다. 또한, 빅데이터를 다룰 수 있는 인프라와 기술적 준비가 되어 있어야만 데이터의 스케일이 커질 때 발생할 수 있는 문제를 예방하고 효율적으로 확장할 수 있습니다. 생물정보학자와 데이터 과학자는 이러한 환경에서 데이터로부터 가치를 창출하는 데 중요한 역할을 합니다. 바이오 회사들이 이러한 필요성을 인식하고, 적절한 팀 구성과 기술 인프라를 갖추는 것이 중요합니다.

데이터 분석의 중요성과 직무별 역할

데이터를 분석하는 주요 이유는 데이터를 수집하고, 정제(ETL), 분석하여 목적에 맞게 활용하기 위함입니다. 이 과정은 단순히 데이터를 수집하는 것에 그치지 않고, 이를 정제하고(ETL: Extract, Transform, Load), 분석하여 실질적인 의사결정에 기여하는 단계까지 이어집니다. 이러한 과정을 효과적으로 수행하려면 다양한 스킬이 필요하며, 크게 세 가지 영역으로 나눌 수 있습니다: 도메인 지식, 컴퓨터 과학 지식, 그리고 분석 및 모델링 지식입니다.

이러한 지식들은 각각의 직무에 따라 요구되는 수준이 다르며, 최근에는 데이터 관련 직무를 크게 세 가지로 분류하는 경향이 있습니다: 데이터 사이언티스트(Data Scientist), 데이터 분석가(Data Analyst), 그리고 데이터 엔지니어(Data Engineer)입니다. 경우에 따라 MLops 엔지니어 또는 머신러닝 엔지니어(ML Engineer)가 추가되기도 합니다.

개인적으로는 다른 직무에 대한 이해도가 그림보다는 더 많이 있어야 협업이 잘 된다고 생각하지만 정답은 없습니다.

데이터 관련 직무와 필요한 스킬

각 직무별로 요구되는 구체적인 역할과 스킬은 다음과 같이 요약할 수 있습니다:

1. 데이터 사이언티스트(Data Scientist):
   • 역할: 복잡한 데이터 문제를 해결하기 위해 통계적 분석과 머신러닝 모델을 설계하고 구현합니다. 비즈니스 문제를 데이터 문제로 변환하고, 데이터에서 통찰을 도출하여 의사결정에 활용될 수 있도록 합니다.
   • 필요한 스킬: 고급 통계학, 머신러닝, 데이터 시각화, 프로그래밍 언어(Python, R 등), 데이터 처리 및 모델링 도구(Pandas, Scikit-Learn, TensorFlow 등).
2. 데이터 분석가(Data Analyst):
   • 역할: 데이터로부터 의미 있는 인사이트를 도출하고, 데이터를 시각적으로 표현하여 비즈니스 의사결정에 필요한 정보를 제공합니다. 대개 비즈니스 팀과 협력하여 필요한 데이터를 분석하고 리포트를 작성합니다.
   • 필요한 스킬: SQL, 데이터 시각화 도구(Tableau, Microsoft Power BI 등), 통계적 분석, 엑셀과 같은 스프레드시트 소프트웨어. 코딩 스킬은 필수적이지 않을 수 있으나, 도메인 지식과 데이터를 다루는 기술이 중요합니다.
3. 데이터 엔지니어(Data Engineer):
   • 역할: 데이터 수집, 저장, 처리 파이프라인을 구축하고 유지합니다. 대규모 데이터베이스 및 데이터 웨어하우스를 설계하고 최적화하며, 데이터를 분석가와 데이터 사이언티스트가 쉽게 접근하고 사용할 수 있도록 합니다.
   • 필요한 스킬: 데이터베이스 관리(SQL, NoSQL), ETL 파이프라인 구축(Apache Kafka, Apache Spark 등), 클라우드 플랫폼(AWS, GCP, Azure), 프로그래밍 언어(Python, Java, Scala 등).
4. MLops 엔지니어 또는 머신러닝 엔지니어(ML Engineer):
   • 역할: 머신러닝 모델의 개발과 배포를 담당하며, 모델이 운영 환경에서 효과적으로 작동하도록 보장합니다. 모델의 성능을 모니터링하고, 필요 시 업데이트 및 재훈련을 실시합니다.
   • 필요한 스킬: 머신러닝 알고리즘, 모델 배포 및 모니터링 도구(Docker, Kubernetes, MLflow), 클라우드 플랫폼 활용, 데이터 엔지니어링.

직무 간 협업의 중요성

개인적으로는 데이터 관련 직무 간의 협업이 매우 중요하며, 이를 위해 각 직무에 대한 이해도가 높을수록 더 나은 결과를 도출할 수 있다고 생각합니다. 예를 들어, 데이터 엔지니어가 분석가의 요구를 잘 이해하고, 분석가는 데이터 엔지니어링 과정에 대한 기본적인 이해가 있다면 데이터 파이프라인의 효율성이 크게 향상될 수 있습니다. 따라서 특정 직무에 속해 있다 하더라도 다른 직무에 대한 기초적인 이해를 가지는 것이 중요합니다.

데이터 분석과 소프트웨어 엔지니어링

소프트웨어 엔지니어, 특히 풀스택 개발자가 데이터 분석에서 중요한 역할을 하는 이유는 데이터 분석가들이 주로 사용하는 도구(Tableau, Microsoft Power BI 등)가 웹 애플리케이션과 유사한 데이터 처리 및 시각화 기능을 제공하기 때문입니다. 확장성 있는 데이터 처리를 위해서는 웹 애플리케이션 개발 능력이 필요하며, 이러한 역량은 데이터 분석가가 데이터에서 더 나은 인사이트를 도출하고, 그 결과를 이해하기 쉽게 표현하는 데 기여할 수 있습니다.

데이터 분석가의 역할과 도구의 한계

데이터 분석가의 역할을 살펴보면, 다른 데이터 관련 직무와는 다소 다른 방향성을 가지고 있다는 점을 알 수 있습니다. 데이터 분석가는 도메인 지식을 바탕으로 도구의 도움을 받아 비교적 적은 코딩으로도 데이터를 분석할 수 있습니다. 하지만 이러한 노코딩 접근법은 적용할 수 있는 범위에 한계가 있을 수 있습니다. 복잡한 분석이나 모델링 작업이 필요한 경우, 더 깊은 기술적 역량과 코딩 스킬이 요구될 수 있습니다.

데이터 관련 직무의 연봉 차이

미국 내 연봉을 확인할 수 있는 여러 사이트에 따르면, 데이터 분석가의 연봉이 상대적으로 낮은 경향이 있습니다. 이는 데이터 분석가의 작업이 도메인 지식과 데이터 시각화 도구에 의존하는 경우가 많고, 다른 데이터 관련 직무와 비교하여 기술적 깊이와 복잡성이 덜 요구되기 때문일 수 있습니다. 그러나 각 직무의 연봉은 회사의 요구사항, 직무의 중요도, 개별적인 능력에 따라 크게 달라질 수 있습니다.

결론

모든 데이터 관련 직무(데이터 사이언티스트, 데이터 분석가, 데이터 엔지니어, MLops 엔지니어/ML 엔지니어)를 전문가 수준으로 한 사람이 익히는 것은 현실적으로 매우 어렵습니다. 각 직무는 고유한 전문 지식과 기술, 도구를 요구하며, 이를 마스터하는 데 상당한 시간과 노력이 필요합니다. 또한, 각 직무는 지속적인 학습과 경험이 요구되는 빠르게 변화하는 분야입니다. 따라서 한 사람이 모든 직무를 깊이 있게 익히고 유지하기에는 한계가 있습니다.

데이터 분석 팀이 효과적으로 역할을 수행하기 위해서는 각 직무에 대한 전문성을 가진 사람이 최소 한 명씩 포함되어 있어야 합니다. 이는 팀 내에서 다양한 문제를 효율적으로 해결하고, 데이터 기반의 의사결정을 신속하고 정확하게 내릴 수 있도록 합니다. 다양한 전문성을 가진 팀 구성은 복잡한 데이터 분석 과정에서 협업을 촉진하고, 데이터로부터 의미 있는 인사이트를 도출하여 비즈니스 가치를 창출하는 데 필수적입니다.

결론적으로, 각 직무의 전문성을 깊이 있게 익히는 것은 개별 전문가에게 맡기고, 팀 내에서 서로의 전문성을 이해하고 협력하는 것이 데이터 분석 팀의 성공에 가장 중요한 요소입니다.

여러 사람이 동시에 편집해서 사용할 수 있는 구글 스프레드시트에 데이터 베이스를 연동하면 접근성이 좋아짐.

단점은 스프레드시트의 appscript에서 각 함수가 실행 되는 시간을 max 30분으로 지정했는데

데이터의 양이 많아지면 time out으로 강제 종료 될 수 있음.

var connectionName = 'database_address:3306'; // 접속할 MySQL 서버의 IP와 Port(Default:3306)
var user = 'userID'; // MySQL 유저 ID
var userPwd = 'password'; // MySQL 유저 PW
var db = 'db_name'; // 접속할 MySQL DB명
var instanceUrl = 'jdbc:mysql://' + connectionName;
var dbUrl = instanceUrl + '/' + db + '?characterEncoding=UTF-8';

function exportDatabase() {
  query="select * from table"
  var start = new Date();
  var conn = Jdbc.getConnection(dbUrl, user, userPwd); // DB 연결
  var stmt = conn.createStatement();
  stmt.setMaxRows(5000);
  var results = stmt.executeQuery(query); // 쿼리
  var metaData = results.getMetaData()
  var numCols = metaData.getColumnCount();
  var sheetname = SpreadsheetApp.getActive();
  var sheet = sheetname.getSheetByName('sheet1');
  sheet.clearContents();

  var arr = [];
  for (var col = 0; col < numCols; col++) {
    arr.push(metaData.getColumnName(col + 1));
  }
  sheet.appendRow(arr); #write header

  while (results.next()) {
    arr=[];
    for (var col = 0; col < numCols; col++) {
    arr.push(results.getString(col + 1));
    } 
    sheet.appendRow(arr); #write data line by line
  }

  var end = new Date();
  Logger.log("Time spend : "+((end - start)/(1000*60) % 60).toFixed(3)+" min");
  //sheet.autoResizeColumns(1, numCols+1);

  results.close();
  stmt.close();
}

Kaggle이란 데이터 과학자와 머신 러닝 사용자의 스킬과 정보 공유를 위해 만들어진 커뮤니티이다.

주기적으로 열리는 Competetion을 통해 상금과 명성을 얻을 수도 있고 

Courses 에서 학습을 할 수도 있다.

상당히 공신력 있는 커뮤니티라서 입상 실적은 ML/AL 경력으로 인정해주는 회사도 있다.

Kaggle korea 페이스북 커뮤니티도 있으니 참고하면 좋을 듯 하다.

https://www.facebook.com/groups/KaggleKoreaOpenGroup/

F-measure

precision (정확도)

recall (재현율)

2018/07/11 - [bioinformatics] - 민감도와 특이도

두 값을 모두 구했다면 F값을 계산하면 된다.

위의 값대로 계산하면 precision과 recall의 조화평균을 구할 수 있다.

precision과 recall등은 파라미터 등에 의해 조절될 수 있기 때문에 ROC 커브를 그려서 프로그램의 전반적인 성능을 테스트 할 수도 있다. 

이 부분에 대해서는 추후에 다루도록 하겠다.

source -

https://en.wikipedia.org/wiki/F1_score

https://en.wikipedia.org/wiki/Precision_and_recall

Multiple Comparison Problem

Familywise error rate

False discover rate 

- False discovery rate(FDR)는 다중 비교에서 무위가설에서의 1형 오류처럼 적용할 수 있는 검정방법으로 false positive에 total positive를 나눈 비율을 의미한다. Bonferroni correction과 마찬가지로 GWAS분석에 많이 활용되고 있는 통계방법이며 훨씬 덜 엄격한 방법을 채택하고 있다. Benjamini와 Hochberg가 개발하였기 때문에 Benjamini-Hochberg procedure라고도 불린다.

- p-value값을 가장 큰 것부터 가장 작은 것 순서로 나열하고 유의 수준 α=0.05k/N 공식을 이용하여 순차적으로 검정한다. 이 분석 방법은 순차적으로 p-value의 값을 줄여감으로써 통계적 파워가 적게 감소하게 되는 장점을 가진다. 

Familywise error rate vs False discover rate

conclusion

- 다중비교의 최종 목적은 false positive를 줄이는 것이다. false positive가 포함되어 있는 결과는 해석이 정확하지 않을 수 있기 때문이다. 하지만 반대로 다중 비교의 엄격한 기준 때문에 false negative가 생긴다면 그것도 문제일 것이다. 예를 들어 P-value는 0.013이지만 다중비교의 p-value 계산에서는 signifcant하지 않게 나올 수 있다. p-value를 계산할 때는 분석 방향에 따라 이러한 결과들을 신중하게 다룰 필요가 있다. 그렇지 않으면 중요한 발견을 놓칠 수도 있다. 

- 두 비교 방법은 같은 비교를 할 때 쓰이는 방법이 아니기 때문에 어디에 초점을 주었느냐에 따라 어떤 방식을 쓸 지 결정해야 한다.

Reference -

http://www.biostathandbook.com/multiplecomparisons.html

https://en.wikipedia.org/wiki/False_discovery_rate

https://en.wikipedia.org/wiki/Family-wise_error_rate#Controlling_procedures