KEMDy20 데이터셋 소개

• 한국어 기반 멀티모달 감정 데이터셋(KEMDy20; Korean Emotional Multi-modal Dataset in 2020)은 발화 음성, 발화의 문맥적 의미(lexical) 및 생리반응 신호- 피부전도도(EDA-electrodermal activity), 맥박관련 데이터(IBI-Inter-Beat-Interval), 손목 피부온도와 발화자의 감정과의 연관성 분석을 위해 수집한 멀티모달 감정 데이셋이다.

  KEMDy20는 한국 공용기관생명윤리위원회의 IRB 승인 절차에 따라 수집하였다 (승인번호: P01-202009-12-001, ‘자유발화 감정인식을 위한 음성 및 생리반응 신호 수집 연구’).

  
  

  
  

  • * 데이터셋 변경 내역

- 2022.04.25 : ./wav/~/.txt, '데이터셋 구성'에 사운드특징 태깅에 대한 정보 업데이트

• • - 2023.01.10 (KEMDy20_v1_1.zip) : Sess12/17 파일/폴더명 수정

    - 2023.06.12 (KEMDy20_v1_2.zip) : annotation/ 'disgust' label typo 수정

    
    

    
    

    데이터셋 수집 절차

  • - 총 80명의 한국어 발화가 능숙한 만19~39세 성인 대상으로 참여자 2명이 1조가 되어, 각 조가 하나의 세션에 참여(총 40개 세션)하여 데이터를 수집하였다. 각 세션에서 두명의 참여자들은 Empatica E4의 장치를 손목에 착용한 상태로 5분 내외의 주제 영상을 시청한 후, 상대 참여자와 5분 내외의 자유대화를 한다. 각 조는 6편의 주제 영상에 대한 시청과 자유발화 과정을 반복한다. 대상자들의 6개의 주제에 대한 자유 발화 과정에서의 두명의 참가자의 발화 음성, 발화 텍스트, 발화자 바이오 신호 데이터를 수집하였다. 대상자의 자유발화 상황은 비디오로 녹화되었다.
  • - 한국어를 모국어로 사용하는 성인 10명의 외부 감정 관찰자는 녹화된 감정상황극 영상을 시청하며, 성우가 발화한 각 발화(세그먼트) 별로 7가지의 카테고리 감정 레이블 (기쁨, 놀람, 분노, 중립, 혐오, 공포, 슬픔) 중 1개를 선택하고, 5단계(1~5)의 각성도(arousal)와 긍/부정도(valence)를 평가하였다. 
    
  • - 감정 레이블 평가 파일(KEMDy20/annotation)은 각 세그먼트의 외부 관찰자의 감정 레이블 평가결과를 포함한다.  발화 세그먼트 별 최종 카테고리 감정 레이블은 10명의 평가자에서 가장 많이 선택된 레이블로 결정(동일 평가 수를 갖는 경우에는 중복 레이블로 설정)되었고, 각성도와 긍/부정도는 각 평가자의 평균값으로 계산되었다. 
         - Arousal : (이완) 1-2-3-4-5 (각성)
  •      - Valence : (부정) 1-2-3-4-5 (긍정)

  
  

  KEMDy20 데이터셋 구성

• o 폴더 구성
• 
  
• o. ./wav/~/.txt : 발화세그먼트의 음성 이외 사운드상황에 대한 태킹

• - c/ : 휴지구간이 확보되지 않은 연속발성(0.3초 미만) 

  - n/ : 발성 이외의 단발적인 소음이 포함된 음성데이터

  - N/ : 음성 구간의 50% 이상 잡음이 포함된 음성데이터

  - u/ : 단어의 내용을 알아 들을 수 없는 음성데이터

  -  l/ : 발성중 '음음 소리가 포함된 상황 (small 'L')

  - b/ : 발성 중 숨소리, 김침 소리가 포함된 음성데이터

  - * : 단어 중 일부만 알아 듣거나, 알아들었으나 정확하지 않은 음성데이터

  - + : 발성 중 말을 반복적으로 더듬는 음성데이터

  - / : 간투사

  
  

• o. KEMDy20/annotation/.csv
• 
  
• 
  
• o. KEMDy20/EDA/session1~40/.csv
• -  col. A : E4 EDA 누적 값 (*샘플의 EDA 변화량의 누적 값)
• - col. B : 해당 데이터 측정 시간순서
• - col. C : 해당 EDA 값이 속하는 세그먼트ID
  
  
• 
  
• o. KEMDy20/IBI/session1~40/.csv
• -  col. A : E4 IBI 샘플링 주기 순서
• -  col. B : E4 IBI 값
• -  col. C : 해당 데이터 측정 시간 순서
• - col. D : 해당 IBI값이 속하는 세그먼트ID

• o. KEMDy20/TEMP/session1~40/.csv

• -     col. A : E4 피부온도 값

  -     col. B : 해당 데이터 측정 시간 순서

  -     col. C : 해당 피부온도 값이 속하는 세그먼트ID

인용

[1] K. J. Noh and H. Jeong, “KEMDy20,” https://nanum.etri.re.kr/share/kjnoh/KEMDy20?lang=ko_KR 

[2] NOH, Kyoungju; JEONG, Hyuntae. Emotion-Aware Speaker Identification with Transfer Learning. IEEE Access, 2023.