Data Art of Book of Songs

Who 누가

홍콩과학기술대학 (香港科技大學, HKUST)

Yang Wang

소속: 홍콩과기대 시설발전부 부부장 , 홍콩과기대 수학과 석좌교수, 수학과 학과장, 과학대학 학장

Huamin Qu (屈华民, 屈華民） 소속: 홍콩과기대 컴퓨터과학공학부 석좌교수, 학제간프로그램사무실 실장, 신흥학제간연구부 부장 등 다수

관심분야: 빅데이터분석, 데이터시각화, 시각화를 위한 인공지능, AR, 스마트시티, 핀테크 등...

HKUST VisLab (홍콩과기대 시각화연구실)

VR(가상현실) , AR(증강현실) , 인공지능, 스마트시티, 핀테크 등등을 연구하는 홍콩과기대의 컴퓨터 연구실입니다.

Yifang Wang (王懿芳)

소속: 홍콩과기대 컴퓨터과학공학부, 홍콩과기대 시각화연구실 박사과정 4학년

전문분야: 몰입적 시각화 분석 (Immersive visual analytics)

HKUST CMA (홍콩과기대 컴퓨터미디어예술부)

예술, 디자인, 과학, 공학을 첨단 신기술과 융합하여 혁신을 이루고자 하는 홍콩과기대의 연구단체입니다. 여러 학문 분야를 아우르는 연구에 중점을 맞춰, 증강현실 예술, 인공지능 예술, 데이터 예술, 로봇 예술, 데이터 시각화에 초점을 맞추고 연구하고 있습니다.

CAO Yifan (박사과정 학생)

IDG (Interactive Data Group)

중국 저장대학교의 시각화그룹에서 만들어진 그룹입니다. 정보의 시각화, 정보분석, 가상현실, 증강현실 등을 연구합니다.

Yingcai Wu

소속: IDG 그룹 장, 저장대학교 교수, 컴퓨터과학공학 부학장 관심분야: 시각분석, 정보시각화 등

Junxiu Tang(唐俊修)

소속: 저장대학교 컴퓨터과학부 3학년 박사 학위 지원자, IDG 멤버, 징동과학기술(사기업) 소프트웨어 엔지니어

When 언제

(내용 작성)

Where 어디서

(내용 작성)

What 무엇을

(내용 작성)

How 어떻게

시 작품 라벨링(Poem Labelling)

A Data Art Based on the Book of Songs 팀은 먼저 시경의 작품들을 다양한 주제로 분류하였다. 팀이 사용한 분류 기준은 다음과 같다.

• 장르 (내용별 분류 체계) : 평민들의 노래를 담은 풍 (Songs 风), 연회나 전쟁과 같은 귀족과 관리의 조정 생활을 담은 아 (Odes and Epics 雅), 제례 등의 종교적 활동을 담은 송 (Hymns 颂)
• 기능 : 상상력, 열망, 반성과 흥미를 불러일으키는 흥 (Stimulation 兴) , 자연, 사회, 삶과 정치를 보게 하는 관 (Contemplation 观), 여러 사람들과 사귀게 하는 군 (Communication 群), 내면의 감정과, 국정에 대해 비판적으로 자신을 표현하게 하는 원 (Criticism 怨)

• 수사법: 상세하게 직접 서술하는 부 (Narrative 赋), 사물로써 다른 사물을 비유하는 비 (Analogy 比), 먼저 다른 것을 말함으로써 말하고자 하는 바를 끌어내는 흥 (Association 兴)
• 감정 (칠정, 七情）: 애 (Love 爱), 희 (Happy 喜), 욕 (Desire 欲) , 중성 (Neutrality 中性), 구 (두려움 Fear 惧) , 애 (슬픔 Depression 哀) , 노 (Anger 怒), 악 (Hate 恶)
• 주제: 전쟁 (War 战争), 잔치 (향유 Feast 宴享) , 제사 (Fete 祭祀), 풍자 (Sarcasm 讽谏) , 사랑을 노래하는 연곡 (Love-Song 恋曲)
• 심상과 이미지: 초 (Herbage 草), 목 (Tree 木), 조 (Bird 鸟), 수 (Livestock 兽) , 충 (Insects 虫) , 어 (Fish 鱼)

통계와 관계 추출 (Statistics & Relation Extraction)

작품 라벨링으로 분류된 시에 대한 통계와 관계를 추출하였다. 예를 들자면, 각각의 장르에 속하는 시가 총 몇 편 있는지, 각각의 수사법을 사용하는 시가 총 몇 편 있는지 통계적으로 분석하였다. 또 관계 추출 단게에서는, 예를 들자면 장르 중 하나인 풍 (Songs 风)에 속하는 시들 중에서, 기능 중 하나인 흥(Stimulation 兴) 에도 동시에 속하는 시가 있는지 분석해서, 각 시들 사이의 관계를 엑셀 파일로 추출하였다.

시각화 디자인 (Visual Design)

이 웹사이트의 디자인은 생키 다이어그램(Sankey Diagram)이 메인으로서, 다양한 다른 시각화 디자인 기법들을 결합하였다. 생키 다이어그램이란 흐름 다이어그램의 한 종류인데, 요소들을 연결하는 화살표의 크기와 너비로 숫자와 양을 보여준다. (이 웹사이트의 경우에는, 두 요소를 연결하는 화살표의 크기가 크고 너비가 두꺼울수록, 해당하는 시 작품의 숫자가 많다는 뜻이 된다 )

또, 웹사이트의 시각화 디자인을 전체적으로 보면 마치 중국 전통 아치형 다리를 연상시키는 아름다운 디자인을 하고 있다.

1. 웹사이트에 들어가면 먼저 장르 구분인 인 풍, 아 송으로 시들이 분류되어 있는 것을 볼 수 있다. 오른쪽의 풍, 아, 송에 해당하는 원의 가장자리 부분에 도넛 조각 모양의 버튼들이 있는데, 안쪽에 있는 도넛은 해당 장르에 속하는 section을 뜻하고, 바깥에 있는 도넛은 해당 section에 속한 subsection을 뜻한다. 캡처 사진에는 시경의 소아 (小雅) 버튼을 선택하였으며, 해당 소아 버튼 바깥쪽에 붙어 있는 다른 7개의 작은 도넛 모양 버튼들은 소아 section 에 들어 있는 魚藻之什(어조지십) ,甫田之什 (보전지십) 등의 7개의 subsection 에 각각 해당된다. 이 도넛 모양 버튼을 클릭하면, 왼쪽에는 해당 section 이나 subsection 에 속하는 시경 원문을 읽을 수 있게 제공한다.

또한, 이 section 과 subsection을 나타내는 도넛 모양 버튼의 크기가 클수록, 또 색이 진할수록 더 많은 시가 해당되어 있다는 것을 알려준다.

2. 오른쪽으로 옮겨가면, 앞에서 살펴본 생키 다이어그램으로 시들이 장르 (왼쪽, 풍아송) 와 기능(오른쪽, 흥관군원)으로 분류되어 연결된 것을 볼 수 있다. 이 화면에서는 특정한 장르에 얼마나 많은 시가 존재하고, 그 장르의 시 중 특정한 기능이 있는 시가 얼마나 많은지 볼 수 있다. 선의 굵기를 보면 해당 장르와 기능에 속하는 시의 숫자를 가늠할 수 있다.

3. 그 다음에도 생키 다이어그램이 나온다. 앞에서 살펴보았던 기능 (흥관군원)이 왼쪽에 위치하고, 주제 (풍자, 전쟁, 잔치 등)이 오른쪽에 위치한다. 특정한 기능을 가진 시 중, 얼마나 많은 시가 특정한 주제를 다루었는지 볼 수 있다. 여기서는 생키 다이어그램의 선을 클릭하면, 주변에 해당 조건에 맞는 시의 원문을 볼 수 있게 뜬다. 캡처 사진에서는 비판적인 표현을 하는 원(Criticism 怨) 주제의 시를 나타내는 개체에서 화살표가 뻗어나가는데, 화살표의 굵기 중 거의 절반이 풍자 쪽으로 가고 있다. 이는, 원 기능을 가진 시 중, 풍자 (Sarcasm 讽谏)의 주제를 가지고 쓰여진 시가 거의 절반이나 될 정도로 많다는 것을 알 수 있으며, 전쟁이나 연회의 주제를 가지고 쓰여진 수는 소수이거나 없다는 사실을 알 수 있다.

4. 다음은 원형의 글리프 플롯 (Glyph plot) 형태의 시각화로 처리된, 시경에서 나오는 심상, 이미지와 형상을 볼 수 있다. 위쪽에 적힌 것들은 식물 {초 (Herbage 草), 목 (Tree 木)}, 아랫쪽에 적힌 것들은 동물{조 (Bird 鸟), 수 (Livestock 兽) , 충 (Insects 虫) , 어 (Fish 鱼)}들이다. 가운데의 도넛 모양의 버튼은 각각 초, 목, 조, 수, 충, 어의 이미지를 담은 버튼인데, 버튼의 크기가 길수록 더 시경에 많이 등장하는 이미지이다. 바깥에 쓰인 한자 글씨는 구체적으로 어떠한 이미지가 등장하는지 보여주는데, 더 큰 글씨로 쓰여질수록, 시경에 더 많이 등장하는 이미지라는 뜻이 된다. 이는 당시 시대상을 엿볼 수 있게 해 준다.

바깥에 쓰인 한자 글씨 중 하나를 클릭하면, 중앙에 원형 그래프가 나온다. 이 그래프의 색상을 보면, 클릭한 한자 이미지가 나오는 시들이, 어떠한 장르나 감정 등을 주로 이야기했는지를 볼 수 있다. (색상에 따른 참고는 세 번째 사진을 참고) 첫 번째 사진은 뽕나무 상 (桑) 을 클릭했는데, 전반적으로 골고루 다양한 장르나 감정에 대해 이야기했다는 것을 볼 수 있다. 반대로, 두 번째 캡처본에는 기장 서(黍 )를 클릭했는데, 골고루 분포되었던 첫번째 그래프보다는 중성 (Neutrality 中性)에 속하는 아이보리색이 많이 보인다. 이는 기장의 이미지를 포함한 시는, 정서에 있어서 중성에 해당하는 시가 다른 정서를 표현하는 시보다 많았다는 것이다.

5 .마지막으로, 감정과 수사법이 연결된 생키 다이어그램이 나온다. 왼쪽에는 애, 희 등 다양한 감정이 나오고, 오른쪽에는 부, 비, 흥 등 다양한 수사법들이 나오는데, 여기서는 시경의 시에서 특정 감정을 표현할 때 주로 어떠한 수사법을 사용하였는지를 엿볼 수 있다. 왼쪽의 감정 부분을 클릭하면, 생키 다이어그램의 화살표가 강조되면서 오른쪽의 수사법과 연결된다. 캡처본에서는 희 (Like, Happy 喜) 를 클릭하여 보았는데, 오른쪽의 부 (Narrative 赋), 비 (Analogy 比), 흥 (Association 兴)의 세 가지 수사법으로 이어지는 화살표의 크기가 비슷비슷한 것으로 보이지만, 다만, 화살표의 크기가 부 와 흥 으로 향하는 크기가 좀 더 큰 것으로 보아, 시경에서 희 라는 감정을 표현할 때 전반적으로 다양한 수사법들을 비슷한 비율로 사용하였으나, 그 중에서는 서술하는 부, 이끌어내는 흥 의 사용 빈도가 비유하는 비 의 사용 빈도보다 높았다는 것을 알 수 있다.

Why 왜

(내용 작성)

Comment 논평

(내용 작성)