Data Art of Book of Songs

Who 누가

홍콩과학기술대학 (香港科技大學, HKUST)

Yang Wang

소속: 홍콩과기대 시설발전부 부부장 , 홍콩과기대 수학과 석좌교수, 수학과 학과장, 과학대학 학장

Huamin Qu (屈华民, 屈華民） 소속: 홍콩과기대 컴퓨터과학공학부 석좌교수, 학제간프로그램사무실 실장, 신흥학제간연구부 부장 등 다수

관심분야: 빅데이터분석, 데이터시각화, 시각화를 위한 인공지능, AR, 스마트시티, 핀테크 등...

HKUST VisLab (홍콩과기대 시각화연구실)

VR(가상현실) , AR(증강현실) , 인공지능, 스마트시티, 핀테크 등등을 연구하는 홍콩과기대의 컴퓨터 연구실입니다.

Yifang Wang (王懿芳)

소속: 홍콩과기대 컴퓨터과학공학부, 홍콩과기대 시각화연구실 박사과정 4학년

전문분야: 몰입적 시각화 분석 (Immersive visual analytics)

HKUST CMA (홍콩과기대 컴퓨터미디어예술부)

예술, 디자인, 과학, 공학을 첨단 신기술과 융합하여 혁신을 이루고자 하는 홍콩과기대의 연구단체입니다. 여러 학문 분야를 아우르는 연구에 중점을 맞춰, 증강현실 예술, 인공지능 예술, 데이터 예술, 로봇 예술, 데이터 시각화에 초점을 맞추고 연구하고 있습니다.

CAO Yifan (박사과정 학생)

IDG (Interactive Data Group)

중국 저장대학교의 시각화그룹에서 만들어진 그룹입니다. 정보의 시각화, 정보분석, 가상현실, 증강현실 등을 연구합니다.

Yingcai Wu

소속: IDG 그룹 장, 저장대학교 교수, 컴퓨터과학공학 부학장 관심분야: 시각분석, 정보시각화 등

Junxiu Tang(唐俊修)

소속: 저장대학교 컴퓨터과학부 3학년 박사 학위 지원자, IDG 멤버, 징동과학기술(사기업) 소프트웨어 엔지니어

When 언제

Data Art of Books of Songs

When	Who	What
기원전 11~6 세기	중국사람들	다양한 목적으로 노래나 시를 창작하고 이를 기록함
약 기원전 500년	공자	중국의 시를 모으고 추려내 교육 목적으로 시경을 편집, 편찬
2021년	DABS 팀	시경을 데이터 분석하고 분류하여 시각화하고, 21년 VISAP 에 발표 및 웹사이트 서비스 시작

Where 어디서

(포인트가 보이지 않는다면, 포인트 3 곳이 모두 보일 때까지 줌아웃 해 주시기 바랍니다.)

지도를 불러오는 중...

{"minzoom":false,"maxzoom":false,"mappingservice":"leaflet","width":"100%","height":"550px","centre":false,"title":"","label":"","icon":"","visitedicon":"","lines":[],"polygons":[],"circles":[],"rectangles":[],"wmsoverlay":false,"copycoords":false,"static":false,"zoom":5,"defzoom":14,"layers":["OpenStreetMap"],"overlaylayers":[],"resizable":false,"enablefullscreen":false,"scrollwheelzoom":true,"markercluster":false,"clustermaxzoom":20,"clusterzoomonclick":true,"clustermaxradius":80,"clusterspiderfy":true,"geojson":"","locations":[{"text":"\u003Cb\u003E\u003Cp\u003E\ucde8\ud478 \uc2dc(\u66f2\u961c\u5e02)\n\u003C/p\u003E\u003C/b\u003E\u003Chr /\u003E\u003Cp\u003E\uacf5\uc790\uc758 \uace0\ud5a5\uc774\uc790 \ud65c\ub3d9\uc9c0\uc5ed\uc73c\ub85c \uc720\uba85\ud568. \uc61b \ub178\ub098\ub77c(\u9b6f)\n\u003C/p\u003E","title":"\ucde8\ud478 \uc2dc(\u66f2\u961c\u5e02)\n","link":"","lat":35.603626749113,"lon":116.99592720389,"icon":""},{"text":"\u003Cb\u003E\u003Cp\u003E\ud64d\ucf69\uacfc\ud559\uae30\uc220\ub300\ud559\n\u003C/p\u003E\u003C/b\u003E\u003Chr /\u003E\u003Cp\u003EDABS\ud300- HKUST VisLab, HKUST CMA\n\u003C/p\u003E","title":"\ud64d\ucf69\uacfc\ud559\uae30\uc220\ub300\ud559\n","link":"","lat":22.336419632973,"lon":114.26517581874,"icon":""},{"text":"\u003Cb\u003E\u003Cp\u003E\uc800\uc7a5\ub300\ud559\uad50\n\u003C/p\u003E\u003C/b\u003E\u003Chr /\u003E\u003Cp\u003EDABS\ud300- ZJU Interactive Data Group\n\u003C/p\u003E","title":"\uc800\uc7a5\ub300\ud559\uad50\n","link":"","lat":30.308710603428,"lon":120.08638671627,"icon":""}],"imageoverlays":null}

이 연구의 주제와 원 텍스트부터 시작해서 제작에 이르기까지, 모든 과정이 중화권 (中華圈)에서 이루어졌음을 알 수 있다.

What 무엇을

텍스트

이 프로젝트는 중국 최초의 시가집인 시경 (Book of Songs) 를 텍스트로 하여, 시경에 실린 305편의 시를 데이터 분석하여 데이터 예술로 나타낸 프로젝트이다.

이 프로젝트는 시경의 중국어 버전과 영어 번역본을 동시에 텍스트로 활용하였다.

이미지

데이터를 더 아름답고 생동감 있게 표현하기 위해, 청나라 시기 화가인 호소이 준 (Hosoi Jun) 의 그림을 활용하였다.

How 어떻게

시 작품 라벨링(Poem Labelling)

A Data Art Based on the Book of Songs 팀은 먼저 시경의 작품들을 다양한 주제로 분류하였다. 팀이 사용한 분류 기준은 다음과 같다.

• 장르 (내용별 분류 체계) : 평민들의 노래를 담은 풍 (Songs 风), 연회나 전쟁과 같은 귀족과 관리의 조정 생활을 담은 아 (Odes and Epics 雅), 제례 등의 종교적 활동을 담은 송 (Hymns 颂)
• 기능 : 상상력, 열망, 반성과 흥미를 불러일으키는 흥 ( 兴) , 자연, 사회, 삶과 정치를 보게 하는 관 (观), 여러 사람들과 사귀게 하는 군 (群), 내면의 감정과, 국정에 대해 비판적으로 자신을 표현하게 하는 원 (怨)

• 수사법: 상세하게 직접 서술하는 부 (Narrative 赋), 사물로써 다른 사물을 비유하는 비 (Analogy 比), 먼저 다른 것을 말함으로써 말하고자 하는 바를 끌어내는 흥 (Association 兴)
• 감정 (칠정, 七情）: 애 (Love 爱), 희 (Happy 喜), 욕 (Desire 欲) , 중성 (Neutrality 中性), 구 (두려움 Fear 惧) , 애 (슬픔 Depression 哀) , 노 (Anger 怒), 악 (Hate 恶)
• 주제: 전쟁 (War 战争), 잔치 (향유 Feast 宴享) , 제사 (Fete 祭祀), 풍자 (Sarcasm 讽谏) , 사랑을 노래하는 연곡 (Love-Song 恋曲)
• 심상과 이미지: 초 (Herbage 草), 목 (Tree 木), 조 (Bird 鸟), 수 (Livestock 兽) , 충 (Insects 虫) , 어 (Fish 鱼)

통계와 관계 추출 (Statistics & Relation Extraction)

작품 라벨링으로 분류된 시에 대한 통계와 관계를 추출하였다. 예를 들자면, 각각의 장르에 속하는 시가 총 몇 편 있는지, 각각의 수사법을 사용하는 시가 총 몇 편 있는지 통계적으로 분석하였다. 또 관계 추출 단게에서는, 예를 들자면 장르 중 하나인 풍 (Songs 风)에 속하는 시들 중에서, 기능 중 하나인 흥(Stimulation 兴) 에도 동시에 속하는 시가 있는지 분석해서, 각 시들 사이의 관계를 엑셀 파일로 추출하였다.

시각화 디자인 (Visual Design)

이 웹사이트의 디자인은 생키 다이어그램(Sankey Diagram)이 메인으로서, 다양한 다른 시각화 디자인 기법들을 결합하였다. 생키 다이어그램이란 흐름 다이어그램의 한 종류인데, 요소들을 연결하는 화살표의 크기와 너비로 숫자와 양을 보여준다. (이 웹사이트의 경우에는, 두 요소를 연결하는 화살표의 크기가 크고 너비가 두꺼울수록, 해당하는 시 작품의 숫자가 많다는 뜻이 된다 )

또, 웹사이트의 시각화 디자인을 전체적으로 보면 마치 중국 전통 아치형 다리를 연상시키는 아름다운 디자인을 하고 있다.

1. 웹사이트에 들어가면 먼저 장르 구분인 인 풍, 아 송으로 시들이 분류되어 있는 것을 볼 수 있다. 오른쪽의 풍, 아, 송에 해당하는 원의 가장자리 부분에 도넛 조각 모양의 버튼들이 있는데, 안쪽에 있는 도넛은 해당 장르에 속하는 section을 뜻하고, 바깥에 있는 도넛은 해당 section에 속한 subsection을 뜻한다. 캡처 사진에는 시경의 소아 (小雅) 버튼을 선택하였으며, 해당 소아 버튼 바깥쪽에 붙어 있는 다른 7개의 작은 도넛 모양 버튼들은 소아 section 에 들어 있는 魚藻之什(어조지십) ,甫田之什 (보전지십) 등의 7개의 subsection 에 각각 해당된다. 이 도넛 모양 버튼을 클릭하면, 왼쪽에는 해당 section 이나 subsection 에 속하는 시경 원문을 읽을 수 있게 제공한다.

또한, 이 section 과 subsection을 나타내는 도넛 모양 버튼의 크기가 클수록, 또 색이 진할수록 더 많은 시가 해당되어 있다는 것을 알려준다.

2. 오른쪽으로 옮겨가면, 앞에서 살펴본 생키 다이어그램으로 시들이 장르 (왼쪽, 풍아송) 와 기능(오른쪽, 흥관군원)으로 분류되어 연결된 것을 볼 수 있다. 이 화면에서는 특정한 장르에 얼마나 많은 시가 존재하고, 그 장르의 시 중 특정한 기능이 있는 시가 얼마나 많은지 볼 수 있다. 선의 굵기를 보면 해당 장르와 기능에 속하는 시의 숫자를 가늠할 수 있다.

예를 들면, 오른쪽 기능 분류의 세 번째 항목인 군 (Communication 群)의 경우, 항목의 크기가 작으므로 해당 기능을 가진 시의 숫자가 적음을 알 수 있고, 그 작은 곳에서부터 왼쪽으로 뻗어 나가는 화살표 중 제일 크고 두꺼운 화살표가 풍(风) 장르로 연결되는 것으로 보아, 시경의 시 중 여러 사람들과 사귀게 하는 군 (Communication 群)의 기능을 가진 시의 대부분은 주제 분류상 평민들의 노래를 담은 풍 (Songs 风)에 속한다는 사실을 알 수 있다.

3. 그 다음에도 생키 다이어그램이 나온다. 앞에서 살펴보았던 기능 (흥관군원)이 왼쪽에 위치하고, 주제 (풍자, 전쟁, 잔치 등)이 오른쪽에 위치한다. 특정한 기능을 가진 시 중, 얼마나 많은 시가 특정한 주제를 다루었는지 볼 수 있다. 여기서는 생키 다이어그램의 선을 클릭하면, 주변에 해당 조건에 맞는 시의 원문을 볼 수 있게 뜬다. 캡처 사진에서는 비판적인 표현을 하는 원(Complaint 怨) 주제의 시를 나타내는 개체에서 화살표가 뻗어나가는데, 화살표의 굵기 중 거의 절반이 풍자 쪽으로 가고 있다. 이는, 원 기능을 가진 시 중, 풍자 (Sarcasm 讽谏)의 주제를 가지고 쓰여진 시가 거의 절반이나 될 정도로 많다는 것을 알 수 있으며, 전쟁이나 연회의 주제를 가지고 쓰여진 수는 소수이거나 없다는 사실을 알 수 있다.

4. 다음은 원형의 글리프 플롯 (Glyph plot) 형태의 시각화로 처리된, 시경에서 나오는 심상, 이미지와 형상을 볼 수 있다. 위쪽에 적힌 것들은 식물 {초 (Herbage 草), 목 (Tree 木)}, 아랫쪽에 적힌 것들은 동물{조 (Bird 鸟), 수 (Livestock 兽) , 충 (Insects 虫) , 어 (Fish 鱼)}들이다. 가운데의 도넛 모양의 버튼은 각각 초, 목, 조, 수, 충, 어의 이미지를 담은 버튼인데, 버튼의 크기가 길수록 더 시경에 많이 등장하는 이미지이다. 바깥에 쓰인 한자 글씨는 구체적으로 어떠한 이미지가 등장하는지 보여주는데, 더 큰 글씨로 쓰여질수록, 시경에 더 많이 등장하는 이미지라는 뜻이 된다. 이는 당시 시대상을 엿볼 수 있게 해 준다.

바깥에 쓰인 한자 글씨 중 하나를 클릭하면, 중앙에 원형 그래프가 나온다. 이 그래프의 색상을 보면, 클릭한 한자 이미지가 나오는 시들이, 어떠한 장르나 감정 등을 주로 이야기했는지를 볼 수 있다. (색상에 따른 참고는 세 번째 사진을 참고) 첫 번째 사진은 뽕나무 상 (桑) 을 클릭했는데, 전반적으로 골고루 다양한 장르나 감정에 대해 이야기했다는 것을 볼 수 있다. 반대로, 두 번째 캡처본에는 기장 서(黍 )를 클릭했는데, 골고루 분포되었던 첫번째 그래프보다는 중성 (Neutrality 中性)에 속하는 아이보리색이 많이 보인다. 이는 기장의 이미지를 포함한 시는, 정서에 있어서 중성에 해당하는 시가 다른 정서를 표현하는 시보다 많았다는 것이다.

또, 중앙에는 청나라 시대 화가 호소이 준의 그림을 넣어 데이터를 더 생동감 있고 흥미롭게 볼 수 있도록 하였다.

5 .마지막으로, 감정과 수사법이 연결된 생키 다이어그램이 나온다. 왼쪽에는 애, 희 등 다양한 감정이 나오고, 오른쪽에는 부, 비, 흥 등 다양한 수사법들이 나오는데, 여기서는 시경의 시에서 특정 감정을 표현할 때 주로 어떠한 수사법을 사용하였는지를 엿볼 수 있다. 왼쪽의 감정 부분을 클릭하면, 생키 다이어그램의 화살표가 강조되면서 오른쪽의 수사법과 연결된다. 캡처본에서는 희 (喜) 를 클릭하여 보았는데, 오른쪽의 부 (赋), 비 (比), 흥 (兴)의 세 가지 수사법으로 이어지는 화살표의 크기가 비슷비슷한 것으로 보이지만, 다만, 화살표의 크기가 부 와 흥 으로 향하는 크기가 좀 더 큰 것으로 보아, 시경에서 희 라는 감정을 표현할 때 전반적으로 다양한 수사법들을 비슷한 비율로 사용하였으나, 그 중에서는 서술하는 부, 이끌어내는 흥 의 사용 빈도가 비유하는 비 의 사용 빈도보다 높았다는 것을 알 수 있다.

Why 왜

왜 시경인가?

이 프로젝트는 시경을 텍스트 자료로서 하고 있다. 시경은 고전 중화 문화의 기원이라고도 할 수 있는 텍스트로서, 연구 가치가 매우 풍부하다. 305 수의 시로 이루어져 있고 크게 3개 주제 (풍, 아, 송)으로 구분되는 시경은, 주로 후기 주나라 시대 (周, 기원전 1046년 ~ 기원전 256년) 의 시대상을 비롯한 수많은 귀중한 정보를 담고 있다. 평민들이 불렀던 대중가요부터, 귀족 등 상류층이 향유했던 연회, 당시의 전쟁, 관리들의 조정 생활, 제례 등의 종교적 활동까지 두루 담고 있는 텍스트이기 때문이다.

왜 이 프로젝트를 만들었는가? (이 프로젝트로서 사람들에게 제공하고자 하는 경험은 무엇인가?

이 프로젝트의 풀 네임은 Explore Mindfulness without Deflection : A Data Based on the Book of Songs (치우침 없는 마음 챙김 : 시경에 기반한 데이터) 이다. Mindfulness 는 다양한 번역이 존재하는데, 정신 수양 / 마음 챙김 정도의 의미이다. 즉, 제목으로만 보았을 때 이 프로젝트의 결과물이 사용자에게 제공하고자 하는 경험은 정신 수양이나 마음 챙김이 주가 된다는 뜻이다. 다만, 문학적으로도 큰 가치가 있을 뿐더러 시대상을 이해하는 데에도 대단히 도움이 많이 되는 훌륭한 프로젝트이다. (논평 란에서 자세히 설명함)

Comment 논평

(내용 작성)