"Digital Panopticon"의 두 판 사이의 차이

2020년 10월 2일 (금) 18:50 판

Who 누가

When 언제

본 프로젝트는 2013년 10월 1일에 시작하여 약 4년간 진행되었다.[1]

2017년 9월 30일에 종료되어 웹사이트가 공개되었다.

Where 어디서

What 무엇을

Search

이름, 성 키위드 등으로 죄수 생활 및 개인 기록을 찾을 수 있고 ‘추가 검색 기준 추가’를 이용하여 생활 사건 및 데이터 셋을 지정해 맞춤형 검색을 구축할 수 있다. 정보 검색시 하나의 누락된 문자는 ‘?’를 표시하고 2개 이상 일시 ‘*’를 표시해 정보가 누락돼도 검색할 수 있는 편리한 기능을 보유하고 있다. 모든 검색 기준은 추가하거나 제거하는 것이 가능하며 추가 검색 기준에는 특정 데이터 셋(trial records나 transportation records 등등), 생년월일, 성별, 문신위치 등등 있으며 총 25개의 검색기준을 이용해 검색할 수 있다. 개인 및 신체적 특성, 형사 재판 및 사면, 처벌, 가족 상황 같은 아주 세부적인 정보들도 검색할 수 있기에 잘만 활용한다면 좋은, 흥미로운 데이터를 추출해 낼 수 있다. 또한 추출한 결과물들을 pie chart, sankey diagram, life chart로 시각화(visualize)할 수 있으며 결과물들을 TSV(텍스트 파일형식)나 JSOV(자바스크립트) 형태로 다운로드 할 수 있다. (URL링크도 추가로 제공한다) 마지막으로 시각화할 때 어떤 기준으로 시각화할건지에 대한 옵션을 제공하기에 목적 적합하고 이해하기 쉽게 자료를 활용할 수 있다.

-> 더 자세한 내용은 How 부분 데이터 검색기에서 설명하고 있다.

Records

디지털 판옵티콘에 포함된 다양한 기록에 대한 소개를 제공한다. search 엔진을 이용해 기록을 찾고 이해할 때 아래의 배경자료들을 검토해 보아야 한다. 또한 data visualization을 하기 위해서는 자료에 대한 선행 이해가 필요하다.

Convict Lives

디지컬 판옵티콘 웹 사이트를 이용해 재구성된 죄수 생활, 삶의 상당 부분의 샘플을 제공한다. 디지털 판옵티콘에는 1780년부터 1913년까지 올드 베일리에서 수송, 투옥 또는 사형을 선고받은 90,000명의 죄수들의 삶과 관련된 수백만 개의 기록이 포함돼 있다. 각 죄수마다 디지털 판옵티콘 life 아카이브 링크를 제공해 한 눈에 그 사람의 전반적인 생활에 대해서 볼 수 있다. 별칭, 출생, 출생지, 성별, 키 등에 대해서 간략히 알려주고 시계열 방식으로 태어난 년도부터 기록이 끊기기 전까지를 보여준다.

Research and Teaching

본 페이지는 18세기 후반에서 20세기 초반까지 Old Bailey에 수감된 죄수와 그들이 저지른죄, 받은 형벌에 대한 정보를 아카이빙하고 있다. Research and Teaching 탭에서는 연구자들과 교육자들이 이 페이지에서 어떤 방식으로 정보들을 체계화하여 활용할 수 있는지를 주로 소개하고 있다.

Thematic Research Guide

이 부분은 사이트를 이용하는 사람들이 특정한 주제로 아카이브를 이용하고자 할 때 도움이 되도록 여러 주제에 따른 이용 가이드를 목록화해놓은 것이다. 주제 목록은 아래 표와 같다.

각 탭을 클릭하면 Digital Panopticon 내의 자료를 모아서 해당 주제에 대해서 상세히 설명해 놓은 정보가 나온다. 탭별로 주로 제공하는 정보와 해당 범주 안에 포함되는 죄수를 찾기 위한 가이드라인이 있는지 여부는 상이하다. 탭별로 제공되는 정보는 다음 표 안에 있는 것과 같다.

Research Theme

해당 탭에서는 이 사이트를 생성한 사람들이 데이터를 주제로 해낸 여러 가지 연구가 있음을 알려주고 있다. 그 연구를 통해서 얻게 된 중요한 발견들을 다음과 같은 주제 아래로 요약해 놓은 메뉴이다.

Teaching Guide

이 메뉴는 교육자들이 digital Panopticon에 있는 정보를 교육용으로 활용하고자 할 때 어떻게 활용할 수 있는지에 대한 가이드라인을 제공하고 있다. GCSE, AS/A, 대학교의 수준에서 이 내용을 가르칠 때 얼마나 깊은 내용을 담고 어떤 내용에 집중하면 높은 효율을 얻을 수 있는지를 알려주고 있다. 개중에는 교육자가 이 내용을 바탕으로 학생들을 가르칠 때 진행할 수 있는 액티비티에 관한 지도사항도 나와 있어 다양한 수준의 교육용 자료를 제작하기에도 편리할 것이라 생각한다. 세부적인 내용은 다음의 표와 같다.

How 어떻게

개요

관계사진 올릴 예정

데이터 검색기 (Data Search builder)

아래와 같은 다양한 기준에 따라 데이터를 자세하게 검색할 수 있다. 검색 기준에 해당하는 데이터들을 보여주고, 시각화 메뉴 또한 제공한다.

검색 기준

• dataset의 출처가 되는 문서의 종류
• 문서에 기록된 기간
• 성과 이름
• 생년월일
• 키, 머리카락과 동공의 색 등
• 직업
• 종교
• 특별한 신체특징(흉터, 대머리, 발치, 점, 피어싱 등)
• 타투(존재여부, 위치, 쓰여진 단어, 주제)
• 재판결과, 사면, 출소사유 등
• 결혼 및 가족

구현 과정

• 디지털화

문서들 중에 수기로 작성된 자료들은 직접 타이핑하고, 프린트된 자료들은 OCR을 이용해 문서들을 디지털화 했다. 직접 타이핑하는 경우 두 명 이상이 진행한 타이핑 자료들을 컴퓨터로 서로 대조하여 수정하는 'Double-rekeying'작업을 이용해 오타를 줄였다.

Middlesex House of Detention Calendars 1836-1889 와 Metropolitan Police Register of Habitual Criminals 1881-1925자료는 OCR을 이용해 번역이 진행되었다. OCR의 경우 일반적인 텍스트에서는 오류가 거의 발생하지 않았지만, 복잡한 표를 해석할 때, 행과 열사이의 선들을 누락하여 오류가 꽤 많이 발생했다. OCR을 이용해 디지털로 번역한 자료들의 정확도는 99%를 상회했다.

UK Licences for the Parole of Convicts 1853-1925의 일부 문서는 'Double-rekeying'을 이용하여 직접 타이핑을 진행했다. Rekeying의 전체적인 정확도는 약 98~99%였는데, 오류는 대부분 사람이 인식하기 힘든 필체때문이었다.

• 데이터 구조화

효율적으로 데이터베이스를 구축하기 위해 데이터를 표준화하고 구조화시키는 작업을 진행했다. 프로젝트에는 다양한 형태와 형식의 데이터를 받았고, 이 데이터들을 구조화하는 처리가 필요했다. 프로젝트에서 필요한 중요한 정보(이름, 나이, 성별, 직업, 주소, 출생지, 범죄, 재판 날짜 및 장소, 형량 등)들에 대해 빠진 정보가 없는지 주의를 기울여 살펴봐야했다.

• 데이터 표준화

먼저, 동일 인물에 대한 정보로 추정되는 중복 데이터들 그리고 불가능한 특성을 가진 데이터들은 제거했다. 두번째로, 같은 속성을 가지지만 기록된 단어가 달라 다르게 분류되는 데이터들을 표준화했다. Levenshtein distance, DICE 그리고 Jaro-Winkler와 같은 문자열 비교 알고리즘을 이용해 비슷하지만 형태소가 다르거나 띄어쓰기가 존재하는 단어들을 일치하게 만들어서 데이터가 서로 쉽게 연결되도록 했다. 예를 들어, robbery와 robbing은 실질적으로 같은 뜻이지만 컴퓨터가 다른 단어로 인식하기때문에 문자열을 일치시켜주는 것이다.

• 데이터베이스 구축

데이터들을 이름, 나이, 성별 등 속성에 맞게 표 형태로 정리했다. 먼저 node.js를 이용해 표의 각 필드에 맞는 값을 자동으로 기입했다. 이 기본 데이터베이스를 바탕으로 하여 MySQL에 RDB(관계형 데이터베이스)를 구축했다. 프로그래밍을 이용한 데이터베이스에 등록되지 않은 데이터들은 수동으로 직접 데이터를 채워넣어야 했는데, MySQL과 Java servelet으로 구현한 맞춤형 웹 인터페이스를 이용해 수동으로도 쉽게 채울 수 있도록 했다.

• 검색서비스

검색서비스는 기본적으로 elastic search라는 검색엔진을 이용했다. Elastic search는 Java기반 검색엔진으로 node.js기반 웹 인터페이스에 쉽게 적용할 수 있다. 사용자가 설정한 검색어를 단어 단위로 나눈 후 그 단어들이 나온 문서를 중요도 순으로 정렬해서 사용자에게 표시해준다.

시각화 (Data Visualization)

데이터를 검색한 뒤 정렬된 데이터를 보는 것 만으로는 자료를 이용하기에 한계가 있다. Digital Panopticon에서는 적절한 시각화를 통해 자료를 볼 수 있도록 기능을 제공하고 있다.디지털 판옵티콘에는 세가지의 시각화 유형이 있다. 이를 이용해 판옵티콘의 데이터 검색 결과를 시각화할 수 있다. 데이터를 검색한 결과창에서 어떤 시각화 유형을 선택할 것인지, 그리고 범례에 대해서 설정할 수 있다. Digital Panopticon에서는 d3.js를 이용해 데이터 시각화를 구현했다.

파이 차트 (Pie chart)

파이 차트에서 각 슬라이스의 크기는 각 기준에 대해 특성을 만족하는 사람의 수에 비례한다.

파이차트 옵션

• 파이 (Pies)

파이를 어떻게 설정한 것인지 선택할 수 있다. 만약 'just one pie'메뉴를 선택한다면, 선택한 기준에 대해 각 특성마다 파이 가 생성된다. 예를 들어, 'Gender(성별)'을 선택한다면 'male(남성)', 'female(여성)', 'Unknown(알수없음)'에 해당하는 각각의 파이가 생성된다.

• 파이 슬라이스 (Pie Slices)

파이를 어떻게 나눌 것인지 선택할 수 있다. 만약 'Gender'를 선택한다면 'male', 'female', 'unknown'에 해당하는 슬라이스가 각각 생성된다.

Sankey Diagram

Sankey Diagram은 기준에 대해 특성을 만족하는 사람의 수에 비례하여 Start point와 End point를 잇는 화살표가 굵어지는 flow diagram이다.

Sankey Diagram 옵션

• Start Point

Sankey Diagram에서 좌측에 해당하는 기준을 설정할 수 있다. 예를 들어, 'Offence'를 시작점으로 선택한다면 각 범죄항목에 해당하는 시작지점을 생성할 수 있다.* End Point

Sankey Diagram에서 우측에 해당하는 기준을 설정할 수 있다. 예를 들어, 'Sentence Outcome'을 End point로 설정한다면 'Transported', 'Sureties', 'Commited to military service', 'Imprisoned', 'Freed', 'Executed', 'Unknown'에 해당하는 End point가 생성된다.

Life chart

각 점이 사건에 해당하는 산점도(Scatter Chart)를 생성한다. 사건에 해당하는 점을 잇는 선분들은 life path를 보여준다.

Life Chart 옵션

• Colours

기준에 따라 life chart의 선분들의 색상이 나뉘는데, 이 기준을 무엇으로 설정할 것인지 결정할 수 있다. 예를 들어 'offence'를 선택한다면, 범죄항목에 따라 선분의 색상이 다르게 표현된다.

• Events

산점도(Scatter chart)의 각 점은 중요한 사건(태어남, 징역, 출소 등)을 뜻한다. Events항목은 사소한 사건들(문서에 등장한 시점, 다른 곳으로 이동한 시점) 또한 산점도에 표현할 것인가 아닌가를 선택할 수 있다.

Why 왜

The Digital Panopticon website has been designed to facilitate historical research into the lives of Old Bailey convicts sentenced to transportation or imprisonment between the later eighteenth and early twentieth centuries - along with crime, justice and punishment in this period more broadly - as it is evidenced by the surviving records. [2]

디지털 판옵티콘은 18세기 후반에서 20세기 초 올드베일리로 이송 또는 수감된 죄수들의 삶에 대한 역사적 연구를 용이하게 하기 위해 제작되었다.

The social policy question of what to do with criminals in order to rehabilitate criminals and cut back the costly penal estate has long been in the public eye. The Digital Panopticon uses digitised historical data to contribute to the debate and to bring, for the first time, a Big Data approach to this important issue. [3]

범죄자의 교화와 형벌 비용 절감을 위한 사회 정책문제에 빅데이터 접근을 가능하게 한다.

Comment 논평

각주

1. ↑ old bailey
2. ↑ 뉴게이트 감옥
3. ↑ 홈오피스
4. ↑ 영국 미들섹스 지역
5. ↑ 호주 뉴사우스 웨일즈
6. ↑ 반 디애맨
7. ↑ 브라이드웰
8. ↑ 영국에 있는 교도소
9. ↑ 인구조사 기록임