Digital Panopticon

Who 누가

직책	이름	소속
수석조사원	Professor.Barry Godfrey	University of Liverpool
공동조사원	Professor.Robert Shoemaker	University of Sheffield
	Professor.Tim Hitchcock	University of Sussex
	Professor.Deborah Oxley	University of Oxford
	Professor.Hamish Maxwell Stewart	University of Tasmania
Research Associates	Dr.Richard Ward	University of Sheffield
	Dr.Lucy Williams	University of Liverpool
	Dr.Zoe Alker	University of Liverpool
	Dr.Kim Price	University of Liverpool
공공업무담당	Dr.Larissa Allwork	University of Sheffield
프로젝트 매니저	Dr.Sharon Howard	University of Sheffield
기술 개발	Jamie McLaughlin	Digital Humanities Institute Sheffield
	Michael Pidd	Digital Humanities Institute Sheffield
박사과정생	Eleanor Bland	University of Sheffield
	Cerian Griffiths	University of Liverpool
	Lucy Huggins	University of Sheffield
	Aoife O Connor	University of Sheffield
	Emma Watkins	University of Liverpool

When 언제

본 프로젝트는 2013년 10월 1일에 시작하여 약 4년간 진행되었다.

2017년 9월 30일에 종료되어 웹사이트가 공개되었다.

What 무엇을

Search

이름, 성 키위드 등으로 죄수 생활 및 개인 기록을 찾을 수 있고 ‘추가 검색 기준 추가’를 이용하여 생활 사건 및 데이터 셋을 지정해 맞춤형 검색을 구축할 수 있다. 정보 검색시 하나의 누락된 문자는 ‘?’를 표시하고 2개 이상 일시 ‘*’를 표시해 정보가 누락돼도 검색할 수 있는 편리한 기능을 보유하고 있다. 모든 검색 기준은 추가하거나 제거하는 것이 가능하며 추가 검색 기준에는 특정 데이터 셋(trial records나 transportation records 등등), 생년월일, 성별, 문신위치 등등 있으며 총 25개의 검색기준을 이용해 검색할 수 있다. 개인 및 신체적 특성, 형사 재판 및 사면, 처벌, 가족 상황 같은 아주 세부적인 정보들도 검색할 수 있기에 잘만 활용한다면 좋은, 흥미로운 데이터를 추출해 낼 수 있다. 또한 추출한 결과물들을 pie chart, sankey diagram, life chart로 시각화(visualize)할 수 있으며 결과물들을 TSV(텍스트 파일형식)나 JSOV(자바스크립트) 형태로 다운로드 할 수 있다. (URL링크도 추가로 제공한다) 마지막으로 시각화할 때 어떤 기준으로 시각화할건지에 대한 옵션을 제공하기에 목적 적합하고 이해하기 쉽게 자료를 활용할 수 있다.

-> 더 자세한 내용은 How 부분 데이터 검색기에서 설명하고 있다.

Records

디지털 판옵티콘에 포함된 다양한 기록에 대한 소개를 제공한다. search 엔진을 이용해 기록을 찾고 이해할 때 아래의 배경자료들을 검토해 보아야 한다. 또한 data visualization을 하기 위해서는 자료에 대한 선행 이해가 필요하다.

디지털 판옵티콘 기록들

기록	소제목	제공되는 주 내용	기타 내용
재판기록	올드 베일리 절차 (1740 ~ 1913)	디지털 판옵티콘의 기본 소스이다. 목숨을 추적할 수 있는 9만명의 죄수에 대한 유죄 판결과 형을 선고한 범죄 재판에 대해서 기술한다	기원과 내용 다른 출처와의 관계 강점과 한계 원본 소스 및 디지털화 추가정보
	올드 베일리 관련 기록 (1740 ~ 1834)	올드 베일리 절차에 보고된 재판과 관련된 37000개의 인쇄 및 보관 기록에 대한 설명이 포함돼 있다. 범죄에 대한 대중적인 담론과 올드 베일리의 재판을 관련시켜 생성된 추가 연합 기록이 포함돼 있다.
	Newgate Calendars of Prisoners for Trial (1782 ~ 1853)	올드 베일리에서 재판을 받은 Newgate 감옥 수감자들의 목록이다.
	잉글랜드 및 웨일즈 범죄 등록부 (1791 ~ 1892)	1791년부터 런던에서 재판을 받은 모든 개인의 목록을 포함한다. 재판 장소, 날짜, 범죄에 대한 간략한 내용을 제공한다.
재판 후 선고 기록	올드 베일리에서 사형선고 (1760 ~ 1837)	8009명의 사형 판결을 받은 재판의 형벌 결과에 대한 세부사항을 제공해준다	기원과 내용 다른 출처와의 관계 강점과 한계 원본 소스 및 디지털화 추가정보
	Home office Criminal Entry Books (1782 ~ 1876)	Home Office Criminal Entry Books에 언급된 272,940명의 피고범과 관련된 세부정보가 포함돼 있다.
	범죄자에 대한 판사 보고서 (1784 ~ 1827)	올드 베일리에서 유죄 판결을 받은 개인에 대해 런던 기록관 및 기타 재판관이 작성한 약 1127개의 사면 보고서 및 서신에 대한 세부 정보가 포함돼 있다.
	사면청원 (1797 ~ 1858)	범죄자 및 그 가족, 친구가 형량 감축 및 취소를 위해 영국 내무부에 제출한 청원서의 세부사항이 포함돼 있다.
운송기록	Middlesex 죄수들의 수송 (1785 ~ 1792)	New South Wales로 가기 위해 Middlesex 1589명의 죄수들 수송 기록이다.	기원과 내용 다른 출처와의 관계 강점과 한계 원본 소스 및 디지털화 추가정보
	영국 수송 등록부 (1787 ~ 1867)	영국에서 호주로의 죄수 수송 기록이고 New South Wales, Van Diemens's land, 서호주로 간 죄수 모두를 포함한다.
	Convict Indents(출발 및 도착 기록부) (1788 ~ 1868)	호주로 이송된 죄수에 관한 선적 목록에서 가져온 개인 수준의 불완전한 정보를 포함한다.
	수송 선박에서의 외과 의사 기록 (1817 ~ 1857)	영국에서 호주로 가는 수송선 안에서 죄수들의 건강과 선박 위생 상태를 기록해 놓은 것이다.
식민지 기록	New South Wales Convict Indexes (1788 ~ 1873)	뉴 사우스 웨일즈 주립 기록 보관소에 의해 생성됐으며 다양한 유죄 판결 기록에 대한 설명을 포함한다.	기원과 내용 다른 출처와의 관계 강점과 한계 원본 소스 및 디지털화 추가정보
	New South Wales Convict Savings Bank Books (1824 ~ 1868)	뉴 사우스 웨일즈로 이송된 죄수들이 가져온 돈과 재산에 대한 정보를 제공한다.
	Van Diemen's Land 범죄 기록 (1802 ~ 1853)	수 많은 원본 출처의 통합 증거 데이터 베이스이다. Van Diemen Land로 이송된 올드 베일리 죄수들에 대한 정보를 제공한다.
	Van Diemens' Land 범죄 기록 전기(傳記) (1812 ~ 1853)	Van Diemen으로 이송된 약 30000명의 죄수에 대한 광범위한 전기 정보를 제공한다.
	Van Diemen‘s land convict labor contracts (1848 ~ 1857)	Van Diemen’s land의 보호 관찰 시스템에 등록된 죄수들의 고용 계약 목록이다.
	서호주의 Character Books and General Registers (1850 ~ 1868)	죄수들의 수송 전과 수송 선고 후의 세부사항을 포함하고 1850 ~ 1868년 사이에 호주로 이송된 모든 영국 범죄자의 기록이다.
	호주 유죄 판결 보호 관찰 기록 (1850 ~ 1868)	집행 유예를 받은 215명의 런던 죄수들의 기록을 포함한다. 보호 관찰 등록부는 수송선뿐만 아니라 수송된 사람들에 대한 원래의 범죄, 재판, 세부사항 기록을 포함한다.
구금기록	Bridewell House of Correction Prisoners (1740 ~ 1795)	Bridewell 기록은 사소한 범죄에 대한 세부적인 증거를 제공하며 이는 나중에 더 심각한 범죄를 일으킨 것과 연관을 지을 수 있다.	기원과 내용 다른 출처와의 관계 강점과 한계 원본 소스 및 디지털화 추가정보
	Deaths in London Prisons (1760 ~ 1869)	런던 교도소에서 사망하여 18c, 19c에 검시관 조사 대상이 된 사람들에 정보를 포함한다.
	Hulks Registers (1801 ~ 1879)	Hulk(강과 하구에 정박된 감옥선)에 수감된 자들의 목록을 제시한다.
	Prison Registers (1770 ~ 1951)	감옥기록, 교도소 등록부 등을 포함하는 크고 복잡한 데이터 셋이다.
	Middlesex House of Detention Calendars (1836 ~ 1889)	Middlesex에서 범죄로 재판을 받고 구금소에 수감된 수감자의 이름과 기타 세부 정보가 포함돼 있다.
	Newgate Calendars of Prisoners (1855 ~ 1931)	올드 베일리에서 재판을 받은 Newgate prison의 수감자들의 목록이다.
	UK Convict Prison Captions and Transfer Papers (1843 ~ 1871)	19c 중반 영국의 중앙 정부 교도소에 수감된 3664명의 수감자와 관련된 세부정보를 제공한다.
	UK Licences for the Parole of Convicts (1853 ~ 1925)	가석방 죄수가 발급받는 종이 면허로 최초의 유죄 판결, 석방 날짜 및 조건에 대한 세부 정보를 제공한다.
	Metropolitan Police Register of Habitual Criminals (1881 ~ 1925)	잉글랜드와 웨일즈 감옥에 있었던 100,000명 이상의 상습적인 범죄자들의 데이터 셋이다.
	Prisoner Photograph Albums (1871 ~ 1873)	Wandsworth 교도소에 수감된 626명의 수감자들에 대한 사진과 세부 정보가 포함된 두 개의 앨범으로 구성된다.
죄수 문신 기록	문신 (1793 ~ 1925)	많은 수의 죄수 기록에는 문신을 포함하여 죄수 신체에 대한 설명이 기록돼 있다. 디지털 판옵티콘에는 58,002명의 죄수들의 문신에 대한 74,568개의 설명이 있다.	기원과 내용 방법론 다른 출처와의 관계 추가정보
민사 기록	런던 생활과 관련된 기록 (1740 ~ 1800)	빈곤층, 방랑자 및 가난한 소년에 대한 정보를 포함한다.	기원과 내용 다른 출처와의 관계 강점과 한계 원본 소스 및 디지털화 추가정보
	잉글랜드와 웨일즈에 대한 인구 조사 결과 (1841 ~ 1911)	1841년부터 인구조사는 매년 10년마다 실시했다. 따라서 1841년에 살아있는 범죄자는 적어도 한번의 인구 조사 항목에 나타나야한다.
	FreeBMD 사망 기록 (1837 ~ 1925)	FreeBMD의 사망 데이터, 등록부이다.

Convict Lives

디지컬 판옵티콘 웹 사이트를 이용해 재구성된 죄수 생활, 삶의 상당 부분의 샘플을 제공한다. 디지털 판옵티콘에는 1780년부터 1913년까지 올드 베일리에서 수송, 투옥 또는 사형을 선고받은 90,000명의 죄수들의 삶과 관련된 수백만 개의 기록이 포함돼 있다. 각 죄수마다 디지털 판옵티콘 life 아카이브 링크를 제공해 한 눈에 그 사람의 전반적인 생활에 대해서 볼 수 있다. 별칭, 출생, 출생지, 성별, 키 등에 대해서 간략히 알려주고 시계열 방식으로 태어난 년도부터 기록이 끊기기 전까지를 보여준다.

다양한 유형의 범죄자들의 세부적인 기록들

항목	샘플 개수	정리 방법 및 내용들
청소년 범죄자	7명	처음에 간략히 범죄 내역 및 특이사항들을 제시한다. 이후 초기생활(범죄를 저지르기 전), 범죄와 재판 내역, 처벌 및 결과, 개인 정보 및 생활 사건에 대한 정보를 제공한다. 그리고 기록 이후의 내용과 더 넓은 맥락에서 가지는 함의를 제공한다. 마지막으로 추가 정보를 얻을 수 있는 기록들과 검색 키워드를 제시한다.
절도 범죄자	22명
폭력 범죄자	7명
기타 범죄자	6명
수송된 범죄자	14명
투옥된 범죄자	19명
기타 처벌 결과	9명
재범(Recidivists)	19명
문신을 한 죄수들	3명

How 어떻게

개요

관계사진 올릴 예정

데이터 검색기 (Data Search builder)

아래와 같은 다양한 기준에 따라 데이터를 자세하게 검색할 수 있다. 검색 기준에 해당하는 데이터들을 보여주고, 시각화 메뉴 또한 제공한다.

검색 기준

• dataset의 출처가 되는 문서의 종류
• 문서에 기록된 기간
• 성과 이름
• 생년월일
• 키, 머리카락과 동공의 색 등
• 직업
• 종교
• 특별한 신체특징(흉터, 대머리, 발치, 점, 피어싱 등)
• 타투(존재여부, 위치, 쓰여진 단어, 주제)
• 재판결과, 사면, 출소사유 등
• 결혼 및 가족

구현 과정

• 디지털화

문서들 중에 수기로 작성된 자료들은 직접 타이핑하고, 프린트된 자료들은 OCR을 이용해 문서들을 디지털화 했다. 직접 타이핑하는 경우 두 명 이상이 진행한 타이핑 자료들을 컴퓨터로 서로 대조하여 수정하는 'Double-rekeying'작업을 이용해 오타를 줄였다.

Middlesex House of Detention Calendars 1836-1889 와 Metropolitan Police Register of Habitual Criminals 1881-1925자료는 OCR을 이용해 번역이 진행되었다. OCR의 경우 일반적인 텍스트에서는 오류가 거의 발생하지 않았지만, 복잡한 표를 해석할 때, 행과 열사이의 선들을 누락하여 오류가 꽤 많이 발생했다. OCR을 이용해 디지털로 번역한 자료들의 정확도는 99%를 상회했다.

UK Licences for the Parole of Convicts 1853-1925의 일부 문서는 'Double-rekeying'을 이용하여 직접 타이핑을 진행했다. Rekeying의 전체적인 정확도는 약 98~99%였는데, 오류는 대부분 사람이 인식하기 힘든 필체때문이었다.

• 데이터 구조화

효율적으로 데이터베이스를 구축하기 위해 데이터를 표준화하고 구조화시키는 작업을 진행했다. 프로젝트에는 다양한 형태와 형식의 데이터를 받았고, 이 데이터들을 구조화하는 처리가 필요했다. 프로젝트에서 필요한 중요한 정보(이름, 나이, 성별, 직업, 주소, 출생지, 범죄, 재판 날짜 및 장소, 형량 등)들에 대해 빠진 정보가 없는지 주의를 기울여 살펴봐야했다.

• 데이터 표준화

먼저, 동일 인물에 대한 정보로 추정되는 중복 데이터들 그리고 불가능한 특성을 가진 데이터들은 제거했다. 두번째로, 같은 속성을 가지지만 기록된 단어가 달라 다르게 분류되는 데이터들을 표준화했다. Levenshtein distance, DICE 그리고 Jaro-Winkler와 같은 문자열 비교 알고리즘을 이용해 비슷하지만 형태소가 다르거나 띄어쓰기가 존재하는 단어들을 일치하게 만들어서 데이터가 서로 쉽게 연결되도록 했다. 예를 들어, robbery와 robbing은 실질적으로 같은 뜻이지만 컴퓨터가 다른 단어로 인식하기때문에 문자열을 일치시켜주는 것이다.

• 데이터베이스 구축

데이터들을 이름, 나이, 성별 등 속성에 맞게 표 형태로 정리했다. 먼저 node.js를 이용해 표의 각 필드에 맞는 값을 자동으로 기입했다. 이 기본 데이터베이스를 바탕으로 하여 MySQL에 RDB(관계형 데이터베이스)를 구축했다. 프로그래밍을 이용한 데이터베이스에 등록되지 않은 데이터들은 수동으로 직접 데이터를 채워넣어야 했는데, MySQL과 Java servelet으로 구현한 맞춤형 웹 인터페이스를 이용해 수동으로도 쉽게 채울 수 있도록 했다.

• 검색서비스

검색서비스는 기본적으로 elastic search라는 검색엔진을 이용했다. Elastic search는 Java기반 검색엔진으로 node.js기반 웹 인터페이스에 쉽게 적용할 수 있다. 사용자가 설정한 검색어를 단어 단위로 나눈 후 그 단어들이 나온 문서를 중요도 순으로 정렬해서 사용자에게 표시해준다.

시각화 (Data Visualization)

데이터를 검색한 뒤 정렬된 데이터를 보는 것 만으로는 자료를 이용하기에 한계가 있다. Digital Panopticon에서는 적절한 시각화를 통해 자료를 볼 수 있도록 기능을 제공하고 있다.디지털 판옵티콘에는 세가지의 시각화 유형이 있다. 이를 이용해 판옵티콘의 데이터 검색 결과를 시각화할 수 있다. 데이터를 검색한 결과창에서 어떤 시각화 유형을 선택할 것인지, 그리고 범례에 대해서 설정할 수 있다. Digital Panopticon에서는 d3.js를 이용해 데이터 시각화를 구현했다.

파이 차트 (Pie chart)

파이 차트에서 각 슬라이스의 크기는 각 기준에 대해 특성을 만족하는 사람의 수에 비례한다.

파이차트 옵션

• 파이 (Pies)

파이를 어떻게 설정한 것인지 선택할 수 있다. 만약 'just one pie'메뉴를 선택한다면, 선택한 기준에 대해 각 특성마다 파이 가 생성된다. 예를 들어, 'Gender(성별)'을 선택한다면 'male(남성)', 'female(여성)', 'Unknown(알수없음)'에 해당하는 각각의 파이가 생성된다.

• 파이 슬라이스 (Pie Slices)

파이를 어떻게 나눌 것인지 선택할 수 있다. 만약 'Gender'를 선택한다면 'male', 'female', 'unknown'에 해당하는 슬라이스가 각각 생성된다.

Sankey Diagram

Sankey Diagram은 기준에 대해 특성을 만족하는 사람의 수에 비례하여 Start point와 End point를 잇는 화살표가 굵어지는 flow diagram이다.

Sankey Diagram 옵션

• Start Point

Sankey Diagram에서 좌측에 해당하는 기준을 설정할 수 있다. 예를 들어, 'Offence'를 시작점으로 선택한다면 각 범죄항목에 해당하는 시작지점을 생성할 수 있다.* End Point

Sankey Diagram에서 우측에 해당하는 기준을 설정할 수 있다. 예를 들어, 'Sentence Outcome'을 End point로 설정한다면 'Transported', 'Sureties', 'Commited to military service', 'Imprisoned', 'Freed', 'Executed', 'Unknown'에 해당하는 End point가 생성된다.

Life chart

각 점이 사건에 해당하는 산점도(Scatter Chart)를 생성한다. 사건에 해당하는 점을 잇는 선분들은 life path를 보여준다.

Life Chart 옵션

• Colours

기준에 따라 life chart의 선분들의 색상이 나뉘는데, 이 기준을 무엇으로 설정할 것인지 결정할 수 있다. 예를 들어 'offence'를 선택한다면, 범죄항목에 따라 선분의 색상이 다르게 표현된다.

• Events

산점도(Scatter chart)의 각 점은 중요한 사건(태어남, 징역, 출소 등)을 뜻한다. Events항목은 사소한 사건들(문서에 등장한 시점, 다른 곳으로 이동한 시점) 또한 산점도에 표현할 것인가 아닌가를 선택할 수 있다.

Why 왜

The Digital Panopticon website has been designed to facilitate historical research into the lives of Old Bailey convicts sentenced to transportation or imprisonment between the later eighteenth and early twentieth centuries - along with crime, justice and punishment in this period more broadly - as it is evidenced by the surviving records. [1]

디지털 판옵티콘은 18세기 후반에서 20세기 초 올드베일리로 이송 또는 수감된 죄수들의 삶에 대한 역사적 연구를 용이하게 하기 위해 제작되었다.

The social policy question of what to do with criminals in order to rehabilitate criminals and cut back the costly penal estate has long been in the public eye. The Digital Panopticon uses digitised historical data to contribute to the debate and to bring, for the first time, a Big Data approach to this important issue. [2]

범죄자의 교화와 형벌 비용 절감을 위한 사회 정책문제에 관한 빅데이터적 접근을 가능하게 한다.