더 나은 세상은 가능하다, 이정환닷컴!

연구 과제 : 알고리즘은 과연 공정할까.

Written by leejeonghwan

December 13, 2020

(학교 과제로 쓴 프로포절입니다. 연구 방법론 실습 과제였는데, 다음 학기에 모범 샘플로 학생들에게 나눠드렸다고 합니다. 실제로 이 주제로 논문을 써볼까 했으나 여러가지 현실적인 문제로 프로포털에 그쳤습니다. 기록 차원에서 남겨둡니다.)

알고리즘 접근으로 분석한 한국 포털의 알고리즘 뉴스 편집의 편향성 연구.

1. 주제.

A. 연구 주제.

네이버와 다음 등의 뉴스 편집 알고리즘이 과연 공정하게 운영되고 있는가를 검증하기 위한 연구다. 네이버와 다음은 한국 사회의 여론에 막대한 영향을 미치는 뉴스 플랫폼이지만 뉴스 추천 알고리즘과 그 효과에 대해서는 거의 알려진 바가 없다.

네이버는 2019년 4월4일부터 지금까지 200여명의 편집자가 수동으로 편집해 왔던 뉴스 서비스를 알고리즘 편집으로 전면 전환하겠다고 밝혔다. 네이버는 이미 2017년 2월부터 에어스라는 이름으로 인공지능 뉴스 추천 알고리즘을 테스트해 왔다. 모바일부터 시작했다가 2019년 6월 기준으로 현재는 모바일과 PC 모두 100% 알고리즘으로 편집한 뉴스를 서비스하고 있다.

문제는 과연 알고리즘 편집이 인간 편집자가 수동으로 편집하던 시절보다 더 공정하거나 더 뉴스의 중요성과 다양성을 제대로 반영하느냐다.

네이버와 다음은 수동 편집 시절에도 끊임없이 공정성과 중립성을 둘러싼 논란에 휘말려 왔다. 뉴스 편집을 알고리즘에 맡긴 뒤에는 어느 정도 편향성 논란에서 벗어난 것처럼 보이지만 뉴스의 선택과 집중이 더 단편적이고 심도가 얕아졌다는 비판도 많다.

이 연구에서는 네이버의 알고리즘 편집 전환 이후 네이버 뉴스 소비의 변화를 추적하고 한국의 공론장에 미치는 영향을 분석한다.

B. 주제를 선정한 배경.

한국에서 네이버의 뉴스 점유율은 압도적이다. 2018년 여론집중도조사위원회에 따르면 네이버의 뉴스 점유율은 55.4%, 다음이 22.4%에 이른다. 네이버와 다음의 뉴스 점유율은 검색 점유율과 무관하지 않다. 네이버의 검색 점유율은 76.3%, 다음은 16.0%에 이른다.

단일 언어권의 단일 국가 국민의 대부분이 특정 포털 사이트를 통해서 뉴스를 검색하고 뉴스를 읽는 현상은 매우 독특한 문화라고 할 수 있다.

박승택(2017)의 연구에 따르면 카카오 루빅스의 추천 시스템은 통계적 기계학습 기법인 ‘맞춤형 멀티-암드 밴딧’(Customized Multi-Armed Bandit) 알고리즘을 활용하고 있다. 슬롯머신의 확률을 높이기 위해 여러대의 슬롯머신을 동시에 테스트하면서 가장 승률이 높은 슬롯머신을 찾아 베팅을 집중한다는 의미다. 카카오가 이 논문에서 스스로 밝히고 있듯이 카카오의 인공지능 뉴스 추천 알고리즘은 최소한의 탐색(Exploration)으로 기대 보상(Expected Discounted Reward)을 극대화하도록 설계돼 있다.

승률을 반복해서 측정하고(Epsilon-Greedy) 승률이 높은 슬롯머신에 검증 기회를 집중(Softmax)하거나 배제된 슬롯머신에도 기회를 부여하는(Upper Confidence Bound) 등의 방식을 결합하고 선택과 집중(Annealing) 과정을 통해 승률을 높이는 알고리즘을 차용해 뉴스 편집과 개인화 추천에 적용하고 있다.

그러나 카카오가 설정한 기대 보상이 뉴스 플랫폼에 요구되는 공정성과 균형, 의제 설정의 기능에 부합하는지는 의문이다.

뉴스는 다른 콘텐츠와 달리 공급자가 많고 계속해서 업데이트되고 유통 기한이 짧고 독보성과 차별성을 판단하기 쉽지 않다는 특성이 있다.

박근찬, 이재호, 최재호(2017) 등이 CIKM(Conference on Information and Knowledge Management)에서 공개한 논문에 따르면 네이버는 딥러닝 기반의 인공신경망 기술인 RNN(Recurrent Neural Network)을 활용한 알고리즘으로 뉴스를 자동 편집하고 있다. 이용자들의 뉴스 소비 패턴을 예측해 데이터가 축적되지 않은 최신 뉴스의 가치를 즉각적으로 판단하고 우선 순위를 결정하는 방식이다.

Adam D. I. Kramer, Jamie E. Guillory, and Jeffrey T. Hancock 등의 연구(2013)로 드러난 사실에 따르면 페이스북은 페이스북 이용자 68만9003명의 뉴스 피드를 조작하는 방식으로 감정 전이 현상을 실험한 바 있다. 슬픔과 기쁨 등 뉴스 피드의 분위기에 따라 이용자의 감정 상태가 달라진다는 사실을 검증하기 위해 인위적으로 대조군을 설정하고 뉴스 피드를 조작했다는 사실이 드러났다.

네이버와 다음의 경우 페이스북 같은 같은 감정 실험을 한 사실이 드러난 바 없지만 선택적으로 뉴스 알고리즘을 테스트하면서 효율을 업데이트하고 있는 것으로 보인다. 또한 뉴스 피드의 편집에 수익의 극대화가 중요한 변수로 작용하고 있을 가능성이 매우 크다. 직접적으로 뉴스 사이트에서 발생하는 수익 보다는 이용자들이 더 오래 네이버와 다음에 머물도록 만들고 의존적이 되도록 뉴스 피드를 설계했을 거라는 추론을 검증할 필요가 있다.

신동희(2014)에 따르면 알고리즘이 완벽하게 사람의 판단을 배제한다는 것은 환상이다. 알고리즘의 설계와 변수 역시 사람이 결정하는 것이기 때문에 알고리즘 편집으로 공정성 논란에서 근본적으로 벗어날 수는 없으며 알고리즘 역시 편집권의 영역으로 추상적이고 관념적인 영역에 속하는 것이다.

C. 주제가 갖는 의미.

한국의 포털 서비스는 세계 그 어느 나라보다 여론에 미치는 영향이 크다. 네이버와 다음이 영업 기밀이라는 이유로 알고리즘의 구체적인 로직이나 뉴스 편집 데이터를 거의 공개하지 않는 상태에서 알고리즘 기법으로 알고리즘을 분석하고 뉴스의 편집의 편향과 왜곡 가능성을 검증하는 최초의 시도라는 데 의의가 있다.

이 연구 결과로 포털의 알고리즘 개편을 요구하고 최소한의 정보 공개와 시민 사회의 감시를 제도화하도록 압박할 수 있을 것으로 기대된다.

2. 기존 연구 검토.

A. 주제와 관련한 기존 연구와 데이터.

김경희(2008)는 인쇄 신문 1면과 포털 사이트의 프론트 페이지의 뉴스 편집을 분석한 결과 포털 뉴스에서 인쇄 신문보다 ‘인간적 흥미성’이 매우 자주 등장하는 뉴스 가치라는 결론을 얻은 바 있다. 이 연구는 인쇄 신문으로는 조선일보, 포털 사이트는 네이버를 선정하고 오후 7시를 기준으로 헤드라인을 표집해 분석한 것으로 10일 간의 제한된 분석이라 포털 뉴스의 전반적인 경향성을 파악하기에는 한계가 있었다.

미국의 탐사 보도 매체 Propublica에 따르면(Angwin, Larson, Mattu, and Kirchner, 2016), 전과자의 재범 확률을 예측하는 컴파스(COMPAS)라는 프로그램이 흑인과 백인에 대해 차별적인 판단을 내린다는 사실이 드러났다. 오요한(2018)에 따르면 재범 확률이 높은 것으로 예측됐지만 실제로 2년 동안 범죄를 저지르지 않은 비율이 흑인은 45%, 백인은 23%로 두 배 가까이 차이가 났다. 재범 확률이 낮은 것으로 예측됐지만 실제로 2년 동안 범죄를 저지른 경우가 백인은 48%로 흑인은 28%보다 훨씬 높게 나타났다. 통계적 추론에 근거한 예측이지만 실제로 흑인의 재범 가능성을 실제보다 높게 평가하고 있다는 비판에 직면했다.

알고리즘은 우리 생활 깊숙이 파고들어 우리의 행동을 규정하고 통제한다. Noble(2018)의 연구에서는 구글 이미지 검색과 번역 서비스에서도 남녀 차별이 존재하는 것으로 드러나기도 했다. 알고리즘으로 입사 서류를 평가하거나 신용 등급을 평가하는 시대가 됐지만 알고리즘이 편견을 조장하거나 차별을 방조하고 있을 가능성을 배제할 수 없다.

오세욱(2019)에 따르면 유튜브의 추천 알고리즘 역시 시청시간(watch time)에 가장 큰 비중을 두고 있다. 다양성 보다는 음모론적 영상에 더 많은 가치를 부여하고 결과적으로 필터버블을 조장하면서 여론을 왜곡하고 있다는 지적이다.

3. 이론적 배경.

A. 연구에 적용할 이론.

구본영(2012)은 인터넷 언론은 주류 미디어의 어젠다 세팅 기능을 잠식하는 데 그치지 않고 주류 미디어가 인터넷 언론이 제시하는 어젠다에 영향받지 않을 수 없게 함으로써 미디어로서의 영향력이 확대되는 추세라고 분석한 바 있다. 시간이 흐를수록 인쇄 신문의 독자 수가 줄어드는 등 기존 미디어의 의제설정능력 약화와 반비례해 포털의 언론성은 점점 커질 수밖에 없다는 분석이다.

문화배양 이론(Cultivation Theory)은 텔레비전이 중시청자 (heavy viewers)에게 미치는 강력하고 장기적인 영향력을 설명하는 이론이지만 포털 사이트에도 적용할 수 있다. 한국의 포털 이용자들 상당수가 안정적이고 반복적이고 깊숙하게 포털의 영향을 받고 있다고 볼 수 있다. 양혜승(2018)은 네이버의 범죄 뉴스 보도 비율에 대한 분석에서 배양이론이 원래 텔레비전을 대상으로 하고 있기는 하나, 왜곡된 뉴스미디어에 대한 장기간의 수용 또한 비현실적인 현실 인식으로 이어지리라는 점을 어렵지 않게 유추할 수 있다고 평가했다.

아젠다 셋팅 이론(Agenda Setting Theory) 관점에서 포털 사이트가 아젠다를 세팅하고 특정한 이슈를 누락하거나 부각함으로서 여론의 편향을 유도하는지 여부를 검증할 필요도 있다.

B. 연구 문제나 가설을 제시하게 된 배경이 되는 현상과 이론.

관련 연구로는 전준영(2018)이 구글의 개인화 검색이 정치적 편향을 가중시킨다는 분석 결과를 내놓은 바 있다. 이 연구에서는 두 대의 계정을 새로 개설해서 의도적으로 각각 진보적, 보수적 검색어를 검색하도록 하고 진보적 계정에서는 진보적 키워드가 들어있는 헤드라인을, 보수적 계정에서는 보수적 키워드가 들어있는 헤드라인을 클릭하도록 하는 방법으로 검색 결과의 차이를 비교 분석했다. 실제로 분석 결과 진보 계정에서는 보수 계정보다 진보적 링크의 비율이 높고 보수 계정에서는 진보 계정보다 보수 링크의 비율이 높은 것으로 나타났다. 이 연구는 구글 검색을 대상으로 진행했고 영문 키워드로 실험을 했기 때문에 한국적 상황에 적용하기에는 무리가 있다고 본다.

4. 연구 문제와 가설.

A. 논문에서 검증할 가설이나 밝히고자 하는 연구 문제.

이 연구에서 검증할 가설은 알고리즘 추천이 뉴스 소비의 편향을 부추길 수 있다는 것이다.

네이버와 다음 모두 현재까지 공개된 알고리즘 원칙을 보면 뉴스 소비를 극대화하고 체류 시간을 늘리는 방향으로 설계돼 있다. 이용자들의 관심을 추종하면서 시의성 있고 중요한 뉴스 또는 불편하고 복잡한 뉴스 보다는 흥미를 유발하거나 관련 이슈를 계속 제공해서 락인(lock in)을 유도하는 전략으로 자칫 필터 버블을 강화하고 에코 체임버에 가두고 있을 가능성을 검증하고자 한다.

뉴스가 선택되거나 발굴되는 것이 아니라 포털에 의해 주입되고 있을 가능성, 포털의 뉴스 편집이 편향돼 있거나 뉴스 소비의 편향성을 부추기고 있을 가능성을 검증하는 것이 이 연구의 목표다.

B. 세부적 연구 가설이나 구체적 연구 문제.

현재로서는 알고리즘을 테스트할 수 있는 최선의 접근은 직접 뉴스 소비를 하면서 뉴스 편집의 차이를 비교하는 것이다.

특히 정치적 사안의 경우 이용자의 정치적 성향과 반대되는 논조의 기사를 노출하기 보다는 분노 또는 공감을 불러일으키는 기사를 집중적으로 배치하면서 정보의 편식과 왜곡을 부추기는 것 아니냐는 우려를 실험으로 입증하는 것을 목표로 한다.

한편, 네이버와 다음의 가장 많이 본 뉴스가 실제로는 이용자들의 적극적인 선택에 의해서가 아니라 알고리즘의 추천에 의한 결과일 가능성이 있다. 알고리즘이 어떤 뉴스를 추천하느냐에 따라 가장 많이 본 뉴스가 결정되고 한국 사회의 이슈와 아젠다가 결정되고 있을 가능성을 실험으로 검증하는 것을 두 번째 목표로 한다.

첫째, 완전히 통제된 환경에서 뉴스 소비 패턴에 따라 뉴스 추천이 어떻게 달라지는지 비교 분석한다.

둘째, 뉴스 추천 결과와 “가장 많이 본 뉴스”의 결과를 교차 비교하면서 상관 관계를 입증한다.

5. 연구 방법

A. 연구에 적용할 방법들 (문헌, 직접 조사, 2차 자료 활용, 연구 방법 등)

가. 직접 조사 : 매뉴얼 분석.

완전히 포맷된 별도의 컴퓨터와 별도의 IP 주소를 부여하고 각각의 페르소나를 설정한 다음 미리 약속된 소비 패턴에 따라 뉴스를 선택해 스크롤하고 타임라인의 변화를 추적하면서 기록한다. 네 명의 코더를 각각 자유한국당 성향과 더불어민주당 성향, 남성과 여성, 50대와 30대 등으로 페르소나를 설정하고 철저하게 자신의 성향에 맞는 뉴스만 클릭해서 읽도록 한다.

나. 직접 조사 : 알고리즘 분석.

다수의 컴퓨터에 가상 머신을 설치해 실제로 뉴스를 읽는 것과 같은 효과를 만들어 내면서 뉴스 타임라인의 변화를 추적·기록한다.

다양한 뉴스를 램덤 방식으로 읽는 경우,
정치 기사만 읽는 경우,
여러 섹션의 톱 기사만 읽는 경우,
“가장 많이 읽은 기사”만 골라 읽는 경우,
뉴스를 오래 읽는 경우와 짧게 읽고 빠져 나가는 경우 등으로 구분해 알고리즘을 설정하고 뉴스 타임라인의 변화를 추적한다.

이 경우 가상 머신이 제목을 판별하거나 뉴스의 내용을 분석하는 데는 현실적으로 한계가 있기 때문에 기계적인 구분 이외의 내용 분석은 쉽지 않을 것으로 보인다. 다만 뉴스 이용 패턴의 변화가 실제로 뉴스 타임라인에 어떤 영향을 미치는지 확인할 수 있다.

네이버의 경우 모바일에서 언론사를 선택해 구독할 수 있는 기능을 제공하고 있다. 조선일보를 선택하는 이용자와 한겨레를 선택한 이용자가 각각 뉴스 메인 판에서 타임라인이 어떻게 달라지는지 비교하는 것도 가능하다.

다. 뉴스 추천의 어젠다 왜곡 분석.

이용자의 선택이 아니라 알고리즘의 추천이 뉴스의 확산 속도를 결정한다는 가설을 검증하기 위한 실험이다. 위의 ‘가’와 ‘나’의 실험에서 확보한 20가지 이상의 데이터 셋과 “가장 많이 본 뉴스”의 리스트를 비교하고 상관 관계와 비율을 산출한다.

두 가지 가설이 가능하다.

첫째, “가장 많이 본 뉴스” 리스트에 오른 기사는 알고리즘이 많이 추천한 기사일 가능성이 크다.

둘째, 알고리즘이 추천하지 않은 기사가 “가장 많이 본 뉴스”에 오를 가능성은 매우 낮거나 거의 없다.

최대한 많은 데이터를 확보하는 것이 결과를 산출하는 데 유리하기 때문에 ‘나’의 실험에서 다양한 조건의 가상 머신을 운용할 필요가 있다.

6. 연구 내용과 결과.

A. 예상되는 연구 내용/목차.

가. 보수적 뉴스 이용자와 진보적 뉴스 이용자의 뉴스 피드의 차이.
나. 적극적 뉴스 이용자와 소극적 뉴스 이용자의 뉴스 피드의 차이.
다. 능동적 뉴스 이용자와 수동적 뉴스 이용자의 뉴스 피드의 차이.
라. 가장 많이 본 뉴스와 알고리즘 추천의 상관 관계.

B. 예상되는 연구 결과.

개인화된 추천 결과를 제공한다는 게 포털의 설명이지만 알고리즘의 편향성 또는 획일성이 드러났다. 편향성은 뉴스 이용을 극대화하기 위한 목적으로 이용자의 취향에 맞는 뉴스를 계속 추천함으로서 필터 버블을 강화할 우려가 있고 획일성은 뉴스 풀(pool) 자체가 넓지 않아 특정 핫 이슈를 중심으로 뉴스가 집중되고 뉴스의 다양성을 제대로 반영하지 못한다는 비판에 직면할 수 있다.

이 연구에서는 알고리즘 뉴스 추천의 위험을 경고하고 알고리즘의 편향을 극복하기 위해 주기적으로 웹 브라우저의 캐시를 정리하거나 상반되는 논조의 언론사 뉴스 피드를 구독하는(네이버 뉴스 판 대신에 언론사 판을 선택하는 방안) 등의 대안을 제시할 수 있다.

C. 연구 결과가 갖는 의의.

네이버와 다음이 영업 기밀이라는 이유로 알고리즘의 구체적인 로직이나 뉴스 편집 데이터를 거의 공개하지 않는 상태에서 알고리즘 기법으로 알고리즘을 분석하고 뉴스의 편집의 편향과 왜곡 가능성을 검증하는 최초의 시도라는 데 의의가 있다.

향후 이 연구 결과를 토대로 알고리즘의 공정성에 대한 논의를 확대하고 알고리즘 감시에 대한 사회적 문제의식을 환기할 수 있을 것으로 기대된다.

D. 예상되는 어려움.

매뉴얼 분석에서는 실험 과정에서 엄격한 규칙 준수가 요구된다. 상당한 인건비가 소요될 것으로 보인다.

알고리즘 분석에서는 실제로 다양한 뉴스 소비 패턴을 어떻게 실제에 가깝게 구현하느냐가 관건이다. 한 공간에서 여러 대의 컴퓨터로 실험을 한다고 하더라도 IP 주소가 같으면 동일 이용자로 취급할 가능성도 있다. VPN(가상 사설망) 등으로 IP 주소를 우회하거나 별도의 장소에서 테스트를 진행해야 할 수도 있다. 이 경우 동일한 조건을 유지하는 게 관건이다.

각각의 환경에서 뉴스 타임라인의 변화를 추적하려면 동일한 시간에 뉴스 배열을 스크랩하고 데이터 베이스로 구축해야 할 텐데 역시 동일한 조건 확보가 관건이다.

7. 참고문헌.

신동희 (2014). 인터넷 포털의 저널리즘적 역할에 관한 고찰. 커뮤니케이션 이론, 10(1), 169-212
박승택, 성인재, 서상원, 황지수, 노지성, 김대원 (2017). 기계학습 기반의 뉴스 추천 서비스 구조와 그 효과에 대한 고찰. 사이버커뮤니케이션학보, 34(1), 5-48
Keunchan Park, Jisoo Lee, Jaeho Choi (2017). Deep Neural Networks for News Recommendations, CIKM’17, November 6-10, 2017, Singapore
Adam D. I. Kramer, Jamie E. Guillory, and Jeffrey T. Hancock (2014). Experimental evidence of massive-scale emotional contagion through social networks, PNAS June 17, 2014 111 (24) 8788-8790; first published June 2, 2014
김경희 (2008). 포털 뉴스의 의제설정과 뉴스가치. 한국언론학보, 52(3), 28-52
Aguinis, H., Culpepper, S.A., & Pierce, C.A. (2010). Revival of test bias research in pre employment testing. Journal of Applied Psychology, 95, 648-680.
오요한, 홍성욱 (2018). 인공지능 알고리즘은 사람을 차별하는가?. 과학기술학연구, 18(3), 153-215
Noble, S. U. (2018), Algorithms of Oppression: How search engines reinforce racism. New York: NYU Press.
오세욱 (2019). 알고리즘으로 본 유튜브의 미디어 지향. 관훈저널, 61(1), 11-17
구본영 (2012). 포털 뉴스의 언론성 논란과 법적윤리적 책임성 제고방안. 관훈저널 (124), 27-35
양혜승 (2018). 지역혐오와 포털뉴스. 지역과 커뮤니케이션, 22(2), 73-101
전준영, 황소윤, 윤영미 (2018). 개인화 알고리즘으로 필터 버블이 형성되는 과정에 대한 검증. 멀티미디어학회논문지, 21(3), 369-381

.

www.leejeonghwan.com
leejeonghwan.com audio
Voiced by Amazon Polly

Related Articles

Related

절벽에서 뛰어내리면서 비행기를 조립한다는 것.

절벽에서 뛰어내리면서 비행기를 조립한다는 것.

오늘 아침 주주총회를 끝으로 미디어오늘에서 제 역할은 끝났습니다. 오후에는 자유언론실천재단에서 “ChatGPT와 저널리즘의 책임”을 주제로 특강이 있는데 이게 제가 미디어오늘 대표로 나서는 마지막 대외 행사가 되겠네요. 끝나고 선배들 저녁 식사 대접을 하기로 했습니다. 다음 주부터 몇 가지 계획이 있는데요. 1. 4월부터 슬로우뉴스 대표를 맡기로 했습니다. 유한회사 슬로우뉴스를 주식회사로 전환하고 제가 100% 지분을 인수하기로 했습니다. 기자들도 뽑고 콘텐츠도...

라즈베리 파이 오디오 만들기.

라즈베리 파이 오디오 만들기.

시간 날 때마다 만들었던 라즈베리파이 오디오. 드디어 완성. 사실 별 거 없는데 여기저기서 부품 조달하고 거기에 맞춰 도면 만드는 게 힘들었습니다. build log는 영어로. This is my new network audio system. All in one Integrated Amplifier. 1. Raspberry Pi 4B. 2. Hifiberry DAC+DSP. 3. 7 inch touch screen for raspberry pi. 4. Chromecast...

미디어오늘을 떠납니다.

미디어오늘을 떠납니다.

미디어오늘에 경력 기자로 입사해 편집국장으로 3년, 사장으로 6년을 지냈습니다. 다행히 월급날을 한 번도 밀리지 않았고요. 열심히 벌어서 금융 부채를 모두 정리했고 만성적인 자본잠식에서 벗어났습니다. 언론사 경영이라는 게 날마다 전쟁 같았지만 한 번도 원칙과 정도를 벗어나지 않았다고 자신할 수 있습니다. 제가 지속가능한 미디어오늘을 위한 성장 엔진을 만드는 데 기여했다면 지난 15년이 헛되지 않았다고 생각할 수 있을 것 같습니다. 미디어오늘 지면에 대해서는 자부심과 아쉬움이...

더 나은 세상은 가능하다, 이정환닷컴!

Join

Subscribe For Updates.

이정환닷컴 뉴스레터를 구독하세요.

.

www.leejeonghwan.com