측정의 진실성이 오늘날 그 어느 때보다 중요해졌습니다. 따라서 진실은 우리의 유일한 의제입니다. 그러나 그 진실에 도달하는 것이 그 어느 때보다 복잡해졌습니다. 많은 사람들이 빅데이터를 디지털이 풍부한 세상에서 측정의 만병통치약으로 생각하지만, 우리는 그것이 그렇게 간단하지 않다는 것을 알고 있습니다.

닐슨의 패널은 수십 년 동안 개인 수준 측정의 기반이 되어 왔으며, 오늘날에도 여전히 그 역할을 하고 있습니다. 그러나 빅 데이터의 성장은 가치 있는 정보의 원천으로서 무시할 수 없습니다. 하지만 빅데이터만으로는 대표성을 가진 측정에 적합하지 않습니다. TV에서 채널을 바꾸는 경우를 생각해 보세요. 그 변경은 빅데이터의 일부가 되지만 누가 변경했는지, 누가 그 변경을 목격했는지에 대한 기록은 없습니다.

측정 관점에서 빅데이터의 단점을 강조하기 위해 올해 초 미국에서 셋톱박스 데이터와 닐슨 패널 데이터로 보정된 셋톱박스 데이터를 비교하는 분석을 실시했습니다. 분석 결과, 보정되지 않은 데이터는 본질적으로 편향되어 있으며 소수 시청자를 과소 대표한다는 사실이 밝혀졌습니다.

그렇다고 해서 빅 데이터의 가치가 없다는 것은 아닙니다. 정반대입니다. 하지만 기본적인 진실에 기반을 두어야 합니다. 이것이 바로 패널과 인공지능(AI)의 역할입니다. 사람 단위 측정의 핵심인 패널 데이터는 빅 데이터 학습을 위한 완벽한 진실 집합입니다.

AI를 적용하여 품질과 대표성을 유지하면서 측정 역량을 획기적으로 확대하기 위해 빅데이터를 활용하고 있습니다. 오늘날 AI는 측정 방법론에서 필수적인 요소입니다. 예를 들어, 현지 TV 시장에 대한 향상된 측정 역량을 개발하는 데 중추적인 역할을 했는데, 이는 빅데이터(TV 세트의 반품 경로 데이터 {RPD})와 완전히 대표성을 갖는 시장 내 패널 데이터를 결합한 것입니다.

RPD를 로컬 측정에 통합하기 위해 노력하는 과정에서 AI의 네 가지 주요 용도를 확인했습니다.

데이터 패턴 인식

RPD를 측정에 통합하는 방법을 연구하는 과정에서 "일반 가정 분석"이라고 부르는 분석을 통해 RPD와 관련된 한계를 파악했습니다. 현재도 계속되고 있는 이러한 분석에서는 닐슨 미터의 튜닝 데이터와 RPD 튜닝 데이터를 비교합니다. 이러한 분석은 매달 5,000개 이상의 가정(12,000대의 TV)을 대상으로 진행되며, RPD가 일부 튜닝을 놓치는 것을 발견했습니다.

이러한 단점을 해결하기 위해 저희는 분류기를 사용하여 RPD 홈에서 누락된 튜닝과 관련된 패턴을 인식하는 특허 출원 중인 기술을 개발했습니다. 이후 AI 알고리즘이 이러한 홈을 측정에 사용하지 않도록 제거합니다.

셋톱박스가 켜져 있고 TV 세트가 꺼져 있는 시간 파악하기

닐슨의 일반적인 홈 분석은 한 달에 7700만 분 이상의 시청 시간을 분석하여 강력한 인사이트를 제공합니다. 하지만 이러한 튜닝이 항상 정확한 것은 아닙니다. 예를 들어, 사람들이 TV를 끌 때 항상 셋톱박스를 끄는 것은 아닙니다. RPD는 이러한 상황을 아무도 시청하지 않는데도 TV를 시청하는 것으로 표시합니다.

딥러닝 분류기를 사용하여 TV가 꺼져 있는데 셋톱박스가 켜져 있는 상황을 식별함으로써 이러한 한계를 극복할 수 있습니다. 그런 다음 알고리즘이 RPD에서 잘못된 튜닝을 제거합니다.

RPD에서 가구 특성 및 인구 통계 정보 파악하기

RPD는 이름과 얼굴이 없으며 인구통계학적 정보를 제공할 수 없습니다. 인구통계학적 정보는 인구의 모든 세그먼트를 정확하게 표현하는 데 매우 중요합니다. 또한 정확한 측정은 가구뿐만 아니라 사람을 측정할 수 있어야 한다는 것을 의미합니다.

따라서 RPD 가정 내의 강력한 정보를 활용하기 위해 45,000개 이상의 닐슨 계량 가정과 타사에서 할당된 특성 및 인구 통계에서 알려진 특성, 인구 통계 및 튜닝 정보로 RPD를 보정합니다. 그런 다음 이러한 입력을 특허 출원 중인 순환 신경망과 혼합 정수 프로그래밍 기법에 추가하여 RPD 가정의 특성과 인구 통계를 정확하게 식별합니다. 이 AI 알고리즘을 통해 개인과 가구의 인구통계학적 특성을 정확하게 보고할 수 있습니다. 

셋톱박스 룸 위치 결정하기

닐슨 패널 정보는 시청자 정보와 시청 위치를 제공합니다. RPD는 이 두 가지 정보를 제공하지 않습니다. 그러나 AI를 통해 RPD로부터 해당 정보를 얻을 수 있습니다. 과학적으로 입증된 방법론을 사용하여 어떤 가구 구성원이 시청하고 있는지, 가정 내에서 시청이 발생하는 위치를 파악합니다.

연구에 따르면 방 위치는 어떤 가구 구성원이 시청 시청자층에 속해 있는지를 예측하는 주요 지표 중 하나입니다. 따라서 우리는 분류기를 사용하여 RPD 가정에서 튜닝이 이루어지는 셋톱박스의 방 위치를 식별합니다. 이렇게 하면 시청자 할당 프로세스에서 이 변수를 사용할 수 있습니다.

오늘날 수많은 정보가 쏟아져 나오면서 빅데이터를 색안경을 끼고 바라보고 싶은 유혹에 빠지기 쉽습니다. 하지만 사람과 연결되지 않은 빅데이터는 정확성이 떨어집니다. 우리는 빅데이터의 편향성을 해결할 수 있는 강력한 방법으로 AI를 발견했고, 고객에게 혁신을 제공할 수 있게 되어 기쁩니다. 이러한 혁신은 빅데이터 소스가 제공하는 풍부한 정보와 대표성과 정확성을 갖춘 데이터를 기반으로 계획, 활성화 및 측정할 수 있도록 하는 진실 집합의 이점을 모두 누릴 수 있습니다.

이 글은 Medium에 처음 게재되었습니다.