속도가 느린 미사일로 최신의 2배 빠른 미사일을 격추시킬 수 있을까? 어려운 물리 시험 문제이거나 고승의 화두처럼 보인다. 비전문가적인 견해만으로 이론적으로 가능한 시나리오를 만들 수도 있지만 실전에서는 그리 가능해 보이지 않는다. 빠른 미사일의 탄도를 예측하고 느린 속도를 감안해서 미리 가서 기다린다면 가능할 법도 하다. 그러나 최신의 미사일도 인공위성과 각종 센서기능으로 지능적인 비행을 한다면 요격은 불가할 것이다. 빠른 미사일은 당연히 속도만 빨라서는 안된다. 목표를 성공적으로 달성하기 위해서는 순간적으로 더 많은 데이터를 상대적으로 짧은 시간에 처리해야 한다. 창과 방패의 모순은 대결 구도를 만들고 서로를 부수면서 지속적으로 발전해 가고 있다.

1980년대의 오락실은 공룡 시대의 오락기기들로 가득 차있었다. 일방적으로 프로그래밍 된 조이스틱과 버튼 하나만으로 소통하는 게임에 어린이들이 열광했다. 그리고 얼마 지나지 않아 두 명이 동시에 플레이하면서 버튼이 여러 개 달린 게임이 등장했다. 지금은 인터넷으로 연결된 게임에 불특정 다수가 동시에 게임을 진행한다. 게임을 잘하기 위해서는 단순한 숙련된 반복이 아니라 고도의 전략과 협업이 필요하게 됐다. 게임 아이템을 사고 팔기도 하며 기만 전술을 동원하기도 한다. 게임속에서는 여러 사람들의 생각들이 데이터로 실시간적으로 반영되고 스스로 학습하는 인공지능이 동시에 작동한다. 이 또한 주고 받는 데이터의 양이 다자간 양방향으로 방대해진 경우이다(그림 1).

간단한 트랜지스터의 출현 이후 100년도 되지 않아서 모든 기기는 기계와 전자부품이 결합된 모습으로 변화했다. 이중 전자부품은 여러가지 모습으로 데이터를 만들어내고 있다. 과거에는 이러한 데이터는 자연발생 데이터로 간주해서 저장도 하지 않았고 어디에 사용해야 하는지에 대한 고민도 하지 않았다. 물론 지금도 발생되고 있는 모든 데이터를 유효한 데이터로 인지하고 나중에 쓰려고 저장까지 하고 있지는 않다.

그러나 세상에 의미 없는 데이터는 없다고 본다. 따라서 사소한 의미라도 부여할 수만 있다면 적어도 모니터링하고 관리하는 대상이 될 수 있으며 저장은 하지 않더라도 실시간으로 분석의 대상으로 볼 가치는 있을 것이다. 이러한 생각은 물론 컴퓨팅의 기술과 경제성이 뒷받침되기 때문에 가능해진 것이다. 지금까지 만들어진 트랜지스터의 개수는 인류가 지금까지 수확한 쌀알의 개수보다도 많다고 한다. 그리고 사용되는 데이터는 아주 일부일 뿐이다. 

전세계적으로 데이터의 총량은 요타바이트(1000조 GB)와 브론토바이트(100경 GB)로 표시되는 어마어마한 양이 될 것으로 예측되고 있다. 단위가 생소하겠지만 개인들이 만들어내는 데이터를 예로 들어보자. 32GB 메모리의 스마트폰이 사진과 각종 데이터로 소진되는데 2년이면 충분하다. 그러한 개인들이 별도의 개인용 컴퓨터에서 동일한 용량의 저장공간을 더 빠른 속도로 소진하고 있다.

또한 주기적으로 실시하는 종합 검진 결과는 검사하는 과정에서 엄청난 양의 중간 데이터를 생성한다. 일상 생활 속에서 SNS, 전자메일 등으로 주고 받는 데이터 또한 엄청나다. 사회생활, 학교, 직장 등에서 알게 모르게 상당한 양의 데이터를 만들어내고 있으며, 어딘가에 저장되고 있다. 이러한 데이터들의 모음을 데이터 호수라고 부르는 경우도 있다. 이러한 데이터를 좋은 곳에 이용한다면 빅데이터를 이용한 범죄 예방, 더 정교한 신용 평점 모형의 완성, 유행병의 확산 예상 경로, 개인적인 질병의 예방 등 산업과 일상 생활 전반에 걸친 혁신적인 변화가 가능해진다(그림 2). 

프로그램을 처음 배울 때 반복적인 작업을 처리하는 방법을 배운다. 데이터가 자동으로 생성되는 것을 처음으로 경험하는 순간이다. 현재는 머신러닝과 인공지능 시대이고 알고리즘과 기초데이터를 바탕으로 무한대의 데이터를 인식조차도 할 수 없는 짧은 시간에 양산해 내는 지경에 이르렀다. 데이터가 너무 많다 보니 데이터가 무엇을 의미하는지 알 수 없어서 데이터의 데이터라고 할 수 있는 메타데이터까지 등장하고 있고, 심지어는 메타데이터만 존재하는 경우 그 자체를 분석의 대상으로 삼기도 한다.

현재는 과거와 같이 프로그램 언어를 배울 필요는 없어졌다. 모든 IT의 필요한 기능은 클라우드에서 가져다 쓰면 되는 서비스 방식으로 변화돼 IT를 잘 모르는 사람들도 적극적인 데이터의 생산자가 됐다. 스마트폰의 확산으로 모든 개인의 손에 전화기와 카메라가 들려진 것과 마찬가지로 과거의 컴맹들도 데이터를 소모하고 생산하는 보편적 생활의 수준이 향상됐다. 스마트폰이나 IT인프라도 빌려 쓸 수 있는 세상이니 온통 데이터와 서비스의 세상이라고 봐도 되겠다. 

IT를 통해 세상은 연결됐다. 네트워크를 통해 서버들끼리의 연결이 가능해졌으며 무선 통신망과 스마트폰의 기여로 모든 사람들이 연결되는 세상이다. 지금은 사람과 사물 또는 사물과 사물 등 모든 객체들이 연결이 되고 원격으로 관리되는 초연결의 세상으로 변화하는 과정으로 볼 수 있겠다. 수 년 전 모든 사람은 6단계만 거치면 연결된다는 이론이 세간에 회자됐지만 지금은 3단계 이내로 줄어들었다고 해도 과언이 아닐 것이다. 소통의 네트워크는 최대한으로 확대됐으며 통신 속도는 2배 이상 빨라졌다. 유출된 개인정보는 불특정 다수에게 순식간에 퍼질 것이고, 이미 퍼진 자료는 되돌리기 어렵다(그림 3). 

데이터를 잉태하고 출산하는데 더 이상 사람의 손이 관여하지 않고 컴퓨터와 프로그램만으로도 가능한 세상이 도래했다. 지구와 화성의 하루는 시간상으로 틀림없이 다르다. 마찬가지로 데이터의 하루의 길이는 인간의 하루보다 상대적으로나 절대적으로나 순간으로 측정될 것이지만 데이터의 수명은 인간의 수명보다 길 수 밖에 없다. 우리 시대에 만들어 지는 데이터들은 다음 시대에 빅데이터의 원천으로 사용될 것이다. 미래의 데이터는 더욱 빠른 속도로 생성되고 변화할 것이다. 미래의 조상으로서 현재를 사는 우리들이 후손들에게 유용한 데이터를 물려주어야 하는 약간의 의무감이 드는 대목이다.