내 마음속 폭풍은 아직 아무것도 삼키지 못했다.

웹 2.0 시대를 맞이하여 서비스를 맘대로 프로그래밍할 수 있는 OPEN API가 등장하면서 플랫폼으로서의 웹은 점차 정형화되어가고 있는듯하다 서비스를 맘대로 사용할 수 있는 API가 공개되길 기다리고 공개되면, 그 기능을 사용해 매쉬업을 만든다. 이런 식의 일련의 작업들은 얼핏보면 웹 2.0이 우리에게 좀 더 많은 기회를 제공하는 듯하지만, 너무 한 곳에만 몰두하면 그 주변의 것은 보기 힘들기 마련이다.

"웹은 커다란 하나의 API이다."

굳이 누군가 OPEN API를 공개하지 않아도 이미 수많은 데이터들이 (X)HTML이라는 형태로 우리앞에 공개되어있다. 플랫폼으로서의 웹을 OPEN API로 한정짓다가는 눈앞에 있는 수많은 기회를 지나칠지 모른다. OPEN API의 주된 사용 방식인 REST처럼 우리는 브라우저의 URL만 가지고도 특정 사이트의 정보를 가져올 수 있다. 비록 그것들이 API와 같이 구체화된 형태는 아니더라도 말이다. API의 데이터 반환포맷이 XML이라면 다른 일반적인 사이트의 반환포맷은 HTML이라는 차이만 존재할 뿐이다. 이미 태초부터 웹을 선도하고 있는 사이트들, 즉 검색사이트들은 검색엔진을 이용해 웹이라는 거대한 API를 자유자재로 사용하고 있다. <TITLE>은 웹 페이지의 내용을 함축한 정보를 나타내는 HTML API 속성이고, <H1>은 페이지의 중요한 정보, <IMG>는 이미지 정보를 나타내는 API 속성이다. 이것이 전부가 아니다. HTML과 같은 정형화된 포맷에서 벗어나 좀 더 데이터마이닝을 해보자. 음악파일을 플레이하는 사이트들을 검색하여 그 음악 소스를 분석하는 검색 엔진은 그 자체만으로 웹을 음악 API로 만드는 힘을 가지고 있다. 유명한 IT기업들이 저마다 검색 엔진에 대한 기술력을 강화하고 미래의 핵심 경쟁력으로 보는 까닭은 아마 웹 전체를 API 처럼 사용할 수 있는 엄청난 잠재력 때문일 것이다.

웹 2.0과 더불어 표준에 대한 이슈가 불거지면서, 웹은 점점 API의 모습을 띄어가고 있다. HTML의 구조는 점점 정규화되고 있으며, 마이크로포맷을 통해 목적별로 구체화되어가고 있다. 그로 인해 남들과 다른 사고 방식과 시야를 가진 데이터 마이너들에게는 바야흐로 기회의 시대가 열리게 될 것이다. 나도 미래를 준비하기 위해 기본적인 웹 스크래핑 기술부터 공부하려 한다.