본문 바로가기
최신IT 정보

구글, AI 시대에 맞춰 블로그 및 콘텐츠 크롤링을 제어하는 robots.txt 보완하는 논의 필요 발표

by cool21th 2023. 7. 11.
728x90

요즘 많은 사람들이 블로그를 운영하고 있습니다. 네이버, 다음, 구글 등의 다양한 포털에 블로그가 검색되게 하기 위해서는 robots.txt 파일에서 Allow 가 되어 있어야 합니다.

728x90

Google I/O에서는 수년간의 연구를 바탕으로 한 새로운 AI 기반 제품과 실험을 발표해 왔습니다. AI 시대가 도래하면서 데이터에 대한 관리가 중요성이 두드러지게 대두되었습니다.

윤리적인 부분과 데이터의 신뢰성 그리고 중복 데이터의 관리등이 해당합니다. 이에 Google은 자사 AI 원칙에 따라 고객 개인정보 보호를 지키면서 사회에 긍정적인 효과를 극대화 함과 동시에 다양한 과제를 해결하기 위한 책임감과 노력도 발표했습니다.

 

Google은 적극적인 콘텐츠 생태계를 키움으로써 모두가 혜택을 볼 수 있는 사회가 된다고 믿고 있습니다. 모두가 혜택을 보는 그 핵심은 생산자와 소비자의 관점으로 볼 수 있습니다. 정보 생산자인 웹 퍼블리셔가 콘텐츠에 대한 선택권과 통제권을 갖고, 웹 생태계에 참여함으로써 가치를 창출할 수 있는 기회를 갖는 것입니다.

 

그러나 기존의 크롤링을 제어하는 기능은 지금 연구되는 AI 모델과 사용 사례보다도 먼저 개발되고 사용되었습니다. 언제나 그랬듯이, 새로운 시대가 도래하면 새로운 기술을 발전시킬 수 있는 기회가 생깁니다. 웹 커뮤니티 또한 향후 미래 발전을 위해 새로운 표준과 프로토콜을 적용시킬 수 있는 기회를 갖게 되었습니다.

크롤링을 제어하기 위해 개발한 웹 표준 중 하나인robots.txt는 만들어진 지 약 30년이 되었습니다. 검색 엔진이 콘텐츠를 크롤링하는 방식을 정보 생산자가 간단하고 쉽게 제어할 수 있는 방법으로 표준이 된 기술입니다.

 

이제는 AI 시대에 맞춰 웹도 표준을 바꿔야 할 시기가 되었습니다. 새로운 AI 및 연구에 사용하기 위해 정보 생산자가 정보의 주체가 되어 제어할 수 있는 수단을 적용해야 할 때 가 된 것입니다.

반응형

Google에서는 웹 및 AI 커뮤니티의 구성원을 초대하여 상호 보완적인 프로토콜에 대한 접근 방식에 대해 의견을 나누는 공개 토론을 시작하기로 발표하였습니다. 전 세계 웹 퍼블리셔, 시민 사회, 학계 등 다양한 분야의 폭넓은 의견이 토론에 참여하기를 바라며, 앞으로 몇 달에 걸쳐 참여에 관심 있는 분들을 모집할 예정입니다.

 

해당 토론에 참여하기 위해 웹 및 AI 커뮤니티의 토론에 참여하시려면 웹사이트에서 가입하고, 추후 정보 공유는 계속할 예정입니다. 미래 웹 표준에 관심이 있으신 분들에게 좋은 기회가 될 것이라 생각됩니다.

사이트 주소는 아래와 같습니다.

https://blog.google/technology/ai/ai-web-publisher-controls-sign-up/

 

A principled approach to evolving choice and control for web content

We’re kicking off a public discussion across the web and AI communities to develop new machine-readable means to provide web publisher choice and control.

blog.google

 

반응형