구글이 로봇 배제 프로토콜(REP, Robots Exclusion Protocol) 그러니까 robots.txt 파일을 만들어 검색 로봇을 차단/허용하는 방법을 인터넷 표준으로 만들기 위해 오픈소스로 전환합니다.
robots.txt 파일을 분석하는데 필요한 C++ 라이브러리를 공개했으며, 테스트 툴도 오픈소스 패키지에 포함시켰습니다.
참고/링크 | https://webmasters.googleblog.com/2019/07/repp-oss.html |
---|
구글이 로봇 배제 프로토콜(REP, Robots Exclusion Protocol) 그러니까 robots.txt 파일을 만들어 검색 로봇을 차단/허용하는 방법을 인터넷 표준으로 만들기 위해 오픈소스로 전환합니다.
robots.txt 파일을 분석하는데 필요한 C++ 라이브러리를 공개했으며, 테스트 툴도 오픈소스 패키지에 포함시켰습니다.