그냥 갑자기 든 생각인데,
제 서버 및 그에 포함된 내용 중 일부를 검색엔진에 검색하였을 때 결과가 안나오네요. 물론 제 서버에서 운영하는 커뮤니티는 지극히 개인적인 용도인 만큼 그닥 알려져서 좋은 내용은 아니라 오히려 안 뜨는게 좋은 케이스긴 합니다.
근데 호기심이 들죠. 인지도가 바닥이다시피 한 일부 개인 위키나 커뮤니티 사이트가 검색엔진에 올라오고 조회수가 누적되는 경우를 많이 볼 수 있습니다. 굳이 어떤 사이트인지 말할 이유는 없겠지만 꽤 다양하던데, 인터넷 이슈를 모아둠으로써 조회수의 상승을 목적으로 한 많은 사이트들이 있고 중 일부는 애드센스 광고가 달려있죠. 안그런데도 있구요.
한편, 검색해도 안뜨는 사이트들도 많습니다. 링크를 공유해야만 들어갈 수 있는 사이트는 다른 사이트나 커뮤니티 혹은 SNS를 통해 링크가 공유되어 들어가지더라구요. 연구 목적의 사이트 등 자료의 기밀여부가 중요한 곳이 이런 방향을 택하고, 공개적으로 알려진 사이트라면 야동이나 복돌사이트라던지 좀 안좋은 사이트들이 이쪽 부류에 해당하는 듯 싶습니다. 이런걸 전부 다 통틀어서 딥웹이라고 부른다고 하네요.
검색엔진을 통해 공유되는 소규모 개인 사이트는 서버의 규모가 절대 크다고 할 수 없을테고 집에서 코딱지만한 나스로 돌리는 사이트들도 있을텐데, 이런게 검색엔진에 올라오고 다수에게 공개되는 기준이 무엇인가요?
한편, 본인의 사이트에서 접근권한 설정을 올바르게 하고 보안을 위해 폴더명을 바꾼다면, 일반인들이 이를 찾아낼 가능성과 해커가 침입하여 자료를 둘러볼 가능성은 얼마나 될라나요. 뭐 그냥 낙서장인 만큼 누가 빼돌린다고 문제가 발생할 자료는 아니지만, 그래도 누군가가 허가 없이 접근한다는 사실이 긍정적인 경험은 아닐껍니다.
검색엔진에 올라오려면 저렇게 등록을 해야 합니다. 구글만 예시로 들었는데 네이버나 다음 모두 마찬가지. 하지만 네이버는 지들 서비스 우선으로 보여주고 검색엔진이라 부르기도 민망하니 굳이 링크는 안 달겠습니다.
똑같은 내용이어도 어떤 사이트를 먼저 보여주고 어떤 사이트를 나중에 보여주는지는 검색 엔진 맘대로입니다. 검색 엔진마다 다르긴 하지만 해당 사이트가 신뢰할만한 곳인지 아닌지 등급을 메겨서 바꿔가며 관리합니다.
비슷한 사례로 저품질 블로그 같은 게 있습니다. https://namu.wiki/w/%EB%B8%94%EB%A1%9C%EA%B7%B8%20%EC%A0%80%ED%92%88%EC%A7%88
본인의 사이트에서 접근권한 설정을 올바르게 하고 보안을 위해 폴더명을 바꾼다면, 일반인들이 이를 찾아낼 가능성과 해커가 침입하여 자료를 둘러볼 가능성은 얼마나 될라나요.
robot.txt 같은 거 설정하면 검색엔진 크롤러는 막습니다. https://searchadvisor.naver.com/guide/seo-basic-robots
그리고 접근 권한을 제대로 하면 일반인들은 절대로 못 보죠. 당장 소유주조차도 접근하려면 로그인 같은 인증 절차가 필요할텐데요.
해커의 경우 요새는 포트가 열려있다 싶으면 무작정 쑤시고 보겠지만, 상당수는 막히겠죠