인터넷 / 소프트웨어 : 윈도우즈, 리눅스, 기타 운영체제, 각종 어플리케이션, 프로그램, 소프트웨어, 인터넷, 인터넷 서비스에 대한 이야기, 소식, 테스트, 정보를 올리는 게시판입니다.

질문

2020.01.03 13:49

웹 크롤링의 한계가 어디까지인가요?

다죽어간 NX는 내손에 살아가!

조회 수 1528 댓글 6

요새 한 온라인게임의 계산기를 만들고 있습니다 'ㅅ'.

제작 컨텐츠가 있는 게임이라 여러가지 재료를 가지고 아이템을 만들어내는 컨텐츠가 있고, 이 재료의 갯수를 신속하게 알려주는 계산기를 만들려고 하는데, 데이터를 어디서부터 끌어와야 할지 감이 안오더라구요.

다행인건 미국쪽 공식 홈페이지가 친절하게 되어있어서 이쪽에서 정보를 긁어오려고 생각중인데, 마우스를 올리면 나타나는 팝업창에서 그 레시피가 보입니다.

이정도까지 유저가 조작해야하는 웹사이트에서도 크롤링을 진행할 수 있나요?

제가 정보를 얻어오려고 하는곳은 이곳입니다

https://na.finalfantasyxiv.com/lodestone/playguide/db/recipe/?category2=0

삭제 요청

Prev SD카드에 인위적으로 $RECYCLE.bin 폴더를 생성해줄 수 있나요? SD카드에 인위적으로 $RECYCLE.bin 폴더를 생성해줄 수 있나요? 2020.01.05by 노예MS호 웹사이트 만드는 방법? Next 웹사이트 만드는 방법? 2020.01.02by 라데온HD6950

목록 스크랩

위로 아래로 댓글로 가기

Comments '6'

화수분 2020.01.03 14:06

마우스를 올리는 동작도 웹 코드 어딘가에 표현이 되어 있으니 그 명령어를 주기만 하면 받아옵니다. selenium은 별별옵션 다 있어서 키보드나 마우스 동작도 가능해요. 다만 이러면 살짝 어긋나면 동작 안하니 대부분 키보드 정도에 명령어로 짜는 편이에요.
정리하면 사람이 할 수 있는 행동(웹 개발자가 구현해놓은 기능들)은 전부 크롤링 가능합니다.
멘탈적분 다죽어간 NX는 내손에 살아가! 2020.01.03 14:14

정말 요샌 크롤링에 한계가 없나보네요 별별옵션이 다있군요;;
화수분 2020.01.03 14:20

크롤링은 어느정도 파이썬만 아시면 기본 틀은 짜여져 있으니 금방 만드실 수 있을거에요.
?
PHYloteer 🤔 2020.01.03 15:14

크롤링의 한계는 웹사이트 구조가 바뀌면 짜둔 파서가 터진다는 점입니다. (....)
빨간까마귀 저는 1주에 7일만 쉬고 싶습니다! 그게 딱 적당해 보여요! 2020.01.03 22:19

어디까지 될까..
생각해보니 그냥 리퀘스트패킷날라가는거 캐치해서 똑같이 리퀘스트 날리면 리스폰스로 오는 데이터 읽어서 해도 될거 같은데..
그러면 디자인이나 레이아웃 바뀌는것에 대해선 무관하니 ㅎㅎ
애옹 뿅! 2020.01.04 05:16

파판14 서버 상태 확인 봇도 저런거 긁어서 씁니다
적절한 자바스크립트 활용은 크롤링을 쉽게 해주죠

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.

No Image

이더리움 클래식, 1월 12일에 하드 포크

이더리움 클래식의 하드 포크, Agharta가 1월 12일 밤 쯤에 이루어질 것 같습니다. 이더리움과의 호환성을 유지하기 위한 프로토콜 업데이트 위주입니다. Geth Classic 노드 소프트웨어는은 이번 하드 포크까지만 지원하며 앞으로는 Multi...

Date2020.01.08 소식 By낄낄 Reply0 Views521

Read More
No Image

와이파이 호환성 문제일까요?

IPTV 셋톱박스가 라우터에 와이파이로 연결이 안됩니다 연결 시도시 비밀번호가 틀렸다면서 안되는데 유선으로 연결하거나 라우터에 AP를 연결 한 다음 그 AP에 연결하면 또 되요 이러면 거의 빼박 와이파이 호환성 이슈겠죠?? 이...

Date2020.01.08 질문 By착한생각 Reply10 Views760

Read More
No Image

해결)윈도우10 원격데스크탑 MS계정 사용시 유저네임 확인방법 질의

윈도우10 사용자 입니다 윈도우 로컬계정을 사용하지 않고 MS의 email 계정을 사용중 입니다 MS의 email 계정이 아래와 같다고 했을 때 userName@email.com 원격데스크톱 연결 할 때 사용되는 계정이 userName으로 해도 로그인이 되지...

Date2020.01.08 질문 By빨간까마귀 Reply15 Views6985

Read More
No Image

비트메인, 직원 1/3을 구조 조정

세계 최대의 가상화폐 채굴 장비 회사인 비트메인이 직원의 1/3을 구조 조정한다고 밝혔습니다. 2020년 5월의 비트코인 반감기를 앞두고 사업의 불확실성이 높아지고 있습니다. 우지한 CEO는 반감기 이후 비트코인의 가격이 더 이상 오르...

Date2020.01.08 소식 By낄낄 Reply1 Views596

Read More
비트코인 해시율, 사상 최고치 달성

비트코인의 채굴 해시율이 1월 5일 기준으로 117.1573EH/s를 달성해 역대 최고치에 올랐습니다. 해시율은 1초 동안 연산하는 속도를 나타내는 숫자입니다. 해시율이 오르면 네트워크 보안 수준이 오르지만 너무 많이 오르면 채굴에 더 많...

Date2020.01.08 소식 By낄낄 Reply3 Views754

Read More
파이썬 2 시리즈, 올해 4월에 은퇴

파이썬 소프트웨어 재단은 파이썬 2 시리즈가 올해 4월에 은퇴한다고 밝혔습니다. 앞으로는 파이썬 3으을 쓰라네요. 파이썬 2는 2000년 10월에 출시됐고, 8년 후에는 다음 세대인 파이썬 3가 나왔으나 파이썬 2와 호환성 문가 있어 마이그...

Date2020.01.08 소식 By낄낄 Reply1 Views703

Read More
No Image

M$ Office 구독은 한곳에서만 합시다

사건의 개요 1. 구글 플레이 Office 365 퍼스널 체험판으로 구독됨 2. 온라인 스토어에서 Office 365 Home 1년치 구매 3. 등록시도 4. 안되잖아?? 그래서 상담사를 통해서 대화를 진행했습니다. 1. M$ 상담사 (채팅) - 구글에 문의해보...

Date2020.01.07 일반 By애옹 Reply6 Views1332

Read More
펑크버스터 설치 오류 해결이 안됩니다.

오류 코드를 해외 포럼에 검색을 해서 윈도우 시스템 파일 내에 있는 펑크 버스터 파일들을 삭제 후 재설치도 해보았지만 계속 똑같은 오류로 설치가 안되고 있습니다. 오류내용을 보면 AppData 폴더에 펑크버스터 'dll' 파일이 설치가...

Date2020.01.05 질문 By먀먀먀 Reply4 Views524

Read More
No Image

인터넷 2회선 사용가능하나요?

지난달에 엘지유플러스 케이티에서 약정만료으로 엘지으로 인터넷 결합 신청하여 설치 사용중인데요 현재는 주소 2군데 엘지유플 인터넷 2회선 사용하여 가족참쉬운결합상품 사용하고 있습니다 . 제가 따로 분가해서 살고 있습니다. 그런...

Date2020.01.05 질문 By에드힐스 Reply6 Views3090

Read More
No Image

SD카드에 인위적으로 $RECYCLE.bin 폴더를 생성해줄 수 있나요?

제가 2년전에 구매한 128GB SD카드가 있습니다. 서피스 프로에 장착해서 잘 쓰고 있는데 이전 기기에서 이 SD카드에 저장된 파일에 대해 삭제를 실행하면 휴지통으로 보내겠냐는 물음 없이 바로 완전히 삭제하겠냐는 대화창을 ...

Date2020.01.05 질문 By노예MS호 Reply2 Views1453

Read More
No Image

웹 크롤링의 한계가 어디까지인가요?

요새 한 온라인게임의 계산기를 만들고 있습니다 'ㅅ'. 제작 컨텐츠가 있는 게임이라 여러가지 재료를 가지고 아이템을 만들어내는 컨텐츠가 있고, 이 재료의 갯수를 신속하게 알려주는 계산기를 만들려고 하는데, 데이터를 어디서부터...

Date2020.01.03 질문 By멘탈적분 Reply6 Views1528

Read More
No Image

웹사이트 만드는 방법?

웹사이트(예를 들어 여기) 같은 곳을 만들려면 일단 도메인을 구입하고 서버를 써서 연결(?)하고 꾸미면 되는 건가요? 갑자기 궁금해서요

Date2020.01.02 질문 By라데온HD6950 Reply20 Views940

Read More
ProtonMail의 암호화된 캘린더 서비스

암호화된 메일 서비스를 제공하는 ProtonMail에서 암호화된 캘린더 서비스인 ProtonCalendar의 베타 테스트를 시작했습니다. 서버에 데이터를 보내기 전, 디바이스 단계에서 데이터를 암호화해 전송하는 엔드 투 엔드 방식을 사용합니다.

Date2020.01.02 소식 By낄낄 Reply0 Views680

Read More
No Image

통신사 공유기 없이 사제공유기으로는 제속도 안나오는군요

사제공유기 티피링크 아쳐 ax50 와이파이6 가지고 있는데 엘지유플러스 기가슬림500메가 사용하고있습니다. 통신사 공유기는디보링크 GAPD-7300 기가 와아파이공유기입니다. 최신모델이죠 혹시나 해서 통신사공유기 제거하고 사제...

Date2020.01.02 일반 By에드힐스 Reply6 Views7725

Read More
No Image

마이크로소프트, 북한의 사이버 공격 그룹의 도메인 50개 차단

마이크로소프트는 북한과 관련이 있는 것으로 추측되는 사이버 공격 그룹인 Thallium이 사용하는 도메인 50개를 차단하는 권한을 버지니아 동부 지역 지방 법원에게 받았다고 밝혔습니다. Thallium은 웹사이트, 도메인, 인터넷에 연결된 ...

Date2020.01.01 소식 By낄낄 Reply1 Views1020

Read More