서버에 최대한 부하 없이 크롤링 하려면?

김제연   
   조회 2663   추천 1    

사이트 게시글 크롤링 할때 .. 매번 새로고침이나 

새로 요청 식으로 밖에 감지 할 수 없을까요?


지금 필요한건 아니고 궁금해서 질문드립니다.

2cpu 장터 알림 프로그램도 있는걸로 아는데 .. 2cpu 장터를

계속 refresh 하면서 알림이 오는건가요?

그러면 그런 프로그램들이 많아지면 트래픽도 무시 못할듯 한데(텍스트라 크진 않겠지만요)

이런 리프래쉬 이외에 rss 같은거 운영하지 않을때 .. 

최대한 부하를 안주면서 할 수 있는 방법 같은건 없을까요?


네이버 중고나라를 크롤링 해서 뭔가를 해볼까 하는데 꼭 저렇게 해야 하나 싶어서요 .. 
짧은글 일수록 신중하게.
이미 알고계신대로 HTTP특징인 비 연결성 때문에, 푸시기능이 없는한 폴링밖에 없을것 같습니다. 2cpu에서 글 등록시 노티를 전달해주면 효과적인 트리거가 될텐데 해줄리 만무하고 그래서 블럭 당하지 않을 주기로 계속 당길겁니다. 설마 당기는 쪽에서 합의해서 공통 API 같은걸 만들어서 서버 부하를 줄여줄리도 없으니까 ^^; 요령껏 일려나요....
화랑화랑 2019-11
장터 키워드 알림 프로그램도 있나요?

지름신 영접 프로그램이네요^^

공유 좀... 굽신굽신
     
김제연 2019-11
저도 안써봤습니다.. 다른분들 다 만들어서 쓰시는지 .. 기존에 올리셨었는지 ..
사용 하시는분들 계시던데요.
제온프로 2019-11
2cpu 장터 알림 프로그램 구합니다..
사용좀 해 보고 싶어요...
감사합니다...
로그인 하시면 댓글을 남길 수 있습니다


QnA
쓰기
제목Page 1065/5612
2015-12   1138003   1  백메가
2014-05   4589521   1 정은준1
2019-12   3890   1 이현길
2019-12   2475   1 베크만
2019-12   2041   1 catstyle
2019-12   2411   1 MidasCustom…
2019-12   4955   1 나라사랑
2019-12   2636   1 Christopher
2019-12   2890   1  김황중
2019-12   2130   1  이라달
2019-12   1712   1 이대희
2019-12   5395   1  천마건빵
2019-12   2635   1 imbook87
2019-12   2165   1 김제연
2019-12   3173   1 지안
2019-12   3549   1 NGC
2019-12   2334   1 나비z
2019-12   4306   1 수퍼싸이언
2019-12   2503   1 오준호5
2019-12   3063   1 푸이잉잉
2019-12   1815   1  blueMango
2019-12   1757   1 이희주
목록
쓰기