클리앙의 글을 디스크에 백업하기

[아스팔트정글]

카프리썬 (클리앙)

 2024-03-29 17:36:06 수정일 : 2024-03-29 17:38:29 

안녕하세요. 매번 눈팅만 하던 유저입니다.

많은 분들이 사이트를 떠나면서 글을 삭제하고 계십니다. 스크랩 해두었던 좋은 게시물들이 사라지는게 안타까워 짧은 시간을 내서 잉여로운 프로그램을 하나 만들었습니다.

특정 URL 또는 URL 목록을 전달하면 해당 게시물의 카테고리, 제목,내용을 로컬 디스크에 크롤링 하는 커맨드 라인 도구입니다. JSON형식으로 저장하며 해당 게시물의 이미지도 차곡차곡 다운로드 받아 로컬 디스크에 저장합니다.

저장된 게시물은 사람이 알아보기는 다소 힘든 형태이지만, 추후에 플러그인을 통해 레딧이나 다른 사이트에 업로드하는 기능을 추가할 예정이며 이를 통해 손쉽게(?) 다른 사이트로 게시물을 이전할 수 있을 것이라 기대하고 있습니다.

아직 제대로 테스트도 안된 물건이오니 가벼운 마음으로 사용해보시고 github에 PR 남겨주시면 감사하겠습니다.

<<< 링크는 아래 있습니다. 클리앙 게시판에서 하이퍼링크를 이상하게 변환하네요.. >>> 

출처 :https://github.com/wokim/clien-archiver

[아스팔트정글]

댓글 중---

고은재
clien-archiver archive --urls urls.csv

urls.csv 파일 형식이 어떻게 되나요..? 한줄에 url1, url2, url3, 로 저장하면 되는 것인가요?
사실 그냥 line by line으로 (\n으로 구별된) 텍스트 파일을 지원해주실 수 있나요.. 프로그램으로 출력할때는 상관없지만, 일반적인 텍스트 편집기를 사용하는 경우 한줄이 길게 있으면 사용하기에 불편함이 있어서요..

제 툴 살짝 수정해서 urls.csv 떨굴 수 있게 수정해볼까 해서요.

카프리썬
@고은재님 지금은 comma separated 입니다만 라인 지원도 문젠 없을 것 같습니다 ㅎㅎ

사실 cli로 만든것도 export하는 플러그인, url 리스트 만드는 도구 다 가져다 붙이게 하려고 이렇게 디자인했어요 ㅎㅎ

[아스팔트정글]

트릴로
문제는 나이가 좀 들어서 윗자리에 있다보면
변화하는 세상을 읽지 못하고
과거 자신의 성공에만 집착합니다.
지금은 기존 열성 회원 내 쫒고, 다시 회원 새로운 회원을 모을 만한 힘이
이 클리앙에는 남지 않았습니다.
회원들 자체가 컨텐츠 인데 운영자 분은 그걸 모르시는 듯 합니다.
예전에는 회원 자체가 서로 서로 모이기도 하고
감정상해서 나가버린 회원들을 새로운 분들이 다시 채우곤 했었습니다.

그런데 지금은 세상이 달라졌습니다.
여기에 나이든 IT 관련 인물들이 올리도 없고..
젊은 친구들이 와서 놀만한 사이트 또한 아닙니다.

게임도 영화도 음악도 아니고.. 대체 무엇으로 나가는 회원을 대체하려는지...

아마 조용은 해지겠죠.. 폐가 처럼....
북적북적해진다면 일베 같은 애들 오는 초기나 그렇겠죠 열심히 분탕질 할테니...

[아스팔트정글]

와리와리꽁꽁꽁
야 문닫아 봐야 내가 아쉽냐 니들이 아쉬운거지

난 그동안 돈 마니 벌어놨어

여긴 내 개인사이트야

니들이 누구땜에 그동안 여기서 떠들고 놀고있엇던건데 고마운줄모르고 요구하는건 겁나 많고 뒷치닥거리 하느나 피곤한데 내가 왜 도독놈같은 넘이라고 욕먹고 사기꾼소리를 들어야해

여차하면 난 걍 접을란다. 알아서 딴데가서 놀던말던 알아서해라

사실상 이런 메세지로 들립니다. 왜 이렇게 곤조내는지 이해는 되지만 알다가도 모르겠네요

아무리 개인사이트고 자기회사라도 이 회원들이 자기 돈벌어다주는 고객들인데... 거래처가 1/10 되더라도 상관없다 난 돈많이 벌어놨어 배째. 하는 자영업 사장 보는 느낌이네요.

적당히 하고 다시 봉합하면 되었을텐데 뭐 다른 꿍꿍이가 있는가

나전설
"이후 운영A님이 사전 공지한 대로 근거없는 추측성 비방이나, 허위사실 유포 등에 관해서는 단호하게 대처할 예정이며, 게시판 용도 위반이나 고의적인 도배성 게시물에도 기존과 동일하게 조치할 예정입니다."

처리방식까지 아주 완벽하네요