아마존 웹서비스 (AWS) 사용하기 : CLI로 S3와 대화하기 (CLI설치 편)

[sl100104]

지금 죽어라 S3에 파일들이 upload되고 있다. 그런데 문제가 또 하나 있다. 나의 Matlab code는

M=csvread ('C:/DATA/SNP.csv') , save('C:/OUTPUT/SNP2.mat', SNP2) 뭐 이런 식인데 S3에 사용하려면 S3로의 경로가 필요하다.

http://xmodulo.com/2013/06/how-to-access-amazon-s3-cloud-storage-from-command-line-in-linux.html

http://blog.domenech.org/2012/10/using-aws-s3-with-s3cmd.html

http://www.zoxx.net/notes/index.php/post/2012/02/09/How-to-create-and-use-an-Amazon-Web-Services-S3-bucket-with-s3cmd-tool

$ s3cmd ls 

어제 오전 11시에 시작한 upload가 다음날 아침 6시 현재인 지금에도 아직도 45%다. 대용량 csv 파일은 최대한 나눠서 여러번 S3 upload를 활용하는 법이 빠를 것 같다. AWS import/export은 비용은 S3에 비해 고가이지만, 솓도가 빠른 방법이라 결국은 더 저렴하다 한다. 나는 이지 S3를 있으니 다음엔 한번 도전할 것이다.    

다행히 좀 더 자세한 자료를 찾았다. Command Line Interface, 2013년 9월에 소개된 CLI다.

http://aws.amazon.com/ko/cli/

그리고 AWS에서도 한글자료가 많이 있음을 알았다. 

http://aws.amazon.com/ko/s3/

내용을 읽어 보니 CLI 라는 툴을 이용해서 S3와 연결되는 것을 알았다. 근데 CLI를 설치하기 위해서 먼저 Pythoin과 pip을 설정해야 한다. 

http://docs.aws.amazon.com/cli/latest/userguide/cli-chap-getting-set-up.html

1.Python 설치

python --version

해서 버전이 나오면 Install이 된 거구, 아니면 Install 해야 한다. 나의 경우는 되어 있다.

2.pip설치

$ sudo apt-get install python-pip

3. CLI설치

pip install awscli

pip install --upgrade awscli

그리고

aws help

가 되면 합격 .. 근대 나는 않된다. awscli 에서 error다. permission denied..이건 뭔소리여.

일단 설치에 실패한 후 원인을 찾느 중. 

https://pypi.python.org/pypi/awscli

여기서 찾은 아래의 코드로 하니 된다.

Installation

The easiest way to install aws-cli is to use pip:

$ pip install awscli

or, if you are not installing in a virtualenv:

$ sudo pip install awscli

If you have the aws-cli installed and want to upgrade to the latest version you can run:

$ pip install --upgrade awscli

그리고 다시 aws help 

먹는다. 이젠 설치가 완료되었다.

var vglnk = {api_url: '//api.viglink.com/api', key: '0dff9ade2d1125af6c910069b6d6e155'};