
배경:
저는 한동안(11월부터) AWS EC2에 rstudio 서버를 설치하려고 애썼습니다. 그것은 양파의 껍질이 벗겨지는 것과 같았고, 항상 또 다른 장애물이었습니다. Windows 사용자의 경우 AWS에 게시한 문서는 끔찍합니다. 나는 rstudio 인스턴스를 생성했지만 문제를 경험했습니다. 쉽게 답할 수 있다고 확신하지만 문제를 해결하는 데 운이 없었고 많은 것을 시도했습니다. rstudio에 파일을 업로드하고 읽고 어딘가에 저장하려고 합니다. 먼저 파일을 읽을 때 다음과 같은 문제가 발생했습니다.
파일 읽기:
업로드 버튼은 대용량 파일을 허용하지 않습니다. 작은 파일의 경우에는 잘 작동하지만 서버를 분석해야 하는 파일은 이 버튼을 통해 작동하지 않습니다. 또한 브라우저 문제인지 확인하기 위해 4개의 다른 브라우저를 사용해 보았지만 그렇지 않았습니다. 작은 파일(예: 40kb)은 문제 없이 작동했습니다.
Dropbox에 파일을 넣은 다음 rstudio와 동기화가 작동하지 않았습니다. 작은 파일(예: 200kb)의 경우 동기화가 잘 되었지만 GB 파일이 표시되지 않거나 손상되었습니다.
Putty를 통해 Winscp와 filezilla를 통해 연결을 시도했습니다. 명령을 성공적으로 실행했습니다.
sudo chown -R ubuntu /home/rstudio
sudo chmod -R 755 /home/rstudio
rstudio에 업로드할 수 있었습니다. 불행히도 그 시점 이후에는 더 이상 인스턴스에 액세스할 수 없었습니다. AWS를 통해 액세스할 수 있었지만 rstudio 로그인 화면을 통과할 수 없었습니다. 나는 이것을 여러 번 시도하고 다시 시작했으며 다양한 인스턴스에서 시도했습니다. 나는 또한 나를 돕기 위해 프리랜서를 고용했고 그는 같은 방식으로 rstudio에 액세스하기 위해 복사본을 보관해 둔 몇 가지 다른 명령을 실행했습니다. 성공적으로 파일을 업로드할 수 있었지만(매우 느리게) 브라우저를 통해 인스턴스에 대한 로그인에 더 이상 액세스할 수 없었기 때문에 효과적으로 내 인스턴스를 제거했습니다(rstudio를 시작하지 않고 인스턴스를 시작할 수 있었습니다).
나는 또한 다음과 같은 퍼티로 코드를 시도했습니다.
rsync -avz myHugeFile.csv [email protected]
:
하지만 myHugeFile.csv의 위치를 내 컴퓨터에 저장하는 방법을 몰랐을 수도 있지만(많은 것을 시도했지만) 작동하지 않았습니다.
AWS EC2 루트 드라이브의 tmp 폴더에 업로드한 다음 퍼티를 사용하여 파일을 이동할 수 있지만 10GB 파일을 업로드하는 데 36시간이 걸렸습니다. 나는 이것이 정상이 아니라고 생각한다. 파일이 도착하면 원래 파일보다 훨씬 작아서 손상되었습니다.
저는 인스턴스를 설정할 때 Amazon 플랫폼의 커뮤니티 AMI 아래에 rstudio를 입력하면 얻을 수 있는 rstudio의 louis aslett의 AMI를 사용하고 있습니다.
244GB Ram 대형 인스턴스와 120GB 인스턴스가 대부분 있었던 것처럼 이는 인스턴스 크기 문제가 아닙니다.
Dropbox에 대용량 파일을 업로드하고 rstudio 서버에서 보관할 수 있다면 좋을 것입니다(현재는 작은 파일만 동기화됩니다). 또는 업로드 버튼을 사용할 수도 있습니다. 아니면 거의 모든 솔루션이 훌륭할 것입니다. 이 방법이 더 쉬울 수도 있기 때문에 S3 버킷을 만들었습니다. Amazon이 다른 경로를 통해 EC2에 업로드하는 기능을 제한할 수도 있다고 생각됩니다. 그러나 그것은 나에게 미친 것 같습니다.
이러한 단계 중 하나를 실행하는 데 대한 의견이 있으면 알려 주시기 바랍니다.
답변1
좋아, 여기서 무슨 일이 일어나고 있는지 깨달았습니다. AWS의 기본 홈 디렉터리 크기는 인스턴스 크기에 관계없이 8~10GB 미만입니다. 집에 업로드하려고 하니 공간이 부족했습니다. 숙련된 Linux 사용자라면 이 함정에 빠지지 않았을 것입니다. 그러나 이 문제를 접한 다른 Windows 사용자가 이 문제를 보게 되기를 바랍니다. 인스턴스의 다른 드라이브에 업로드하면 이 문제가 해결될 수 있습니다. Louis Aslett Rstudio AMI는 이 8~10GB 공간을 기반으로 하므로 이 외부의 작업 디렉터리인 홈 디렉터리를 설정해야 합니다. Rstudio 서버 인터페이스에서는 직관적으로 명확하지 않습니다. 이것은 고급 포럼이고 이것은 초보 오류이지만 나는 이것에 몇 달을 보냈기 때문에 아무도 이 질문을 삭제하지 않기를 바라고 있으며 다른 사람도 그렇게 할 것이라고 생각합니다. 누군가 이 문제를 해결하는 더 좋은 방법이 있다면 자유롭게 추가해 주세요 :)