☰

AWS의 PHP 스크립트는 100%가 아닌 5%로 실행됩니다.

tag-icon • tag-icon linux php mysql amazon-web-services amazon-ec2
AWS의 PHP 스크립트는 100%가 아닌 5%로 실행됩니다.

아래 PHP 스크립트는 현재 인스턴스 스토리지와 MySQL용 SSD 마운트를 갖춘 c3.large EC2 인스턴스에서 호스팅되고 있습니다. 스크립트가 읽고 있는 파일은 인스턴스 스토리지 디바이스 중 하나에 있습니다.

스크립트가 처음 시작되면 예상대로 100% 실행되지만 몇 시간 후에 스크립트 속도가 약 5%로 느려지고 결국 MySQL 삽입이 크롤링되는 속도가 느려집니다.

이 프로세스 속도를 늦추는 이유에 대한 아이디어가 있습니까? IOPS 문제일까요?

$handle = fopen(TMP . 'zones/' . $destinationFile, 'r');
if ($handle) {
    $x = 0;
    $origin = '';
    while (($line = fgets($handle)) !== false) {
        $x = $x + 1;
        $line = str_replace("\r", '', $line);
        $line = str_replace("\n", '', $line);
        if ($x > 61) {
            $record = explode(' ', $line);
            switch ($record[1]) {
                case 'NS':
                    $domain = $record[0];
                    $nameserver = rtrim($record[2], '.');
                    if ($record[2] == $nameserver) {
                        $nameserver = $nameserver . '.' . $origin;
                    }
                    $domainId = $this->addDomain($domain, $origin);
                    $nameserverId = $this->addNameserver($nameserver);
                    $dnId = $this->addDomainNameserver($domainId, $nameserverId);
                    break;
                case 'A':
                    echo 'Nameserver IP: ' . $record[2];
                    break;
            }
        } else {
            if (strpos($line, '$ORIGIN') > -1) {
                $origin = str_replace('$ORIGIN ', '', $line);
                $origin = rtrim($origin, '.');
            }
        }
    }
    fclose($handle);
}

답변1

StackOverflow에 더 잘 물어보십시오 ... MySQL 삽입을 언급했지만 질문에 SQL 코드가 표시되지 않습니다. 일반적으로 데이터베이스에 대량의 데이터를 삽입하는 경우:

1) 행당 하나의 요청을 수행하지 않습니다. 2) 때때로 COMMIT를 수행합니다. 그렇지 않으면 DB는 모든 데이터를 임시 버퍼에 보관해야 합니다. 3) 그러나 비용이 많이 들기 때문에 모든 라인에 대해 커밋하지는 않습니다. 일반적으로 수천 행의 일괄 처리로 데이터를 입력합니다.

또한 MySQL 및 기타 DBMS에는 파일에서 큰 테이블을 수집하는 방법이 있습니다(참조:LOAD DATASQL에서또는 mysqlimport명령)을 사용하여 스크립트에서 중간 파일을 생성한 다음 MySQL을 호출하여 한 번에 로드할 수 있습니다.

관련 정보