클라우드 데이터 관리#

클라우드에서 데이터를 관리할 때 두 가지 우려 사항이 있습니다:

메모리 사용: 대량의 데이터를 처리하는 복잡한 워크플로는 n8n의 메모리 한도를 초과할 수 있습니다. 이 경우 인스턴스가 충돌하여 접근할 수 없게 됩니다.
데이터 저장: 실행 설정 및 볼륨에 따라 n8n 데이터베이스가 증가하여 저장 공간이 부족할 수 있습니다.

이러한 문제를 피하기 위해 n8n은 메모리 효율성을 염두에 두고 워크플로를 구축하고 불필요한 데이터를 저장하지 않도록 권장합니다.

각 클라우드 요금제의 메모리 한도#

현재 요금제:

평가판: 320MiB RAM, 10 millicore CPU 버스트 가능
스타터: 320MiB RAM, 10 millicore CPU 버스트 가능
프로-1 (10k 실행): 640MiB RAM, 20 millicore CPU 버스트 가능
프로-2 (50k 실행): 1280MiB RAM, 80 millicore CPU 버스트 가능
엔터프라이즈: 4096MiB RAM, 80 millicore CPU 버스트 가능

레거시 요금제:

시작: 320MiB RAM, 10 millicore CPU 버스트 가능
파워: 1280MiB RAM, 80 millicore CPU 버스트 가능

n8n은 각 인스턴스에 최대 100GB의 데이터 저장 공간을 제공합니다.

워크플로에서 메모리 소비를 줄이는 방법#

워크플로를 구축하는 방식은 실행 시 소비하는 데이터 양에 영향을 미칩니다. 이러한 가이드라인이 모든 경우에 적용되는 것은 아니지만, 인스턴스 메모리를 초과하지 않기 위한 최선의 기준을 제공합니다.

처리할 데이터를 더 작은 청크로 나눕니다. 예를 들어, 한 번의 실행에서 10,000개의 행을 가져오는 대신, 실행당 200개의 행을 처리하도록 설정합니다.
가능하면 코드(Code) 노드 사용을 피하세요.
대량의 데이터를 처리할 때 수동 실행을 피하세요.
워크플로를 하위 워크플로로 분리하고, 각 하위 워크플로가 부모 워크플로에 제한된 양의 데이터만 반환하도록 설정하세요.

처음에는 워크플로를 분리하는 것이 비효율적으로 보일 수 있습니다. 보통 최소 두 개 이상의 노드를 추가해야 하기 때문입니다. 예를 들어, 항목을 작은 배치로 나누는 Loop Over Items 노드와 하위 워크플로를 실행하는 Execute Workflow 노드가 필요합니다.

그러나 하위 워크플로가 각 배치의 주요 작업을 수행한 후, 작은 결과 세트만 메인 워크플로로 반환하도록 하면 메모리 사용량이 줄어듭니다. 이는 하위 워크플로가 현재 배치의 데이터만 메모리에 유지하고, 처리 후 메모리를 해제하기 때문입니다.

n8n 자체는 실행을 위해 메모리를 소비합니다. 평균적으로 소프트웨어만으로도 약 180MiB RAM을 사용합니다.

UI와의 상호작용 또한 메모리를 소비합니다. 무거운 실행을 수행하는 동안 워크플로 UI를 조작하면 메모리 용량이 한도를 초과할 수 있습니다.

클라우드에서 실행 데이터를 관리하는 방법#

실행 데이터에는 노드 데이터, 매개변수, 변수, 실행 컨텍스트 및 이진 데이터 참조가 포함됩니다. 이는 텍스트 기반입니다.

이진 데이터는 n8n이 일반 텍스트로 표현할 수 없는 비텍스트 데이터입니다. 이는 이미지, 문서, 오디오 파일 및 비디오와 같은 파일 및 미디어입니다. 비텍스트 데이터는 텍스트 데이터보다 훨씬 큽니다.

워크플로가 대량의 데이터를 소비하고 테스트 단계를 지나면 성공적인 실행을 저장하지 않는 것이 좋은 옵션입니다.

n8n이 데이터베이스에 저장하는 실행 데이터를 제어할 수 있는 방법은 두 가지입니다:

관리 대시보드에서:

작업 공간 또는 편집기에서 관리 패널로 이동합니다.
관리를 선택합니다.
저장할 실행에서 로그로 남기고 싶지 않은 실행을 선택 해제합니다.

워크플로 설정에서:

옵션 메뉴를 선택합니다.
설정을 선택합니다. n8n이 워크플로 설정 모달을 엽니다.
성공적인 프로덕션 실행 저장을 저장하지 않음으로 변경합니다.

클라우드 데이터 정리 및 메모리 부족 사고 예방#

자동 데이터 정리#

n8n은 특정 시간 이후 또는 저장 한도에 도달하면 실행 기록을 자동으로 정리합니다. 정리는 항상 가장 오래된 것부터 최신 것 순으로 진행되며 한도는 귀하의 클라우드 요금제에 따라 다릅니다:

시작 및 스타터 계획: 저장된 최대 2500회 실행 및 7일 실행 로그 보존;
프로 및 파워 계획: 저장된 최대 25000회 실행 및 30일 실행 로그 보존;
엔터프라이즈 계획: 저장된 최대 50000회 실행 및 무제한 실행 로그 보존 시간.

수동 데이터 정리#

더 무거운 실행 및 사용 사례는 자동 정리 관행에도 불구하고 데이터베이스 용량을 초과할 수 있습니다. 이러한 경우, n8n은 인스턴스의 안정성을 보호하기 위해 수동으로 데이터를 정리합니다.

경고 시스템은 인스턴스가 85% 디스크 용량에 도달하면 n8n에 경고합니다.
n8n은 실행 데이터를 정리합니다. n8n은 인스턴스의 백업(워크플로우, 사용자, 자격 증명 및 실행 데이터)을 실행하고 실행 데이터를 제외하고 이를 복원함으로써 이를 수행합니다.

이 과정의 인간 단계로 인해 경고 시스템은 완벽하지 않습니다. 경고가 근무 시간 이후에 발생하거나 데이터 소비율이 높은 경우, 남은 디스크 공간이 가득 차기 전에 데이터를 정리할 시간이 없을 수 있습니다.