템플릿 및 예제#
다음은 중복 제거 노드에 대한 템플릿 및 예제입니다.
지속적인 예제
이 섹션에 포함된 예제는 연속적인 시퀀스입니다. 예상치 못한 결과를 피하기 위해 하나에서 다른 예제로 따라가세요.
템플릿#
코드 노드를 사용하여 샘플 데이터 설정#
중복 제거 노드를 시도하기 위해 몇 가지 예제 입력 데이터를 가진 워크플로를 만듭니다.
- 캔버스에 코드 노드를 추가하고 수동 트리거 노드에 연결합니다.
- 코드 노드에서 모드를 각 항목에 대해 한 번 실행으로, 언어를 JavaScript로 설정합니다.
- 다음 JavaScript 코드 스니펫을 JavaScript 필드에 붙여넣습니다:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
let data =[]; return { data: [ { id: 1, name: 'Taylor Swift', job: 'Pop star', last_updated: '2024-09-20T10:12:43.493Z' }, { id: 2, name: 'Ed Sheeran', job: 'Singer-songwriter', last_updated: '2024-10-05T08:30:59.493Z' }, { id: 3, name: 'Adele', job: 'Singer-songwriter', last_updated: '2024-10-07T14:15:59.493Z' }, { id: 4, name: 'Bruno Mars', job: 'Singer-songwriter', last_updated: '2024-08-25T17:45:12.493Z' }, { id: 1, name: 'Taylor Swift', job: 'Pop star', last_updated: '2024-09-20T10:12:43.493Z' }, // 중복 { id: 5, name: 'Billie Eilish', job: 'Singer-songwriter', last_updated: '2024-09-10T09:30:12.493Z' }, { id: 6, name: 'Katy Perry', job: 'Pop star', last_updated: '2024-10-08T12:30:45.493Z' }, { id: 2, name: 'Ed Sheeran', job: 'Singer-songwriter', last_updated: '2024-10-05T08:30:59.493Z' }, // 중복 { id: 7, name: 'Lady Gaga', job: 'Pop star', last_updated: '2024-09-15T14:45:30.493Z' }, { id: 8, name: 'Rihanna', job: 'Pop star', last_updated: '2024-10-01T11:50:22.493Z' }, { id: 3, name: 'Adele', job: 'Singer-songwriter', last_updated: '2024-10-07T14:15:59.493Z' }, // 중복 //{ id: 9, name: 'Tom Hanks', job: 'Actor', last_updated: '2024-10-17T13:58:31.493Z' }, //{ id: 0, name: 'Madonna', job: 'Pop star', last_updated: '2024-10-17T17:11:38.493Z' }, //{ id: 15, name: 'Bob Dylan', job: 'Folk singer', last_updated: '2024-09-24T08:03:16.493Z'}, //{ id: 10, name: 'Harry Nilsson', job: 'Singer-songwriter', last_updated: '2020-10-17T17:11:38.493Z' }, //{ id: 11, name: 'Kylie Minogue', job: 'Pop star', last_updated: '2024-10-24T08:03:16.493Z'}, ] }
- 캔버스에 Split Out 노드를 추가하고 코드 노드에 연결합니다.
- Split Out 노드에서 분할할 필드 필드에
data
를 입력합니다.
현재 입력에서 중복 제거하기#
- 캔버스에 Remove Duplicates 노드를 추가하고 Split Out 노드에 연결합니다. Action으로 Remove items repeated within current input를 선택합니다.
- Remove Duplicates 노드를 열고 Operation이 Remove Items Repeated Within Current Input으로 설정되어 있는지 확인합니다.
- Compare 필드에서 All fields를 선택합니다.
- Test step을 선택하여 Remove Duplicates 노드를 실행하고 현재 입력의 중복 데이터를 제거합니다.
n8n은 모든 필드에서 동일한 데이터를 가진 항목을 제거합니다. 테이블 뷰의 출력을 다음과 같이 보여야 합니다:
id | name | job | last_updated |
---|---|---|---|
1 | Taylor Swift | Pop star | 2024-09-20T10:12:43.493Z |
2 | Ed Sheeran | Singer-songwriter | 2024-10-05T08:30:59.493Z |
3 | Adele | Singer-songwriter | 2024-10-07T14:15:59.493Z |
4 | Bruno Mars | Singer-songwriter | 2024-08-25T17:45:12.493Z |
5 | Billie Eilish | Singer-songwriter | 2024-09-10T09:30:12.493Z |
6 | Katy Perry | Pop star | 2024-10-08T12:30:45.493Z |
7 | Lady Gaga | Pop star | 2024-09-15T14:45:30.493Z |
8 | Rihanna | Pop star | 2024-10-01T11:50:22.493Z |
- Remove Duplicates 노드를 다시 열고 Compare 매개변수를 Selected Fields로 변경합니다.
- Fields To Compare 필드에
job
을 입력합니다. - Test step을 선택하여 Remove Duplicates 노드를 실행하고 현재 입력의 중복 데이터를 제거합니다.
n8n은 현재 입력에서 동일한 job
데이터를 가진 항목을 제거합니다. 테이블 뷰의 출력을 다음과 같이 보여야 합니다:
id | name | job | last_updated |
---|---|---|---|
1 | Taylor Swift | Pop star | 2024-09-20T10:12:43.493Z |
2 | Ed Sheeran | Singer-songwriter | 2024-10-05T08:30:59.493Z |
새 값이 있는 항목 유지하기#
- Remove Duplicates 노드를 열고 Operation을 Remove Items Processed in Previous Executions로 설정합니다.
- Keep Items Where 매개변수를 Value Is New로 설정합니다.
- Value to Dedupe On 매개변수를
{{ $json.name }}
으로 설정합니다. - 캔버스에서 Test workflow를 선택하여 워크플로를 실행합니다. Remove Duplicates 노드를 열어 결과를 확인합니다.
n8n은 현재 입력 데이터를 이전 실행에서 저장된 항목과 비교합니다. 이번에는 Remove Duplicates 노드를 이 작업으로 처음 실행하기 때문에 n8n은 모든 데이터 항목을 처리하고 Kept 출력 탭에 배치합니다. 항목의 순서는 입력 데이터의 순서와 다를 수 있습니다:
id | name | job | last_updated |
---|---|---|---|
1 | Taylor Swift | Pop star | 2024-09-20T10:12:43.493Z |
1 | Taylor Swift | Pop star | 2024-09-20T10:12:43.493Z |
2 | Ed Sheeran | Singer-songwriter | 2024-10-05T08:30:59.493Z |
2 | Ed Sheeran | Singer-songwriter | 2024-10-05T08:30:59.493Z |
3 | Adele | Singer-songwriter | 2024-10-07T14:15:59.493Z |
3 | Adele | Singer-songwriter | 2024-10-07T14:15:59.493Z |
4 | Bruno Mars | Singer-songwriter | 2024-08-25T17:45:12.493Z |
5 | Billie Eilish | Singer-songwriter | 2024-09-10T09:30:12.493Z |
6 | Katy Perry | Pop star | 2024-10-08T12:30:45.493Z |
7 | Lady Gaga | Pop star | 2024-09-15T14:45:30.493Z |
8 | Rihanna | Pop star | 2024-10-01T11:50:22.493Z |
항목은 이전 실행과만 비교됩니다.
현재 입력 항목은 이전 실행에서 저장된 항목에 대해서만 비교됩니다. 이 모드에서 현재 입력 내의 중복 항목은 제거되지 않습니다. 현재 입력 내의 중복 항목과 실행 간의 중복 항목을 모두 제거해야 하는 경우, 두 개의 Remove Duplicate 노드를 순차적으로 연결합니다. 첫 번째는 Remove Items Repated Within Current Input 작업을 사용하고 두 번째는 Remove Items Processed in Previous Executions 작업을 사용하도록 설정합니다.
- Code 노드를 열고 "Tom Hanks"에 대한 줄의 주석을 해제합니다(즉,
//
를 제거합니다). - 캔버스에서 Test workflow를 다시 선택합니다. Remove Duplicates 노드를 다시 열어 결과를 확인합니다.
n8n은 현재 입력 데이터를 이전 실행에서 저장된 항목과 비교합니다. 이번에는 Kept 탭에 Code 노드에서 새 레코드 하나가 포함되어 있습니다:
id | name | job | last_updated |
---|---|---|---|
9 | Tom Hanks | Actor | 2024-10-17T13:58:31.493Z |
Discarded 탭에는 이전 실행에서 처리된 항목이 포함되어 있습니다:
id | name | job | last_updated |
---|---|---|---|
1 | Taylor Swift | Pop star | 2024-09-20T10:12:43.493Z |
1 | Taylor Swift | Pop star | 2024-09-20T10:12:43.493Z |
2 | Ed Sheeran | Singer-songwriter | 2024-10-05T08:30:59.493Z |
2 | Ed Sheeran | Singer-songwriter | 2024-10-05T08:30:59.493Z |
3 | Adele | Singer-songwriter | 2024-10-07T14:15:59.493Z |
3 | Adele | Singer-songwriter | 2024-10-07T14:15:59.493Z |
4 | Bruno Mars | Singer-songwriter | 2024-08-25T17:45:12.493Z |
5 | Billie Eilish | Singer-songwriter | 2024-09-10T09:30:12.493Z |
6 | Katy Perry | Pop star | 2024-10-08T12:30:45.493Z |
7 | Lady Gaga | Pop star | 2024-09-15T14:45:30.493Z |
8 | Rihanna | Pop star | 2024-10-01T11:50:22.493Z |
계속하기 전에 중복 기록을 지우고 다음 예제를 준비합니다:
- Remove Duplicates 노드를 열고 Operation을 Clear Deduplication History로 설정합니다.
- 현재 중복 기록을 지우기 위해 Test step을 선택합니다.
이전 값보다 큰 값 유지하기#
- Remove Duplicates 노드를 열고 Operation을 이전 실행에서 처리된 항목 제거로 설정합니다.
- Keep Items Where 매개변수를 이전 값보다 큰 값으로 설정합니다.
- Value to Dedupe On 매개변수를
{{ $json.id }}
로 설정합니다. - 캔버스에서 Test workflow를 선택하여 워크플로를 실행합니다. 결과를 확인하기 위해 Remove Duplicates 노드를 엽니다.
n8n은 현재 입력 데이터를 이전 실행에서 저장된 항목과 비교합니다. 이전 기록을 지운 후 Remove Duplicates 노드를 처음 실행하는 것이므로, n8n은 모든 데이터 항목을 처리하고 이를 Kept 출력 탭에 배치합니다. 항목의 순서는 입력 데이터의 순서와 다를 수 있습니다:
id | name | job | last_updated |
---|---|---|---|
1 | Taylor Swift | Pop star | 2024-09-20T10:12:43.493Z |
1 | Taylor Swift | Pop star | 2024-09-20T10:12:43.493Z |
2 | Ed Sheeran | Singer-songwriter | 2024-10-05T08:30:59.493Z |
2 | Ed Sheeran | Singer-songwriter | 2024-10-05T08:30:59.493Z |
3 | Adele | Singer-songwriter | 2024-10-07T14:15:59.493Z |
3 | Adele | Singer-songwriter | 2024-10-07T14:15:59.493Z |
4 | Bruno Mars | Singer-songwriter | 2024-08-25T17:45:12.493Z |
5 | Billie Eilish | Singer-songwriter | 2024-09-10T09:30:12.493Z |
6 | Katy Perry | Pop star | 2024-10-08T12:30:45.493Z |
7 | Lady Gaga | Pop star | 2024-09-15T14:45:30.493Z |
8 | Rihanna | Pop star | 2024-10-01T11:50:22.493Z |
9 | Tom Hanks | Actor | 2024-10-17T13:58:31.493Z |
- Code 노드를 열고 "Madonna"와 "Bob Dylan"에 대한 줄 주석을 취소합니다(
//
를 제거합니다). - 캔버스에서 Test workflow를 다시 선택합니다. 결과를 확인하기 위해 Remove Duplicates 노드를 다시 엽니다.
n8n은 현재 입력 데이터를 이전 실행에서 저장된 항목과 비교합니다. 이번에는 Kept 탭에 "Bob Dylan"에 대한 단일 항목이 포함됩니다. n8n은 이 항목을 유지하는데, 그 이유는 id
열 값(15)이 이전 값(최대 값인 9)보다 크기 때문입니다:
id | name | job | last_updated |
---|---|---|---|
15 | Bob Dylan | Folk singer | 2024-09-24T08:03:16.493Z |
Discarded 탭에는 이전 최대 값(9)보다 작거나 같은 id
열 값이 있는 13개 항목이 포함됩니다. 비록 새 항목이지만 이 테이블에는 "Madonna"에 대한 항목이 포함됩니다. 그 이유는 id
값이 이전 최대 값보다 크지 않기 때문입니다:
id | name | job | last_updated |
---|---|---|---|
0 | Madonna | Pop star | 2024-10-17T17:11:38.493Z |
1 | Taylor Swift | Pop star | 2024-09-20T10:12:43.493Z |
1 | Taylor Swift | Pop star | 2024-09-20T10:12:43.493Z |
2 | Ed Sheeran | Singer-songwriter | 2024-10-05T08:30:59.493Z |
2 | Ed Sheeran | Singer-songwriter | 2024-10-05T08:30:59.493Z |
3 | Adele | Singer-songwriter | 2024-10-07T14:15:59.493Z |
3 | Adele | Singer-songwriter | 2024-10-07T14:15:59.493Z |
4 | Bruno Mars | Singer-songwriter | 2024-08-25T17:45:12.493Z |
5 | Billie Eilish | Singer-songwriter | 2024-09-10T09:30:12.493Z |
6 | Katy Perry | Pop star | 2024-10-08T12:30:45.493Z |
7 | Lady Gaga | Pop star | 2024-09-15T14:45:30.493Z |
8 | Rihanna | Pop star | 2024-10-01T11:50:22.493Z |
9 | Tom Hanks | Actor | 2024-10-17T13:58:31.493Z |
계속하기 전에 중복 기록을 지우고 다음 예제를 위한 준비를 하세요:
- Remove Duplicates 노드를 열고 Operation을 중복 이력 지우기로 설정합니다.
- 현재 중복 이력을 지우기 위해 Test step을 선택합니다.
이전 날짜보다 나중인 날짜인 항목 유지하기#
- Remove Duplicates 노드를 열고 Operation을 Remove Items Processed in Previous Executions로 설정합니다.
- Keep Items Where 매개변수를 Value Is a Date Later than Any Previous Date로 설정합니다.
- Value to Dedupe On 매개변수를
{{ $json.last_updated }}
로 설정합니다. - 캔버스에서 Test workflow를 선택하여 워크플로를 실행합니다. Remove Duplicates 노드를 열어 결과를 확인합니다.
n8n은 현재 입력 데이터를 이전 실행에서 저장된 항목과 비교합니다. 기록을 지운 후 Remove Duplicates 노드를 처음 실행하는 것이기 때문에 n8n은 모든 데이터 항목을 처리하고 Kept 출력 탭에 배치합니다. 항목의 순서는 입력 데이터의 순서와 다를 수 있습니다:
id | name | job | last_updated |
---|---|---|---|
0 | Madonna | Pop star | 2024-10-17T17:11:38.493Z |
1 | Taylor Swift | Pop star | 2024-09-20T10:12:43.493Z |
1 | Taylor Swift | Pop star | 2024-09-20T10:12:43.493Z |
2 | Ed Sheeran | Singer-songwriter | 2024-10-05T08:30:59.493Z |
2 | Ed Sheeran | Singer-songwriter | 2024-10-05T08:30:59.493Z |
3 | Adele | Singer-songwriter | 2024-10-07T14:15:59.493Z |
3 | Adele | Singer-songwriter | 2024-10-07T14:15:59.493Z |
4 | Bruno Mars | Singer-songwriter | 2024-08-25T17:45:12.493Z |
5 | Billie Eilish | Singer-songwriter | 2024-09-10T09:30:12.493Z |
6 | Katy Perry | Pop star | 2024-10-08T12:30:45.493Z |
7 | Lady Gaga | Pop star | 2024-09-15T14:45:30.493Z |
8 | Rihanna | Pop star | 2024-10-01T11:50:22.493Z |
9 | Tom Hanks | Actor | 2024-10-17T13:58:31.493Z |
15 | Bob Dylan | Folk singer | 2024-09-24T08:03:16.493Z |
- Code 노드를 열고 "Harry Nilsson"과 "Kylie Minogue"의 줄에서
//
를 제거하여 주석을 해제합니다.
- 캔버스에서 Test workflow를 다시 선택합니다. Remove Duplicates 노드를 다시 열어 결과를 확인합니다.
n8n은 현재 입력 데이터를 이전 실행에서 저장된 항목과 비교합니다. 이번에는 Kept 탭에 "Kylie Minogue"에 대한 단일 항목이 포함되어 있습니다. n8n은 이 항목을 유지하는데, 그 이유는 last_updated
열의 값(2024-10-24T08:03:16.493Z
)이 이전 값보다 늦기 때문입니다(이전 최신 날짜는 2024-10-17T17:11:38.493Z
였습니다):
id | name | job | last_updated |
---|---|---|---|
11 | Kylie Minogue | Pop star | 2024-10-24T08:03:16.493Z |
Discarded 탭에는 last_updated
열의 값이 이전 최신 날짜(2024-10-17T17:11:38.493Z
)와 같거나 이전인 15개의 항목이 포함되어 있습니다. 비록 새 항목이지만, 해당 테이블은 "Harry Nilsson" 항목도 포함하고 있습니다. 이는 그 last_updated
값이 이전 최대 값보다 늦지 않기 때문입니다:
id | name | job | last_updated |
---|---|---|---|
10 | Harry Nilsson | Singer-songwriter | 2020-10-17T17:11:38.493Z |
0 | Madonna | Pop star | 2024-10-17T17:11:38.493Z |
1 | Taylor Swift | Pop star | 2024-09-20T10:12:43.493Z |
1 | Taylor Swift | Pop star | 2024-09-20T10:12:43.493Z |
2 | Ed Sheeran | Singer-songwriter | 2024-10-05T08:30:59.493Z |
2 | Ed Sheeran | Singer-songwriter | 2024-10-05T08:30:59.493Z |
3 | Adele | Singer-songwriter | 2024-10-07T14:15:59.493Z |
3 | Adele | Singer-songwriter | 2024-10-07T14:15:59.493Z |
4 | Bruno Mars | Singer-songwriter | 2024-08-25T17:45:12.493Z |
5 | Billie Eilish | Singer-songwriter | 2024-09-10T09:30:12.493Z |
6 | Katy Perry | Pop star | 2024-10-08T12:30:45.493Z |
7 | Lady Gaga | Pop star | 2024-09-15T14:45:30.493Z |
8 | Rihanna | Pop star | 2024-10-01T11:50:22.493Z |
9 | Tom Hanks | Actor | 2024-10-17T13:58:31.493Z |
15 | Bob Dylan | Folk singer | 2024-09-24T08:03:16.493Z |