mirror of
https://github.com/Abdulazizzn/n8n-enterprise-unlocked.git
synced 2025-12-18 02:21:13 +00:00
refactor(Spreadsheet File Node): Reduce memory usage when loading CSV files (#7095)
Co-authored-by: Michael Kret <michael.k@radency.com>
This commit is contained in:
कारतोफ्फेलस्क्रिप्ट™
committed by
GitHub
GitHub
parent
2f647974f4
commit
689a77cc87
@@ -1,495 +1,25 @@
|
|||||||
import type {
|
import type { INodeTypeBaseDescription, IVersionedNodeType } from 'n8n-workflow';
|
||||||
IDataObject,
|
import { VersionedNodeType } from 'n8n-workflow';
|
||||||
IExecuteFunctions,
|
|
||||||
INodeExecutionData,
|
|
||||||
INodeType,
|
|
||||||
INodeTypeDescription,
|
|
||||||
} from 'n8n-workflow';
|
|
||||||
import { NodeOperationError } from 'n8n-workflow';
|
|
||||||
|
|
||||||
import type { JSON2SheetOpts, Sheet2JSONOpts, WorkBook, WritingOptions } from 'xlsx';
|
import { SpreadsheetFileV1 } from './v1/SpreadsheetFileV1.node';
|
||||||
import { read as xlsxRead, utils as xlsxUtils, write as xlsxWrite } from 'xlsx';
|
import { SpreadsheetFileV2 } from './v2/SpreadsheetFileV2.node';
|
||||||
|
|
||||||
/**
|
export class SpreadsheetFile extends VersionedNodeType {
|
||||||
* Flattens an object with deep data
|
constructor() {
|
||||||
*
|
const baseDescription: INodeTypeBaseDescription = {
|
||||||
* @param {IDataObject} data The object to flatten
|
displayName: 'Spreadsheet File',
|
||||||
*/
|
name: 'spreadsheetFile',
|
||||||
function flattenObject(data: IDataObject) {
|
icon: 'fa:table',
|
||||||
const returnData: IDataObject = {};
|
group: ['transform'],
|
||||||
for (const key1 of Object.keys(data)) {
|
description: 'Reads and writes data from a spreadsheet file like CSV, XLS, ODS, etc',
|
||||||
if (data[key1] !== null && typeof data[key1] === 'object') {
|
defaultVersion: 2,
|
||||||
if (data[key1] instanceof Date) {
|
};
|
||||||
returnData[key1] = data[key1]?.toString();
|
|
||||||
continue;
|
|
||||||
}
|
|
||||||
const flatObject = flattenObject(data[key1] as IDataObject);
|
|
||||||
for (const key2 in flatObject) {
|
|
||||||
if (flatObject[key2] === undefined) {
|
|
||||||
continue;
|
|
||||||
}
|
|
||||||
returnData[`${key1}.${key2}`] = flatObject[key2];
|
|
||||||
}
|
|
||||||
} else {
|
|
||||||
returnData[key1] = data[key1];
|
|
||||||
}
|
|
||||||
}
|
|
||||||
return returnData;
|
|
||||||
}
|
|
||||||
|
|
||||||
export class SpreadsheetFile implements INodeType {
|
const nodeVersions: IVersionedNodeType['nodeVersions'] = {
|
||||||
description: INodeTypeDescription = {
|
1: new SpreadsheetFileV1(baseDescription),
|
||||||
displayName: 'Spreadsheet File',
|
2: new SpreadsheetFileV2(baseDescription),
|
||||||
name: 'spreadsheetFile',
|
};
|
||||||
icon: 'fa:table',
|
|
||||||
group: ['transform'],
|
|
||||||
version: 1,
|
|
||||||
description: 'Reads and writes data from a spreadsheet file like CSV, XLS, ODS, etc',
|
|
||||||
defaults: {
|
|
||||||
name: 'Spreadsheet File',
|
|
||||||
color: '#2244FF',
|
|
||||||
},
|
|
||||||
inputs: ['main'],
|
|
||||||
outputs: ['main'],
|
|
||||||
properties: [
|
|
||||||
{
|
|
||||||
displayName: 'Operation',
|
|
||||||
name: 'operation',
|
|
||||||
type: 'options',
|
|
||||||
noDataExpression: true,
|
|
||||||
options: [
|
|
||||||
{
|
|
||||||
name: 'Read From File',
|
|
||||||
value: 'fromFile',
|
|
||||||
description: 'Reads data from a spreadsheet file',
|
|
||||||
action: 'Read data from a spreadsheet file',
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: 'Write to File',
|
|
||||||
value: 'toFile',
|
|
||||||
description: 'Writes the workflow data to a spreadsheet file',
|
|
||||||
action: 'Write data to a spreadsheet file',
|
|
||||||
},
|
|
||||||
],
|
|
||||||
default: 'fromFile',
|
|
||||||
},
|
|
||||||
|
|
||||||
// ----------------------------------
|
super(nodeVersions, baseDescription);
|
||||||
// fromFile
|
|
||||||
// ----------------------------------
|
|
||||||
{
|
|
||||||
displayName: 'Binary Property',
|
|
||||||
name: 'binaryPropertyName',
|
|
||||||
type: 'string',
|
|
||||||
default: 'data',
|
|
||||||
required: true,
|
|
||||||
displayOptions: {
|
|
||||||
show: {
|
|
||||||
operation: ['fromFile'],
|
|
||||||
},
|
|
||||||
},
|
|
||||||
placeholder: '',
|
|
||||||
description:
|
|
||||||
'Name of the binary property from which to read the binary data of the spreadsheet file',
|
|
||||||
},
|
|
||||||
|
|
||||||
// ----------------------------------
|
|
||||||
// toFile
|
|
||||||
// ----------------------------------
|
|
||||||
{
|
|
||||||
displayName: 'File Format',
|
|
||||||
name: 'fileFormat',
|
|
||||||
type: 'options',
|
|
||||||
options: [
|
|
||||||
{
|
|
||||||
name: 'CSV',
|
|
||||||
value: 'csv',
|
|
||||||
description: 'Comma-separated values',
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: 'HTML',
|
|
||||||
value: 'html',
|
|
||||||
description: 'HTML Table',
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: 'ODS',
|
|
||||||
value: 'ods',
|
|
||||||
description: 'OpenDocument Spreadsheet',
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: 'RTF',
|
|
||||||
value: 'rtf',
|
|
||||||
description: 'Rich Text Format',
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: 'XLS',
|
|
||||||
value: 'xls',
|
|
||||||
description: 'Excel',
|
|
||||||
},
|
|
||||||
{
|
|
||||||
name: 'XLSX',
|
|
||||||
value: 'xlsx',
|
|
||||||
description: 'Excel',
|
|
||||||
},
|
|
||||||
],
|
|
||||||
default: 'xls',
|
|
||||||
displayOptions: {
|
|
||||||
show: {
|
|
||||||
operation: ['toFile'],
|
|
||||||
},
|
|
||||||
},
|
|
||||||
description: 'The format of the file to save the data as',
|
|
||||||
},
|
|
||||||
{
|
|
||||||
displayName: 'Binary Property',
|
|
||||||
name: 'binaryPropertyName',
|
|
||||||
type: 'string',
|
|
||||||
default: 'data',
|
|
||||||
required: true,
|
|
||||||
displayOptions: {
|
|
||||||
show: {
|
|
||||||
operation: ['toFile'],
|
|
||||||
},
|
|
||||||
},
|
|
||||||
placeholder: '',
|
|
||||||
description:
|
|
||||||
'Name of the binary property in which to save the binary data of the spreadsheet file',
|
|
||||||
},
|
|
||||||
|
|
||||||
{
|
|
||||||
displayName: 'Options',
|
|
||||||
name: 'options',
|
|
||||||
type: 'collection',
|
|
||||||
placeholder: 'Add Option',
|
|
||||||
default: {},
|
|
||||||
options: [
|
|
||||||
{
|
|
||||||
displayName: 'Compression',
|
|
||||||
name: 'compression',
|
|
||||||
type: 'boolean',
|
|
||||||
displayOptions: {
|
|
||||||
show: {
|
|
||||||
'/operation': ['toFile'],
|
|
||||||
'/fileFormat': ['xlsx', 'ods'],
|
|
||||||
},
|
|
||||||
},
|
|
||||||
default: false,
|
|
||||||
description: 'Whether compression will be applied or not',
|
|
||||||
},
|
|
||||||
{
|
|
||||||
displayName: 'File Name',
|
|
||||||
name: 'fileName',
|
|
||||||
type: 'string',
|
|
||||||
displayOptions: {
|
|
||||||
show: {
|
|
||||||
'/operation': ['toFile'],
|
|
||||||
},
|
|
||||||
},
|
|
||||||
default: '',
|
|
||||||
description:
|
|
||||||
'File name to set in binary data. By default will "spreadsheet.<fileFormat>" be used.',
|
|
||||||
},
|
|
||||||
{
|
|
||||||
displayName: 'Header Row',
|
|
||||||
name: 'headerRow',
|
|
||||||
type: 'boolean',
|
|
||||||
displayOptions: {
|
|
||||||
show: {
|
|
||||||
'/operation': ['fromFile', 'toFile'],
|
|
||||||
},
|
|
||||||
},
|
|
||||||
default: true,
|
|
||||||
description: 'Whether the first row of the file contains the header names',
|
|
||||||
},
|
|
||||||
{
|
|
||||||
displayName: 'Include Empty Cells',
|
|
||||||
name: 'includeEmptyCells',
|
|
||||||
type: 'boolean',
|
|
||||||
displayOptions: {
|
|
||||||
show: {
|
|
||||||
'/operation': ['fromFile'],
|
|
||||||
},
|
|
||||||
},
|
|
||||||
default: false,
|
|
||||||
// eslint-disable-next-line n8n-nodes-base/node-param-description-boolean-without-whether
|
|
||||||
description:
|
|
||||||
'When reading from file the empty cells will be filled with an empty string in the JSON',
|
|
||||||
},
|
|
||||||
{
|
|
||||||
displayName: 'RAW Data',
|
|
||||||
name: 'rawData',
|
|
||||||
type: 'boolean',
|
|
||||||
displayOptions: {
|
|
||||||
show: {
|
|
||||||
'/operation': ['fromFile'],
|
|
||||||
},
|
|
||||||
},
|
|
||||||
default: false,
|
|
||||||
description: 'Whether the data should be returned RAW instead of parsed',
|
|
||||||
},
|
|
||||||
{
|
|
||||||
displayName: 'Read As String',
|
|
||||||
name: 'readAsString',
|
|
||||||
type: 'boolean',
|
|
||||||
displayOptions: {
|
|
||||||
show: {
|
|
||||||
'/operation': ['fromFile'],
|
|
||||||
},
|
|
||||||
},
|
|
||||||
default: false,
|
|
||||||
// eslint-disable-next-line n8n-nodes-base/node-param-description-boolean-without-whether
|
|
||||||
description:
|
|
||||||
'In some cases and file formats, it is necessary to read specifically as string else some special character get interpreted wrong',
|
|
||||||
},
|
|
||||||
{
|
|
||||||
displayName: 'Range',
|
|
||||||
name: 'range',
|
|
||||||
type: 'string',
|
|
||||||
displayOptions: {
|
|
||||||
show: {
|
|
||||||
'/operation': ['fromFile'],
|
|
||||||
},
|
|
||||||
},
|
|
||||||
default: '',
|
|
||||||
description:
|
|
||||||
'The range to read from the table. If set to a number it will be the starting row. If set to string it will be used as A1-style bounded range.',
|
|
||||||
},
|
|
||||||
{
|
|
||||||
displayName: 'Sheet Name',
|
|
||||||
name: 'sheetName',
|
|
||||||
type: 'string',
|
|
||||||
displayOptions: {
|
|
||||||
show: {
|
|
||||||
'/operation': ['fromFile'],
|
|
||||||
},
|
|
||||||
},
|
|
||||||
default: 'Sheet',
|
|
||||||
description:
|
|
||||||
'Name of the sheet to read from in the spreadsheet (if supported). If not set, the first one gets chosen.',
|
|
||||||
},
|
|
||||||
{
|
|
||||||
displayName: 'Sheet Name',
|
|
||||||
name: 'sheetName',
|
|
||||||
type: 'string',
|
|
||||||
displayOptions: {
|
|
||||||
show: {
|
|
||||||
'/operation': ['toFile'],
|
|
||||||
'/fileFormat': ['ods', 'xls', 'xlsx'],
|
|
||||||
},
|
|
||||||
},
|
|
||||||
default: 'Sheet',
|
|
||||||
description: 'Name of the sheet to create in the spreadsheet',
|
|
||||||
},
|
|
||||||
],
|
|
||||||
},
|
|
||||||
],
|
|
||||||
};
|
|
||||||
|
|
||||||
async execute(this: IExecuteFunctions): Promise<INodeExecutionData[][]> {
|
|
||||||
const items = this.getInputData();
|
|
||||||
|
|
||||||
const operation = this.getNodeParameter('operation', 0);
|
|
||||||
|
|
||||||
const newItems: INodeExecutionData[] = [];
|
|
||||||
|
|
||||||
if (operation === 'fromFile') {
|
|
||||||
// Read data from spreadsheet file to workflow
|
|
||||||
for (let i = 0; i < items.length; i++) {
|
|
||||||
try {
|
|
||||||
const binaryPropertyName = this.getNodeParameter('binaryPropertyName', i);
|
|
||||||
const options = this.getNodeParameter('options', i, {});
|
|
||||||
|
|
||||||
this.helpers.assertBinaryData(i, binaryPropertyName);
|
|
||||||
// Read the binary spreadsheet data
|
|
||||||
const binaryDataBuffer = await this.helpers.getBinaryDataBuffer(i, binaryPropertyName);
|
|
||||||
let workbook;
|
|
||||||
if (options.readAsString === true) {
|
|
||||||
workbook = xlsxRead(binaryDataBuffer.toString(), {
|
|
||||||
type: 'string',
|
|
||||||
raw: options.rawData as boolean,
|
|
||||||
});
|
|
||||||
} else {
|
|
||||||
workbook = xlsxRead(binaryDataBuffer, { raw: options.rawData as boolean });
|
|
||||||
}
|
|
||||||
|
|
||||||
if (workbook.SheetNames.length === 0) {
|
|
||||||
throw new NodeOperationError(this.getNode(), 'Spreadsheet does not have any sheets!', {
|
|
||||||
itemIndex: i,
|
|
||||||
});
|
|
||||||
}
|
|
||||||
|
|
||||||
let sheetName = workbook.SheetNames[0];
|
|
||||||
if (options.sheetName) {
|
|
||||||
if (!workbook.SheetNames.includes(options.sheetName as string)) {
|
|
||||||
throw new NodeOperationError(
|
|
||||||
this.getNode(),
|
|
||||||
`Spreadsheet does not contain sheet called "${options.sheetName}"!`,
|
|
||||||
{ itemIndex: i },
|
|
||||||
);
|
|
||||||
}
|
|
||||||
sheetName = options.sheetName as string;
|
|
||||||
}
|
|
||||||
|
|
||||||
// Convert it to json
|
|
||||||
const sheetToJsonOptions: Sheet2JSONOpts = {};
|
|
||||||
if (options.range) {
|
|
||||||
if (isNaN(options.range as number)) {
|
|
||||||
sheetToJsonOptions.range = options.range;
|
|
||||||
} else {
|
|
||||||
sheetToJsonOptions.range = parseInt(options.range as string, 10);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
if (options.includeEmptyCells) {
|
|
||||||
sheetToJsonOptions.defval = '';
|
|
||||||
}
|
|
||||||
if (options.headerRow === false) {
|
|
||||||
sheetToJsonOptions.header = 1; // Consider the first row as a data row
|
|
||||||
}
|
|
||||||
|
|
||||||
const sheetJson = xlsxUtils.sheet_to_json(workbook.Sheets[sheetName], sheetToJsonOptions);
|
|
||||||
|
|
||||||
// Check if data could be found in file
|
|
||||||
if (sheetJson.length === 0) {
|
|
||||||
continue;
|
|
||||||
}
|
|
||||||
|
|
||||||
// Add all the found data columns to the workflow data
|
|
||||||
if (options.headerRow === false) {
|
|
||||||
// Data was returned as an array - https://github.com/SheetJS/sheetjs#json
|
|
||||||
for (const rowData of sheetJson) {
|
|
||||||
newItems.push({
|
|
||||||
json: {
|
|
||||||
row: rowData,
|
|
||||||
},
|
|
||||||
pairedItem: {
|
|
||||||
item: i,
|
|
||||||
},
|
|
||||||
} as INodeExecutionData);
|
|
||||||
}
|
|
||||||
} else {
|
|
||||||
for (const rowData of sheetJson) {
|
|
||||||
newItems.push({
|
|
||||||
json: rowData,
|
|
||||||
pairedItem: {
|
|
||||||
item: i,
|
|
||||||
},
|
|
||||||
} as INodeExecutionData);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
} catch (error) {
|
|
||||||
if (this.continueOnFail()) {
|
|
||||||
newItems.push({
|
|
||||||
json: {
|
|
||||||
error: error.message,
|
|
||||||
},
|
|
||||||
pairedItem: {
|
|
||||||
item: i,
|
|
||||||
},
|
|
||||||
});
|
|
||||||
continue;
|
|
||||||
}
|
|
||||||
throw error;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
return [newItems];
|
|
||||||
} else if (operation === 'toFile') {
|
|
||||||
try {
|
|
||||||
// Write the workflow data to spreadsheet file
|
|
||||||
const binaryPropertyName = this.getNodeParameter('binaryPropertyName', 0);
|
|
||||||
const fileFormat = this.getNodeParameter('fileFormat', 0) as string;
|
|
||||||
const options = this.getNodeParameter('options', 0, {});
|
|
||||||
const sheetToJsonOptions: JSON2SheetOpts = {};
|
|
||||||
if (options.headerRow === false) {
|
|
||||||
sheetToJsonOptions.skipHeader = true;
|
|
||||||
}
|
|
||||||
// Get the json data of the items and flatten it
|
|
||||||
let item: INodeExecutionData;
|
|
||||||
const itemData: IDataObject[] = [];
|
|
||||||
for (let itemIndex = 0; itemIndex < items.length; itemIndex++) {
|
|
||||||
item = items[itemIndex];
|
|
||||||
itemData.push(flattenObject(item.json));
|
|
||||||
}
|
|
||||||
|
|
||||||
const ws = xlsxUtils.json_to_sheet(itemData, sheetToJsonOptions);
|
|
||||||
|
|
||||||
const wopts: WritingOptions = {
|
|
||||||
bookSST: false,
|
|
||||||
type: 'buffer',
|
|
||||||
};
|
|
||||||
|
|
||||||
if (fileFormat === 'csv') {
|
|
||||||
wopts.bookType = 'csv';
|
|
||||||
} else if (fileFormat === 'html') {
|
|
||||||
wopts.bookType = 'html';
|
|
||||||
} else if (fileFormat === 'rtf') {
|
|
||||||
wopts.bookType = 'rtf';
|
|
||||||
} else if (fileFormat === 'ods') {
|
|
||||||
wopts.bookType = 'ods';
|
|
||||||
if (options.compression) {
|
|
||||||
wopts.compression = true;
|
|
||||||
}
|
|
||||||
} else if (fileFormat === 'xls') {
|
|
||||||
wopts.bookType = 'xls';
|
|
||||||
} else if (fileFormat === 'xlsx') {
|
|
||||||
wopts.bookType = 'xlsx';
|
|
||||||
if (options.compression) {
|
|
||||||
wopts.compression = true;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// Convert the data in the correct format
|
|
||||||
const sheetName = (options.sheetName as string) || 'Sheet';
|
|
||||||
const wb: WorkBook = {
|
|
||||||
SheetNames: [sheetName],
|
|
||||||
Sheets: {
|
|
||||||
[sheetName]: ws,
|
|
||||||
},
|
|
||||||
};
|
|
||||||
const wbout: Buffer = xlsxWrite(wb, wopts);
|
|
||||||
|
|
||||||
// Create a new item with only the binary spreadsheet data
|
|
||||||
const newItem: INodeExecutionData = {
|
|
||||||
json: {},
|
|
||||||
binary: {},
|
|
||||||
pairedItem: {
|
|
||||||
item: 0,
|
|
||||||
},
|
|
||||||
};
|
|
||||||
|
|
||||||
let fileName = `spreadsheet.${fileFormat}`;
|
|
||||||
if (options.fileName !== undefined) {
|
|
||||||
fileName = options.fileName as string;
|
|
||||||
}
|
|
||||||
|
|
||||||
newItem.binary![binaryPropertyName] = await this.helpers.prepareBinaryData(wbout, fileName);
|
|
||||||
|
|
||||||
newItems.push(newItem);
|
|
||||||
} catch (error) {
|
|
||||||
if (this.continueOnFail()) {
|
|
||||||
newItems.push({
|
|
||||||
json: {
|
|
||||||
error: error.message,
|
|
||||||
},
|
|
||||||
pairedItem: {
|
|
||||||
item: 0,
|
|
||||||
},
|
|
||||||
});
|
|
||||||
} else {
|
|
||||||
throw error;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
} else {
|
|
||||||
if (this.continueOnFail()) {
|
|
||||||
return [[{ json: { error: `The operation "${operation}" is not supported!` } }]];
|
|
||||||
} else {
|
|
||||||
throw new NodeOperationError(
|
|
||||||
this.getNode(),
|
|
||||||
`The operation "${operation}" is not supported!`,
|
|
||||||
);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
return [newItems];
|
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|||||||
285
packages/nodes-base/nodes/SpreadsheetFile/description.ts
Normal file
285
packages/nodes-base/nodes/SpreadsheetFile/description.ts
Normal file
@@ -0,0 +1,285 @@
|
|||||||
|
import type { INodeProperties } from 'n8n-workflow';
|
||||||
|
|
||||||
|
export const operationProperties: INodeProperties[] = [
|
||||||
|
{
|
||||||
|
displayName: 'Operation',
|
||||||
|
name: 'operation',
|
||||||
|
type: 'options',
|
||||||
|
noDataExpression: true,
|
||||||
|
options: [
|
||||||
|
{
|
||||||
|
name: 'Read From File',
|
||||||
|
value: 'fromFile',
|
||||||
|
description: 'Reads data from a spreadsheet file',
|
||||||
|
action: 'Read data from a spreadsheet file',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
name: 'Write to File',
|
||||||
|
value: 'toFile',
|
||||||
|
description: 'Writes the workflow data to a spreadsheet file',
|
||||||
|
action: 'Write data to a spreadsheet file',
|
||||||
|
},
|
||||||
|
],
|
||||||
|
default: 'fromFile',
|
||||||
|
},
|
||||||
|
];
|
||||||
|
|
||||||
|
export const fromFileProperties: INodeProperties[] = [
|
||||||
|
{
|
||||||
|
displayName: 'Binary Property',
|
||||||
|
name: 'binaryPropertyName',
|
||||||
|
type: 'string',
|
||||||
|
default: 'data',
|
||||||
|
required: true,
|
||||||
|
displayOptions: {
|
||||||
|
show: {
|
||||||
|
operation: ['fromFile'],
|
||||||
|
},
|
||||||
|
},
|
||||||
|
placeholder: '',
|
||||||
|
description:
|
||||||
|
'Name of the binary property from which to read the binary data of the spreadsheet file',
|
||||||
|
},
|
||||||
|
];
|
||||||
|
|
||||||
|
export const fromFileV2Properties: INodeProperties[] = [
|
||||||
|
{
|
||||||
|
displayName: 'File Format',
|
||||||
|
name: 'fileFormat',
|
||||||
|
type: 'options',
|
||||||
|
options: [
|
||||||
|
{
|
||||||
|
name: 'Autodetect',
|
||||||
|
value: 'autodetect',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
name: 'CSV',
|
||||||
|
value: 'csv',
|
||||||
|
description: 'Comma-separated values',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
name: 'HTML',
|
||||||
|
value: 'html',
|
||||||
|
description: 'HTML Table',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
name: 'ODS',
|
||||||
|
value: 'ods',
|
||||||
|
description: 'OpenDocument Spreadsheet',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
name: 'RTF',
|
||||||
|
value: 'rtf',
|
||||||
|
description: 'Rich Text Format',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
name: 'XLS',
|
||||||
|
value: 'xls',
|
||||||
|
description: 'Excel',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
name: 'XLSX',
|
||||||
|
value: 'xlsx',
|
||||||
|
description: 'Excel',
|
||||||
|
},
|
||||||
|
],
|
||||||
|
default: 'autodetect',
|
||||||
|
displayOptions: {
|
||||||
|
show: {
|
||||||
|
operation: ['fromFile'],
|
||||||
|
},
|
||||||
|
},
|
||||||
|
description: 'The format of the binary data to read from',
|
||||||
|
},
|
||||||
|
];
|
||||||
|
|
||||||
|
export const toFileProperties: INodeProperties[] = [
|
||||||
|
{
|
||||||
|
displayName: 'File Format',
|
||||||
|
name: 'fileFormat',
|
||||||
|
type: 'options',
|
||||||
|
options: [
|
||||||
|
{
|
||||||
|
name: 'CSV',
|
||||||
|
value: 'csv',
|
||||||
|
description: 'Comma-separated values',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
name: 'HTML',
|
||||||
|
value: 'html',
|
||||||
|
description: 'HTML Table',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
name: 'ODS',
|
||||||
|
value: 'ods',
|
||||||
|
description: 'OpenDocument Spreadsheet',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
name: 'RTF',
|
||||||
|
value: 'rtf',
|
||||||
|
description: 'Rich Text Format',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
name: 'XLS',
|
||||||
|
value: 'xls',
|
||||||
|
description: 'Excel',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
name: 'XLSX',
|
||||||
|
value: 'xlsx',
|
||||||
|
description: 'Excel',
|
||||||
|
},
|
||||||
|
],
|
||||||
|
default: 'xls',
|
||||||
|
displayOptions: {
|
||||||
|
show: {
|
||||||
|
operation: ['toFile'],
|
||||||
|
},
|
||||||
|
},
|
||||||
|
description: 'The format of the file to save the data as',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
displayName: 'Binary Property',
|
||||||
|
name: 'binaryPropertyName',
|
||||||
|
type: 'string',
|
||||||
|
default: 'data',
|
||||||
|
required: true,
|
||||||
|
displayOptions: {
|
||||||
|
show: {
|
||||||
|
operation: ['toFile'],
|
||||||
|
},
|
||||||
|
},
|
||||||
|
placeholder: '',
|
||||||
|
description:
|
||||||
|
'Name of the binary property in which to save the binary data of the spreadsheet file',
|
||||||
|
},
|
||||||
|
];
|
||||||
|
|
||||||
|
export const optionsProperties: INodeProperties[] = [
|
||||||
|
{
|
||||||
|
displayName: 'Options',
|
||||||
|
name: 'options',
|
||||||
|
type: 'collection',
|
||||||
|
placeholder: 'Add Option',
|
||||||
|
default: {},
|
||||||
|
options: [
|
||||||
|
{
|
||||||
|
displayName: 'Compression',
|
||||||
|
name: 'compression',
|
||||||
|
type: 'boolean',
|
||||||
|
displayOptions: {
|
||||||
|
show: {
|
||||||
|
'/operation': ['toFile'],
|
||||||
|
'/fileFormat': ['xlsx', 'ods'],
|
||||||
|
},
|
||||||
|
},
|
||||||
|
default: false,
|
||||||
|
description: 'Whether compression will be applied or not',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
displayName: 'File Name',
|
||||||
|
name: 'fileName',
|
||||||
|
type: 'string',
|
||||||
|
displayOptions: {
|
||||||
|
show: {
|
||||||
|
'/operation': ['toFile'],
|
||||||
|
},
|
||||||
|
},
|
||||||
|
default: '',
|
||||||
|
description:
|
||||||
|
'File name to set in binary data. By default will "spreadsheet.<fileFormat>" be used.',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
displayName: 'Header Row',
|
||||||
|
name: 'headerRow',
|
||||||
|
type: 'boolean',
|
||||||
|
displayOptions: {
|
||||||
|
show: {
|
||||||
|
'/operation': ['fromFile', 'toFile'],
|
||||||
|
},
|
||||||
|
},
|
||||||
|
default: true,
|
||||||
|
description: 'Whether the first row of the file contains the header names',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
displayName: 'Include Empty Cells',
|
||||||
|
name: 'includeEmptyCells',
|
||||||
|
type: 'boolean',
|
||||||
|
displayOptions: {
|
||||||
|
show: {
|
||||||
|
'/operation': ['fromFile'],
|
||||||
|
},
|
||||||
|
},
|
||||||
|
default: false,
|
||||||
|
// eslint-disable-next-line n8n-nodes-base/node-param-description-boolean-without-whether
|
||||||
|
description:
|
||||||
|
'When reading from file the empty cells will be filled with an empty string in the JSON',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
displayName: 'RAW Data',
|
||||||
|
name: 'rawData',
|
||||||
|
type: 'boolean',
|
||||||
|
displayOptions: {
|
||||||
|
show: {
|
||||||
|
'/operation': ['fromFile'],
|
||||||
|
},
|
||||||
|
},
|
||||||
|
default: false,
|
||||||
|
description: 'Whether the data should be returned RAW instead of parsed',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
displayName: 'Read As String',
|
||||||
|
name: 'readAsString',
|
||||||
|
type: 'boolean',
|
||||||
|
displayOptions: {
|
||||||
|
show: {
|
||||||
|
'/operation': ['fromFile'],
|
||||||
|
},
|
||||||
|
},
|
||||||
|
default: false,
|
||||||
|
// eslint-disable-next-line n8n-nodes-base/node-param-description-boolean-without-whether
|
||||||
|
description:
|
||||||
|
'In some cases and file formats, it is necessary to read specifically as string else some special character get interpreted wrong',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
displayName: 'Range',
|
||||||
|
name: 'range',
|
||||||
|
type: 'string',
|
||||||
|
displayOptions: {
|
||||||
|
show: {
|
||||||
|
'/operation': ['fromFile'],
|
||||||
|
},
|
||||||
|
},
|
||||||
|
default: '',
|
||||||
|
description:
|
||||||
|
'The range to read from the table. If set to a number it will be the starting row. If set to string it will be used as A1-style bounded range.',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
displayName: 'Sheet Name',
|
||||||
|
name: 'sheetName',
|
||||||
|
type: 'string',
|
||||||
|
displayOptions: {
|
||||||
|
show: {
|
||||||
|
'/operation': ['fromFile'],
|
||||||
|
},
|
||||||
|
},
|
||||||
|
default: 'Sheet',
|
||||||
|
description:
|
||||||
|
'Name of the sheet to read from in the spreadsheet (if supported). If not set, the first one gets chosen.',
|
||||||
|
},
|
||||||
|
{
|
||||||
|
displayName: 'Sheet Name',
|
||||||
|
name: 'sheetName',
|
||||||
|
type: 'string',
|
||||||
|
displayOptions: {
|
||||||
|
show: {
|
||||||
|
'/operation': ['toFile'],
|
||||||
|
'/fileFormat': ['ods', 'xls', 'xlsx'],
|
||||||
|
},
|
||||||
|
},
|
||||||
|
default: 'Sheet',
|
||||||
|
description: 'Name of the sheet to create in the spreadsheet',
|
||||||
|
},
|
||||||
|
],
|
||||||
|
},
|
||||||
|
];
|
||||||
@@ -0,0 +1,269 @@
|
|||||||
|
/* eslint-disable n8n-nodes-base/node-filename-against-convention */
|
||||||
|
import type {
|
||||||
|
IDataObject,
|
||||||
|
IExecuteFunctions,
|
||||||
|
INodeExecutionData,
|
||||||
|
INodeType,
|
||||||
|
INodeTypeBaseDescription,
|
||||||
|
INodeTypeDescription,
|
||||||
|
} from 'n8n-workflow';
|
||||||
|
import { BINARY_ENCODING, NodeOperationError } from 'n8n-workflow';
|
||||||
|
|
||||||
|
import type {
|
||||||
|
JSON2SheetOpts,
|
||||||
|
ParsingOptions,
|
||||||
|
Sheet2JSONOpts,
|
||||||
|
WorkBook,
|
||||||
|
WritingOptions,
|
||||||
|
} from 'xlsx';
|
||||||
|
import {
|
||||||
|
read as xlsxRead,
|
||||||
|
readFile as xlsxReadFile,
|
||||||
|
utils as xlsxUtils,
|
||||||
|
write as xlsxWrite,
|
||||||
|
} from 'xlsx';
|
||||||
|
|
||||||
|
import {
|
||||||
|
operationProperties,
|
||||||
|
fromFileProperties,
|
||||||
|
toFileProperties,
|
||||||
|
optionsProperties,
|
||||||
|
} from '../description';
|
||||||
|
import { flattenObject } from '@utils/utilities';
|
||||||
|
import { oldVersionNotice } from '@utils/descriptions';
|
||||||
|
|
||||||
|
export class SpreadsheetFileV1 implements INodeType {
|
||||||
|
description: INodeTypeDescription;
|
||||||
|
|
||||||
|
constructor(baseDescription: INodeTypeBaseDescription) {
|
||||||
|
this.description = {
|
||||||
|
...baseDescription,
|
||||||
|
version: 1,
|
||||||
|
defaults: {
|
||||||
|
name: 'Spreadsheet File',
|
||||||
|
color: '#2244FF',
|
||||||
|
},
|
||||||
|
inputs: ['main'],
|
||||||
|
outputs: ['main'],
|
||||||
|
properties: [
|
||||||
|
oldVersionNotice,
|
||||||
|
...operationProperties,
|
||||||
|
...fromFileProperties,
|
||||||
|
...toFileProperties,
|
||||||
|
...optionsProperties,
|
||||||
|
],
|
||||||
|
};
|
||||||
|
}
|
||||||
|
|
||||||
|
async execute(this: IExecuteFunctions): Promise<INodeExecutionData[][]> {
|
||||||
|
const items = this.getInputData();
|
||||||
|
|
||||||
|
const operation = this.getNodeParameter('operation', 0);
|
||||||
|
|
||||||
|
const newItems: INodeExecutionData[] = [];
|
||||||
|
|
||||||
|
if (operation === 'fromFile') {
|
||||||
|
// Read data from spreadsheet file to workflow
|
||||||
|
for (let i = 0; i < items.length; i++) {
|
||||||
|
try {
|
||||||
|
const binaryPropertyName = this.getNodeParameter('binaryPropertyName', i);
|
||||||
|
const options = this.getNodeParameter('options', i, {});
|
||||||
|
const binaryData = this.helpers.assertBinaryData(i, binaryPropertyName);
|
||||||
|
|
||||||
|
// Read the binary spreadsheet data
|
||||||
|
let workbook: WorkBook;
|
||||||
|
const xlsxOptions: ParsingOptions = { raw: options.rawData as boolean };
|
||||||
|
if (options.readAsString) xlsxOptions.type = 'string';
|
||||||
|
|
||||||
|
if (binaryData.id) {
|
||||||
|
const binaryPath = this.helpers.getBinaryPath(binaryData.id);
|
||||||
|
workbook = xlsxReadFile(binaryPath, xlsxOptions);
|
||||||
|
} else {
|
||||||
|
const binaryDataBuffer = Buffer.from(binaryData.data, BINARY_ENCODING);
|
||||||
|
workbook = xlsxRead(
|
||||||
|
options.readAsString ? binaryDataBuffer.toString() : binaryDataBuffer,
|
||||||
|
xlsxOptions,
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
|
if (workbook.SheetNames.length === 0) {
|
||||||
|
throw new NodeOperationError(this.getNode(), 'Spreadsheet does not have any sheets!', {
|
||||||
|
itemIndex: i,
|
||||||
|
});
|
||||||
|
}
|
||||||
|
|
||||||
|
let sheetName = workbook.SheetNames[0];
|
||||||
|
if (options.sheetName) {
|
||||||
|
if (!workbook.SheetNames.includes(options.sheetName as string)) {
|
||||||
|
throw new NodeOperationError(
|
||||||
|
this.getNode(),
|
||||||
|
`Spreadsheet does not contain sheet called "${options.sheetName}"!`,
|
||||||
|
{ itemIndex: i },
|
||||||
|
);
|
||||||
|
}
|
||||||
|
sheetName = options.sheetName as string;
|
||||||
|
}
|
||||||
|
|
||||||
|
// Convert it to json
|
||||||
|
const sheetToJsonOptions: Sheet2JSONOpts = {};
|
||||||
|
if (options.range) {
|
||||||
|
if (isNaN(options.range as number)) {
|
||||||
|
sheetToJsonOptions.range = options.range;
|
||||||
|
} else {
|
||||||
|
sheetToJsonOptions.range = parseInt(options.range as string, 10);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if (options.includeEmptyCells) {
|
||||||
|
sheetToJsonOptions.defval = '';
|
||||||
|
}
|
||||||
|
if (options.headerRow === false) {
|
||||||
|
sheetToJsonOptions.header = 1; // Consider the first row as a data row
|
||||||
|
}
|
||||||
|
|
||||||
|
const sheetJson = xlsxUtils.sheet_to_json(workbook.Sheets[sheetName], sheetToJsonOptions);
|
||||||
|
|
||||||
|
// Check if data could be found in file
|
||||||
|
if (sheetJson.length === 0) {
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
// Add all the found data columns to the workflow data
|
||||||
|
if (options.headerRow === false) {
|
||||||
|
// Data was returned as an array - https://github.com/SheetJS/sheetjs#json
|
||||||
|
for (const rowData of sheetJson) {
|
||||||
|
newItems.push({
|
||||||
|
json: {
|
||||||
|
row: rowData,
|
||||||
|
},
|
||||||
|
pairedItem: {
|
||||||
|
item: i,
|
||||||
|
},
|
||||||
|
} as INodeExecutionData);
|
||||||
|
}
|
||||||
|
} else {
|
||||||
|
for (const rowData of sheetJson) {
|
||||||
|
newItems.push({
|
||||||
|
json: rowData,
|
||||||
|
pairedItem: {
|
||||||
|
item: i,
|
||||||
|
},
|
||||||
|
} as INodeExecutionData);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
} catch (error) {
|
||||||
|
if (this.continueOnFail()) {
|
||||||
|
newItems.push({
|
||||||
|
json: {
|
||||||
|
error: error.message,
|
||||||
|
},
|
||||||
|
pairedItem: {
|
||||||
|
item: i,
|
||||||
|
},
|
||||||
|
});
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
throw error;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return [newItems];
|
||||||
|
} else if (operation === 'toFile') {
|
||||||
|
try {
|
||||||
|
// Write the workflow data to spreadsheet file
|
||||||
|
const binaryPropertyName = this.getNodeParameter('binaryPropertyName', 0);
|
||||||
|
const fileFormat = this.getNodeParameter('fileFormat', 0) as string;
|
||||||
|
const options = this.getNodeParameter('options', 0, {});
|
||||||
|
const sheetToJsonOptions: JSON2SheetOpts = {};
|
||||||
|
if (options.headerRow === false) {
|
||||||
|
sheetToJsonOptions.skipHeader = true;
|
||||||
|
}
|
||||||
|
// Get the json data of the items and flatten it
|
||||||
|
let item: INodeExecutionData;
|
||||||
|
const itemData: IDataObject[] = [];
|
||||||
|
for (let itemIndex = 0; itemIndex < items.length; itemIndex++) {
|
||||||
|
item = items[itemIndex];
|
||||||
|
itemData.push(flattenObject(item.json));
|
||||||
|
}
|
||||||
|
|
||||||
|
const ws = xlsxUtils.json_to_sheet(itemData, sheetToJsonOptions);
|
||||||
|
|
||||||
|
const wopts: WritingOptions = {
|
||||||
|
bookSST: false,
|
||||||
|
type: 'buffer',
|
||||||
|
};
|
||||||
|
|
||||||
|
if (fileFormat === 'csv') {
|
||||||
|
wopts.bookType = 'csv';
|
||||||
|
} else if (fileFormat === 'html') {
|
||||||
|
wopts.bookType = 'html';
|
||||||
|
} else if (fileFormat === 'rtf') {
|
||||||
|
wopts.bookType = 'rtf';
|
||||||
|
} else if (fileFormat === 'ods') {
|
||||||
|
wopts.bookType = 'ods';
|
||||||
|
if (options.compression) {
|
||||||
|
wopts.compression = true;
|
||||||
|
}
|
||||||
|
} else if (fileFormat === 'xls') {
|
||||||
|
wopts.bookType = 'xls';
|
||||||
|
} else if (fileFormat === 'xlsx') {
|
||||||
|
wopts.bookType = 'xlsx';
|
||||||
|
if (options.compression) {
|
||||||
|
wopts.compression = true;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// Convert the data in the correct format
|
||||||
|
const sheetName = (options.sheetName as string) || 'Sheet';
|
||||||
|
const wb: WorkBook = {
|
||||||
|
SheetNames: [sheetName],
|
||||||
|
Sheets: {
|
||||||
|
[sheetName]: ws,
|
||||||
|
},
|
||||||
|
};
|
||||||
|
const wbout: Buffer = xlsxWrite(wb, wopts);
|
||||||
|
|
||||||
|
// Create a new item with only the binary spreadsheet data
|
||||||
|
const newItem: INodeExecutionData = {
|
||||||
|
json: {},
|
||||||
|
binary: {},
|
||||||
|
pairedItem: {
|
||||||
|
item: 0,
|
||||||
|
},
|
||||||
|
};
|
||||||
|
|
||||||
|
let fileName = `spreadsheet.${fileFormat}`;
|
||||||
|
if (options.fileName !== undefined) {
|
||||||
|
fileName = options.fileName as string;
|
||||||
|
}
|
||||||
|
|
||||||
|
newItem.binary![binaryPropertyName] = await this.helpers.prepareBinaryData(wbout, fileName);
|
||||||
|
|
||||||
|
newItems.push(newItem);
|
||||||
|
} catch (error) {
|
||||||
|
if (this.continueOnFail()) {
|
||||||
|
newItems.push({
|
||||||
|
json: {
|
||||||
|
error: error.message,
|
||||||
|
},
|
||||||
|
pairedItem: {
|
||||||
|
item: 0,
|
||||||
|
},
|
||||||
|
});
|
||||||
|
} else {
|
||||||
|
throw error;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
} else {
|
||||||
|
if (this.continueOnFail()) {
|
||||||
|
return [[{ json: { error: `The operation "${operation}" is not supported!` } }]];
|
||||||
|
} else {
|
||||||
|
throw new NodeOperationError(
|
||||||
|
this.getNode(),
|
||||||
|
`The operation "${operation}" is not supported!`,
|
||||||
|
);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return [newItems];
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,302 @@
|
|||||||
|
/* eslint-disable n8n-nodes-base/node-filename-against-convention */
|
||||||
|
import { pipeline } from 'stream/promises';
|
||||||
|
import type {
|
||||||
|
IDataObject,
|
||||||
|
IExecuteFunctions,
|
||||||
|
INodeExecutionData,
|
||||||
|
INodeType,
|
||||||
|
INodeTypeBaseDescription,
|
||||||
|
INodeTypeDescription,
|
||||||
|
} from 'n8n-workflow';
|
||||||
|
import { BINARY_ENCODING, NodeOperationError } from 'n8n-workflow';
|
||||||
|
|
||||||
|
import type {
|
||||||
|
JSON2SheetOpts,
|
||||||
|
Sheet2JSONOpts,
|
||||||
|
WorkBook,
|
||||||
|
WritingOptions,
|
||||||
|
ParsingOptions,
|
||||||
|
} from 'xlsx';
|
||||||
|
|
||||||
|
import {
|
||||||
|
read as xlsxRead,
|
||||||
|
readFile as xlsxReadFile,
|
||||||
|
utils as xlsxUtils,
|
||||||
|
write as xlsxWrite,
|
||||||
|
} from 'xlsx';
|
||||||
|
import { parse as createCSVParser } from 'csv-parse';
|
||||||
|
|
||||||
|
import {
|
||||||
|
operationProperties,
|
||||||
|
fromFileProperties,
|
||||||
|
toFileProperties,
|
||||||
|
optionsProperties,
|
||||||
|
fromFileV2Properties,
|
||||||
|
} from '../description';
|
||||||
|
import { flattenObject } from '@utils/utilities';
|
||||||
|
|
||||||
|
export class SpreadsheetFileV2 implements INodeType {
|
||||||
|
description: INodeTypeDescription;
|
||||||
|
|
||||||
|
constructor(baseDescription: INodeTypeBaseDescription) {
|
||||||
|
this.description = {
|
||||||
|
...baseDescription,
|
||||||
|
version: 2,
|
||||||
|
defaults: {
|
||||||
|
name: 'Spreadsheet File',
|
||||||
|
color: '#2244FF',
|
||||||
|
},
|
||||||
|
inputs: ['main'],
|
||||||
|
outputs: ['main'],
|
||||||
|
properties: [
|
||||||
|
...operationProperties,
|
||||||
|
...fromFileProperties,
|
||||||
|
...fromFileV2Properties,
|
||||||
|
...toFileProperties,
|
||||||
|
...optionsProperties,
|
||||||
|
],
|
||||||
|
};
|
||||||
|
}
|
||||||
|
|
||||||
|
async execute(this: IExecuteFunctions): Promise<INodeExecutionData[][]> {
|
||||||
|
const items = this.getInputData();
|
||||||
|
|
||||||
|
const operation = this.getNodeParameter('operation', 0);
|
||||||
|
|
||||||
|
const newItems: INodeExecutionData[] = [];
|
||||||
|
|
||||||
|
if (operation === 'fromFile') {
|
||||||
|
// Read data from spreadsheet file to workflow
|
||||||
|
for (let i = 0; i < items.length; i++) {
|
||||||
|
try {
|
||||||
|
const options = this.getNodeParameter('options', i, {});
|
||||||
|
let fileFormat = this.getNodeParameter('fileFormat', i, {});
|
||||||
|
const binaryPropertyName = this.getNodeParameter('binaryPropertyName', i);
|
||||||
|
const binaryData = this.helpers.assertBinaryData(i, binaryPropertyName);
|
||||||
|
|
||||||
|
let rows: unknown[] = [];
|
||||||
|
|
||||||
|
if (
|
||||||
|
fileFormat === 'autodetect' &&
|
||||||
|
(binaryData.mimeType === 'text/csv' ||
|
||||||
|
(binaryData.mimeType === 'text/plain' && binaryData.fileExtension === 'csv'))
|
||||||
|
) {
|
||||||
|
fileFormat = 'csv';
|
||||||
|
}
|
||||||
|
|
||||||
|
if (fileFormat === 'csv') {
|
||||||
|
const parser = createCSVParser({
|
||||||
|
columns: options.headerRow !== false,
|
||||||
|
onRecord: (record) => {
|
||||||
|
rows.push(record);
|
||||||
|
},
|
||||||
|
});
|
||||||
|
if (binaryData.id) {
|
||||||
|
const stream = this.helpers.getBinaryStream(binaryData.id);
|
||||||
|
await pipeline(stream, parser);
|
||||||
|
} else {
|
||||||
|
parser.write(binaryData.data, BINARY_ENCODING);
|
||||||
|
}
|
||||||
|
} else {
|
||||||
|
let workbook: WorkBook;
|
||||||
|
const xlsxOptions: ParsingOptions = { raw: options.rawData as boolean };
|
||||||
|
if (options.readAsString) xlsxOptions.type = 'string';
|
||||||
|
|
||||||
|
if (binaryData.id) {
|
||||||
|
const binaryPath = this.helpers.getBinaryPath(binaryData.id);
|
||||||
|
workbook = xlsxReadFile(binaryPath, xlsxOptions);
|
||||||
|
} else {
|
||||||
|
const binaryDataBuffer = Buffer.from(binaryData.data, BINARY_ENCODING);
|
||||||
|
workbook = xlsxRead(
|
||||||
|
options.readAsString ? binaryDataBuffer.toString() : binaryDataBuffer,
|
||||||
|
xlsxOptions,
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
|
if (workbook.SheetNames.length === 0) {
|
||||||
|
throw new NodeOperationError(
|
||||||
|
this.getNode(),
|
||||||
|
'Spreadsheet does not have any sheets!',
|
||||||
|
{
|
||||||
|
itemIndex: i,
|
||||||
|
},
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
|
let sheetName = workbook.SheetNames[0];
|
||||||
|
if (options.sheetName) {
|
||||||
|
if (!workbook.SheetNames.includes(options.sheetName as string)) {
|
||||||
|
throw new NodeOperationError(
|
||||||
|
this.getNode(),
|
||||||
|
`Spreadsheet does not contain sheet called "${options.sheetName}"!`,
|
||||||
|
{ itemIndex: i },
|
||||||
|
);
|
||||||
|
}
|
||||||
|
sheetName = options.sheetName as string;
|
||||||
|
}
|
||||||
|
|
||||||
|
// Convert it to json
|
||||||
|
const sheetToJsonOptions: Sheet2JSONOpts = {};
|
||||||
|
if (options.range) {
|
||||||
|
if (isNaN(options.range as number)) {
|
||||||
|
sheetToJsonOptions.range = options.range;
|
||||||
|
} else {
|
||||||
|
sheetToJsonOptions.range = parseInt(options.range as string, 10);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if (options.includeEmptyCells) {
|
||||||
|
sheetToJsonOptions.defval = '';
|
||||||
|
}
|
||||||
|
|
||||||
|
if (options.headerRow === false) {
|
||||||
|
sheetToJsonOptions.header = 1; // Consider the first row as a data row
|
||||||
|
}
|
||||||
|
|
||||||
|
rows = xlsxUtils.sheet_to_json(workbook.Sheets[sheetName], sheetToJsonOptions);
|
||||||
|
|
||||||
|
// Check if data could be found in file
|
||||||
|
if (rows.length === 0) {
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// Add all the found data columns to the workflow data
|
||||||
|
if (options.headerRow === false) {
|
||||||
|
// Data was returned as an array - https://github.com/SheetJS/sheetjs#json
|
||||||
|
for (const rowData of rows) {
|
||||||
|
newItems.push({
|
||||||
|
json: {
|
||||||
|
row: rowData,
|
||||||
|
},
|
||||||
|
pairedItem: {
|
||||||
|
item: i,
|
||||||
|
},
|
||||||
|
} as INodeExecutionData);
|
||||||
|
}
|
||||||
|
} else {
|
||||||
|
for (const rowData of rows) {
|
||||||
|
newItems.push({
|
||||||
|
json: rowData,
|
||||||
|
pairedItem: {
|
||||||
|
item: i,
|
||||||
|
},
|
||||||
|
} as INodeExecutionData);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
} catch (error) {
|
||||||
|
if (this.continueOnFail()) {
|
||||||
|
newItems.push({
|
||||||
|
json: {
|
||||||
|
error: error.message,
|
||||||
|
},
|
||||||
|
pairedItem: {
|
||||||
|
item: i,
|
||||||
|
},
|
||||||
|
});
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
throw new NodeOperationError(this.getNode(), error, { itemIndex: i });
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return [newItems];
|
||||||
|
} else if (operation === 'toFile') {
|
||||||
|
try {
|
||||||
|
// Write the workflow data to spreadsheet file
|
||||||
|
const binaryPropertyName = this.getNodeParameter('binaryPropertyName', 0);
|
||||||
|
const fileFormat = this.getNodeParameter('fileFormat', 0) as string;
|
||||||
|
const options = this.getNodeParameter('options', 0, {});
|
||||||
|
const sheetToJsonOptions: JSON2SheetOpts = {};
|
||||||
|
if (options.headerRow === false) {
|
||||||
|
sheetToJsonOptions.skipHeader = true;
|
||||||
|
}
|
||||||
|
// Get the json data of the items and flatten it
|
||||||
|
let item: INodeExecutionData;
|
||||||
|
const itemData: IDataObject[] = [];
|
||||||
|
for (let itemIndex = 0; itemIndex < items.length; itemIndex++) {
|
||||||
|
item = items[itemIndex];
|
||||||
|
itemData.push(flattenObject(item.json));
|
||||||
|
}
|
||||||
|
|
||||||
|
const ws = xlsxUtils.json_to_sheet(itemData, sheetToJsonOptions);
|
||||||
|
|
||||||
|
const wopts: WritingOptions = {
|
||||||
|
bookSST: false,
|
||||||
|
type: 'buffer',
|
||||||
|
};
|
||||||
|
|
||||||
|
if (fileFormat === 'csv') {
|
||||||
|
wopts.bookType = 'csv';
|
||||||
|
} else if (fileFormat === 'html') {
|
||||||
|
wopts.bookType = 'html';
|
||||||
|
} else if (fileFormat === 'rtf') {
|
||||||
|
wopts.bookType = 'rtf';
|
||||||
|
} else if (fileFormat === 'ods') {
|
||||||
|
wopts.bookType = 'ods';
|
||||||
|
if (options.compression) {
|
||||||
|
wopts.compression = true;
|
||||||
|
}
|
||||||
|
} else if (fileFormat === 'xls') {
|
||||||
|
wopts.bookType = 'xls';
|
||||||
|
} else if (fileFormat === 'xlsx') {
|
||||||
|
wopts.bookType = 'xlsx';
|
||||||
|
if (options.compression) {
|
||||||
|
wopts.compression = true;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// Convert the data in the correct format
|
||||||
|
const sheetName = (options.sheetName as string) || 'Sheet';
|
||||||
|
const wb: WorkBook = {
|
||||||
|
SheetNames: [sheetName],
|
||||||
|
Sheets: {
|
||||||
|
[sheetName]: ws,
|
||||||
|
},
|
||||||
|
};
|
||||||
|
const wbout: Buffer = xlsxWrite(wb, wopts);
|
||||||
|
|
||||||
|
// Create a new item with only the binary spreadsheet data
|
||||||
|
const newItem: INodeExecutionData = {
|
||||||
|
json: {},
|
||||||
|
binary: {},
|
||||||
|
pairedItem: {
|
||||||
|
item: 0,
|
||||||
|
},
|
||||||
|
};
|
||||||
|
|
||||||
|
let fileName = `spreadsheet.${fileFormat}`;
|
||||||
|
if (options.fileName !== undefined) {
|
||||||
|
fileName = options.fileName as string;
|
||||||
|
}
|
||||||
|
|
||||||
|
newItem.binary![binaryPropertyName] = await this.helpers.prepareBinaryData(wbout, fileName);
|
||||||
|
|
||||||
|
newItems.push(newItem);
|
||||||
|
} catch (error) {
|
||||||
|
if (this.continueOnFail()) {
|
||||||
|
newItems.push({
|
||||||
|
json: {
|
||||||
|
error: error.message,
|
||||||
|
},
|
||||||
|
pairedItem: {
|
||||||
|
item: 0,
|
||||||
|
},
|
||||||
|
});
|
||||||
|
} else {
|
||||||
|
throw error;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
} else {
|
||||||
|
if (this.continueOnFail()) {
|
||||||
|
return [[{ json: { error: `The operation "${operation}" is not supported!` } }]];
|
||||||
|
} else {
|
||||||
|
throw new NodeOperationError(
|
||||||
|
this.getNode(),
|
||||||
|
`The operation "${operation}" is not supported!`,
|
||||||
|
);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return [newItems];
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -822,6 +822,7 @@
|
|||||||
"cheerio": "1.0.0-rc.6",
|
"cheerio": "1.0.0-rc.6",
|
||||||
"chokidar": "3.5.2",
|
"chokidar": "3.5.2",
|
||||||
"cron": "~1.7.2",
|
"cron": "~1.7.2",
|
||||||
|
"csv-parse": "^5.5.0",
|
||||||
"currency-codes": "^2.1.0",
|
"currency-codes": "^2.1.0",
|
||||||
"eventsource": "^2.0.2",
|
"eventsource": "^2.0.2",
|
||||||
"fast-glob": "^3.2.5",
|
"fast-glob": "^3.2.5",
|
||||||
|
|||||||
@@ -264,3 +264,30 @@ export function getResolvables(expression: string) {
|
|||||||
|
|
||||||
return resolvables;
|
return resolvables;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Flattens an object with deep data
|
||||||
|
*
|
||||||
|
* @param {IDataObject} data The object to flatten
|
||||||
|
*/
|
||||||
|
export function flattenObject(data: IDataObject) {
|
||||||
|
const returnData: IDataObject = {};
|
||||||
|
for (const key1 of Object.keys(data)) {
|
||||||
|
if (data[key1] !== null && typeof data[key1] === 'object') {
|
||||||
|
if (data[key1] instanceof Date) {
|
||||||
|
returnData[key1] = data[key1]?.toString();
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
const flatObject = flattenObject(data[key1] as IDataObject);
|
||||||
|
for (const key2 in flatObject) {
|
||||||
|
if (flatObject[key2] === undefined) {
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
returnData[`${key1}.${key2}`] = flatObject[key2];
|
||||||
|
}
|
||||||
|
} else {
|
||||||
|
returnData[key1] = data[key1];
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return returnData;
|
||||||
|
}
|
||||||
|
|||||||
7
pnpm-lock.yaml
generated
7
pnpm-lock.yaml
generated
@@ -1039,6 +1039,9 @@ importers:
|
|||||||
cron:
|
cron:
|
||||||
specifier: ~1.7.2
|
specifier: ~1.7.2
|
||||||
version: 1.7.2
|
version: 1.7.2
|
||||||
|
csv-parse:
|
||||||
|
specifier: ^5.5.0
|
||||||
|
version: 5.5.0
|
||||||
currency-codes:
|
currency-codes:
|
||||||
specifier: ^2.1.0
|
specifier: ^2.1.0
|
||||||
version: 2.1.0
|
version: 2.1.0
|
||||||
@@ -10592,6 +10595,10 @@ packages:
|
|||||||
/csstype@3.1.1:
|
/csstype@3.1.1:
|
||||||
resolution: {integrity: sha512-DJR/VvkAvSZW9bTouZue2sSxDwdTN92uHjqeKVm+0dAqdfNykRzQ95tay8aXMBAAPpUiq4Qcug2L7neoRh2Egw==}
|
resolution: {integrity: sha512-DJR/VvkAvSZW9bTouZue2sSxDwdTN92uHjqeKVm+0dAqdfNykRzQ95tay8aXMBAAPpUiq4Qcug2L7neoRh2Egw==}
|
||||||
|
|
||||||
|
/csv-parse@5.5.0:
|
||||||
|
resolution: {integrity: sha512-RxruSK3M4XgzcD7Trm2wEN+SJ26ChIb903+IWxNOcB5q4jT2Cs+hFr6QP39J05EohshRFEvyzEBoZ/466S2sbw==}
|
||||||
|
dev: false
|
||||||
|
|
||||||
/curlconverter@3.21.0(chokidar@3.5.2):
|
/curlconverter@3.21.0(chokidar@3.5.2):
|
||||||
resolution: {integrity: sha512-DXCnp1A/Xa69FujksUfdvWQFAnIn/C+4Wuv8t+UVdZkF/lY5bzj98GGKOGme7V/ckSHDLxE29Xp76sJ5Cpsp5A==}
|
resolution: {integrity: sha512-DXCnp1A/Xa69FujksUfdvWQFAnIn/C+4Wuv8t+UVdZkF/lY5bzj98GGKOGme7V/ckSHDLxE29Xp76sJ5Cpsp5A==}
|
||||||
hasBin: true
|
hasBin: true
|
||||||
|
|||||||
Reference in New Issue
Block a user