refactor
This commit is contained in:
@ -16,9 +16,10 @@
|
|||||||
},
|
},
|
||||||
"background": {
|
"background": {
|
||||||
"scripts": [
|
"scripts": [
|
||||||
|
"scripts/background.js",
|
||||||
|
"scripts/csv.js",
|
||||||
"scripts/tools.js",
|
"scripts/tools.js",
|
||||||
"scripts/extract.js",
|
"scripts/extract.js"
|
||||||
"scripts/background.js"
|
|
||||||
],
|
],
|
||||||
"persistent": false
|
"persistent": false
|
||||||
},
|
},
|
||||||
@ -26,7 +27,6 @@
|
|||||||
"matches": ["*://*/*"],
|
"matches": ["*://*/*"],
|
||||||
"js": [
|
"js": [
|
||||||
"scripts/jquery.min.js",
|
"scripts/jquery.min.js",
|
||||||
"scripts/tools.js",
|
|
||||||
"scripts/content.js"
|
"scripts/content.js"
|
||||||
],
|
],
|
||||||
"run_at": "document_idle"
|
"run_at": "document_idle"
|
||||||
|
|||||||
@ -79,12 +79,7 @@ function extract(...args) {
|
|||||||
console.log(sig);
|
console.log(sig);
|
||||||
return;
|
return;
|
||||||
}
|
}
|
||||||
if (args.length == 2) {
|
|
||||||
let data = extractTabData(args[0], args[1]);
|
|
||||||
data.unshift(args[1]);
|
|
||||||
saveFileAsk(data);
|
|
||||||
return;
|
|
||||||
}
|
|
||||||
let message = {
|
let message = {
|
||||||
from: "DataExtracter:Extract",
|
from: "DataExtracter:Extract",
|
||||||
args: args
|
args: args
|
||||||
|
|||||||
31
scripts/csv.js
Normal file
31
scripts/csv.js
Normal file
@ -0,0 +1,31 @@
|
|||||||
|
class CSV {
|
||||||
|
constructor(data) {
|
||||||
|
this._data = data || [];
|
||||||
|
|
||||||
|
}
|
||||||
|
row(index) {
|
||||||
|
return this._data[index];
|
||||||
|
}
|
||||||
|
column(index) {
|
||||||
|
return new [...Array(this._data.length).keys].map(
|
||||||
|
i => this._data[i, index]
|
||||||
|
);
|
||||||
|
}
|
||||||
|
get data() {
|
||||||
|
return this._data;
|
||||||
|
}
|
||||||
|
toString(rowsCount) {
|
||||||
|
let data = rowsCount > 0 ? this._data.slice(0, rowsCount) : this._data;
|
||||||
|
return data.slice().reduce(
|
||||||
|
(csv, lineCells) => {
|
||||||
|
let line = lineCells.reduce(
|
||||||
|
(lineText, cell, idx) => {
|
||||||
|
cell = '"' + cell.trim().replace(/"/g, '""') + '"';
|
||||||
|
return lineText + cell + (idx == lineCells.length - 1 ? "" : ",")
|
||||||
|
}, "");
|
||||||
|
return csv + line + "\n";
|
||||||
|
},
|
||||||
|
""
|
||||||
|
);
|
||||||
|
}
|
||||||
|
}
|
||||||
@ -5,9 +5,12 @@
|
|||||||
* @param {...any} args url list / url templates, page numers, either [from, to, interval] or [...pages]
|
* @param {...any} args url list / url templates, page numers, either [from, to, interval] or [...pages]
|
||||||
*/
|
*/
|
||||||
async function extract(itemsSelector, fieldSelectors, ...args) {
|
async function extract(itemsSelector, fieldSelectors, ...args) {
|
||||||
let data = await getData(itemsSelector, fieldSelectors, ...args);
|
let result = await getData(itemsSelector, fieldSelectors, ...args);
|
||||||
data.unshift(fieldSelectors);
|
if (confirm(
|
||||||
saveFileAsk(data);
|
`Click confirm to download if the sample data looks good (${result.data.length} items):\n\n${result.toString(50) || "- Empty -"}`
|
||||||
|
)) {
|
||||||
|
saveFile(result, "text/csv");
|
||||||
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
@ -18,6 +21,7 @@ async function extract(itemsSelector, fieldSelectors, ...args) {
|
|||||||
*/
|
*/
|
||||||
async function getData(itemsSelector, fieldSelectors, ...args) {
|
async function getData(itemsSelector, fieldSelectors, ...args) {
|
||||||
let urls = [];
|
let urls = [];
|
||||||
|
if (args.length) {
|
||||||
let arg = args.shift();
|
let arg = args.shift();
|
||||||
if (arg instanceof Array) {
|
if (arg instanceof Array) {
|
||||||
urls = arg;
|
urls = arg;
|
||||||
@ -36,14 +40,12 @@ async function getData(itemsSelector, fieldSelectors, ...args) {
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
}
|
||||||
let data = [];
|
let data = [];
|
||||||
|
let tab = await getActiveTab(true) || await getActiveTab(false);
|
||||||
|
if (!tab) throw new Error("Cannot find active tab.");
|
||||||
return new Promise((resolve, reject) => {
|
return new Promise((resolve, reject) => {
|
||||||
chrome.tabs.query({
|
|
||||||
active: true,
|
|
||||||
currentWindow: false
|
|
||||||
}, function (tabs) {
|
|
||||||
let pms;
|
let pms;
|
||||||
let tab = tabs[0];
|
|
||||||
if (urls.length) {
|
if (urls.length) {
|
||||||
pms = urls.reduce((p, url) => p.then(
|
pms = urls.reduce((p, url) => p.then(
|
||||||
results => {
|
results => {
|
||||||
@ -60,12 +62,11 @@ async function getData(itemsSelector, fieldSelectors, ...args) {
|
|||||||
pms.then(
|
pms.then(
|
||||||
results => {
|
results => {
|
||||||
data.push(...results);
|
data.push(...results);
|
||||||
resolve(data);
|
resolve(new CSV(data));
|
||||||
},
|
},
|
||||||
err => reject(err)
|
err => reject(err)
|
||||||
);
|
);
|
||||||
});
|
});
|
||||||
});
|
|
||||||
}
|
}
|
||||||
|
|
||||||
function redirectTab(tab, url) {
|
function redirectTab(tab, url) {
|
||||||
@ -164,3 +165,14 @@ function sendMessage(tab, req, cond, failedTimeOut, detectInterval) {
|
|||||||
}
|
}
|
||||||
});
|
});
|
||||||
}
|
}
|
||||||
|
|
||||||
|
async function getActiveTab(currentWindow) {
|
||||||
|
return new Promise((resolve, reject) => {
|
||||||
|
chrome.tabs.query({
|
||||||
|
active: true,
|
||||||
|
currentWindow: currentWindow
|
||||||
|
}, function (tabs) {
|
||||||
|
resolve(tabs[0]);
|
||||||
|
})
|
||||||
|
})
|
||||||
|
}
|
||||||
@ -1,17 +1,3 @@
|
|||||||
function formatCSV(data) {
|
|
||||||
return data.reduce(
|
|
||||||
(csv, lineCells) => {
|
|
||||||
let line = lineCells.reduce(
|
|
||||||
(lineText, cell, idx) => {
|
|
||||||
cell = '"' + cell.trim().replace(/"/g, '""') + '"';
|
|
||||||
return lineText + cell + (idx == lineCells.length - 1 ? "" : ",")
|
|
||||||
}, "");
|
|
||||||
return csv + line + "\n";
|
|
||||||
},
|
|
||||||
""
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
function saveFile(data, mimeType, fileName) {
|
function saveFile(data, mimeType, fileName) {
|
||||||
fileName = fileName || document.title || "result";
|
fileName = fileName || document.title || "result";
|
||||||
var blob;
|
var blob;
|
||||||
@ -43,11 +29,3 @@ function saveFile(data, mimeType, fileName) {
|
|||||||
location.href = url
|
location.href = url
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
function saveFileAsk(data) {
|
|
||||||
let csv = formatCSV(data.slice(1, 50)).trim() || "- Empty -";
|
|
||||||
if (confirm(`Click confirm to download if the sample data looks good (${data.length-1} items):\n\n${csv}`)) {
|
|
||||||
csv = formatCSV(data);
|
|
||||||
saveFile(csv, "text/csv");
|
|
||||||
}
|
|
||||||
}
|
|
||||||
Reference in New Issue
Block a user