mirror of
https://scm.univ-tours.fr/22107988t/rappaurio-sae501_502.git
synced 2025-08-29 17:55:58 +02:00
permet l'ajout des frameworks et des routes
This commit is contained in:
22107988t
388
app/node_modules/cejs/application/net/archive.js
generated
vendored
Normal file
388
app/node_modules/cejs/application/net/archive.js
generated
vendored
Normal file
@@ -0,0 +1,388 @@
|
||||
/**
|
||||
* @name CeL function for checking archive sites
|
||||
*
|
||||
* @fileoverview 本檔案包含了 checking archive sites 用的程式庫。
|
||||
*
|
||||
* TODO:<code>
|
||||
|
||||
Memento API
|
||||
https://en.wikipedia.org/wiki/Memento_Project
|
||||
|
||||
http://www.webcitation.org/archive
|
||||
|
||||
</code>
|
||||
*
|
||||
* @since 2016/8/6 10:4:5
|
||||
* @see https://en.wikipedia.org/wiki/Archive_site
|
||||
*/
|
||||
|
||||
'use strict';
|
||||
|
||||
// --------------------------------------------------------------------------------------------
|
||||
|
||||
// 不採用 if 陳述式，可以避免 Eclipse JSDoc 與 format 多縮排一層。
|
||||
typeof CeL === 'function' && CeL.run({
|
||||
// module name.
|
||||
name : 'application.net.archive',
|
||||
// .includes() @ data.code.compatibility
|
||||
// .between() @ data.native
|
||||
require : 'data.code.compatibility.|data.native.'
|
||||
// optional 選用:
|
||||
+ '|application.net.Ajax.get_URL',
|
||||
// 為了方便格式化程式碼，因此將 module 函式主體另外抽出。
|
||||
code : module_code,
|
||||
// 設定不匯出的子函式。
|
||||
no_extend : '*'
|
||||
});
|
||||
|
||||
function module_code(library_namespace) {
|
||||
|
||||
// requiring
|
||||
var get_URL = this.r('get_URL');
|
||||
|
||||
function archive_sites() {
|
||||
}
|
||||
|
||||
/**
|
||||
* Check if the status is OK.
|
||||
*
|
||||
* @param status
|
||||
* status to check
|
||||
*
|
||||
* @returns {Boolean}the status is OK.
|
||||
*/
|
||||
function status_is_OK(status) {
|
||||
return status >= 200 && status < 300;
|
||||
}
|
||||
|
||||
// --------------------------------------------------------------------------------------------
|
||||
|
||||
// archive_org_queue = [ [ URL, {Array}callback_list ] ]
|
||||
var archive_org_queue = [], archive_org_last_call,
|
||||
// running now. token. 表示是否正執行中。
|
||||
archive_org_running;
|
||||
|
||||
function archive_org_operator() {
|
||||
// 已有其他 thread 執行中。
|
||||
if (archive_org_running
|
||||
// 已無任務。
|
||||
|| archive_org_queue.length === 0) {
|
||||
return;
|
||||
}
|
||||
|
||||
// -------------------
|
||||
// 確認已經等夠時間了。
|
||||
|
||||
var need_wait = archive_org.lag_interval
|
||||
- (Date.now() - archive_org_last_call);
|
||||
|
||||
function to_wait() {
|
||||
library_namespace.debug('Wait ' + need_wait + ' ms: [' + URL + ']',
|
||||
3, 'archive_org_operator');
|
||||
setTimeout(function() {
|
||||
archive_org_operator();
|
||||
}, need_wait);
|
||||
}
|
||||
|
||||
if (need_wait > 0) {
|
||||
to_wait();
|
||||
return;
|
||||
}
|
||||
archive_org_last_call = Date.now();
|
||||
|
||||
// -------------------
|
||||
|
||||
archive_org_running = true;
|
||||
|
||||
// [ URL, {Array}callback_list ]
|
||||
var checking_now = archive_org_queue.shift(),
|
||||
//
|
||||
URL = checking_now[0];
|
||||
|
||||
library_namespace.debug('Process [' + URL + '], '
|
||||
+ archive_org_queue.length + ' left.', 3,
|
||||
'archive_org_operator');
|
||||
|
||||
get_URL(archive_org.API_URL + URL, function(data, error) {
|
||||
// 若正執行者，必須負責執行完註銷掉 archive_org_running。
|
||||
archive_org_running = false;
|
||||
|
||||
if (library_namespace.is_debug(2)) {
|
||||
library_namespace.debug(URL + ': '
|
||||
+ (error ? 'Error: ' + error : 'OK'), 0,
|
||||
'archive_org_operator');
|
||||
console.log(data);
|
||||
}
|
||||
|
||||
// 短時間內call過多次(應間隔 .5 s?)將503?
|
||||
if (!error && data.status === 503) {
|
||||
// rollback
|
||||
archive_org_queue.unshift(checking_now);
|
||||
need_wait = archive_org.lag_interval;
|
||||
library_namespace.debug('Get status ' + data.status
|
||||
+ '. Try again.', 3, 'archive_org_operator');
|
||||
to_wait();
|
||||
return;
|
||||
}
|
||||
|
||||
function do_callback(data, error) {
|
||||
library_namespace.debug(URL + ': 登記 result: ' + [ data, error ]
|
||||
+ '。', 2, 'archive_org_operator');
|
||||
archive_org.cached[URL] = [ data, error ];
|
||||
|
||||
// 執行callback
|
||||
checking_now[1].forEach(function(callback) {
|
||||
callback.apply(null, arguments);
|
||||
});
|
||||
|
||||
// 執行其他剩下的。
|
||||
if (archive_org_queue.length > 0) {
|
||||
archive_org_operator();
|
||||
}
|
||||
}
|
||||
|
||||
if (error || !status_is_OK(data.status)) {
|
||||
do_callback(undefined, error || data.status || true);
|
||||
return;
|
||||
}
|
||||
|
||||
data = JSON.parse(data.responseText);
|
||||
if (!data || !(data = data.archived_snapshots.closest)
|
||||
|| !data.available || !data.url) {
|
||||
// 經嘗試未能取得 snapshots。
|
||||
do_callback(undefined, data);
|
||||
return;
|
||||
}
|
||||
|
||||
if (!data.url.startsWith(archive_org.URL_prefix)) {
|
||||
library_namespace.warn('archive_org_operator: ' + URL
|
||||
+ ': archived URL does not starts with "'
|
||||
+ archive_org.URL_prefix + '": ' + data.url + '.');
|
||||
}
|
||||
|
||||
var archived_url = data.archived_url = data.url.slice(
|
||||
archive_org.URL_prefix.length).between('/')
|
||||
// e.g., "/index.html#", "/index.html?"
|
||||
.replace(/#(.*)$/, '').replace(/\?$/, '');
|
||||
if (URL !== archived_url
|
||||
// 可能自動加 port。
|
||||
&& URL !== (archived_url = archived_url.replace(/:\d+\//, '/'))
|
||||
// 可能自動轉 https。
|
||||
&& URL !== archived_url.replace('http://', 'https://')) {
|
||||
library_namespace.warn('archive_org_operator: URL [' + URL
|
||||
+ '] != archived [' + data.archived_url + '].');
|
||||
}
|
||||
|
||||
do_callback(data);
|
||||
|
||||
}, null, null, {
|
||||
// use new agent
|
||||
agent : true,
|
||||
no_warning : true
|
||||
});
|
||||
}
|
||||
|
||||
/**
|
||||
* use Wayback Availability JSON API to check if there is any archived
|
||||
* snapshot.
|
||||
*
|
||||
* archive.org 此 API 只能檢查是否有 snapshot，不能製造 snapshot。
|
||||
*
|
||||
* @param {String}URL
|
||||
* 欲請求之目的 URL
|
||||
* @param {Function}[callback]
|
||||
* 回調函數。 callback({Object|Undefined}closest_snapshot_data,
|
||||
* error);
|
||||
* @param {Object}[options]
|
||||
* 附加參數/設定選擇性/特殊功能與選項
|
||||
*
|
||||
* @see https://archive.org/help/wayback_api.php
|
||||
*/
|
||||
function archive_org(URL, callback, options) {
|
||||
var cached_data = archive_org.cached[URL];
|
||||
// 看能不能直接處理掉。
|
||||
if (cached_data && !cached_data.checking) {
|
||||
library_namespace.debug('已登記 [' + URL + ']。直接處理掉。', 3,
|
||||
'archive_org');
|
||||
callback.apply(null, cached_data);
|
||||
return;
|
||||
}
|
||||
|
||||
// 登記 callback。
|
||||
if (cached_data) {
|
||||
cached_data[1].push(callback);
|
||||
} else {
|
||||
library_namespace.debug('登記 URL [' + URL + ']，表示正處理中。', 3,
|
||||
'archive_org');
|
||||
var checking_now = [ URL, [ callback ] ];
|
||||
checking_now.checking = true;
|
||||
archive_org.cached[URL] = checking_now;
|
||||
archive_org_queue.push(checking_now);
|
||||
}
|
||||
|
||||
archive_org_operator();
|
||||
}
|
||||
|
||||
/** {Natural} 延遲 time in ms。 */
|
||||
archive_org.lag_interval = 500;
|
||||
|
||||
archive_org.API_URL = 'http://archive.org/wayback/available?url=';
|
||||
|
||||
/** {String}URL prefix of cached snapshot. */
|
||||
archive_org.URL_prefix = 'http://web.archive.org/web/';
|
||||
|
||||
/** {Object} cached[URL] = [ return of archived data, error ] */
|
||||
archive_org.cached = Object.create(null);
|
||||
|
||||
// --------------------------------------------------------------------------------------------
|
||||
|
||||
if (false) {
|
||||
var dns = require('dns');
|
||||
// 短時間內 request 過多 host names 會造成 Tool Labs 常常 DNS error，
|
||||
// getaddrinfo ENOTFOUND。
|
||||
dns.setServers(dns.getServers().append([ '8.8.8.8', '8.8.4.4' ]));
|
||||
}
|
||||
|
||||
/**
|
||||
* 檢查 URL 之 access 狀態。若不可得，則預先測試 archive sites 是否有 cached data。
|
||||
*
|
||||
* @param {String}URL
|
||||
* 欲請求之目的 URL
|
||||
* @param {Function}[callback]
|
||||
* 回調函數。 callback(link_status, cached_data);
|
||||
* @param {Object}[options]
|
||||
* 附加參數/設定選擇性/特殊功能與選項
|
||||
*/
|
||||
function check_URL(URL, callback, options) {
|
||||
// normalized_URL
|
||||
URL = check_URL.normalize_URL(URL);
|
||||
if (!URL || !/^([a-z]+:)?\/\//i.test(URL)
|
||||
|| URL.startsWith(archive_org.URL_prefix)) {
|
||||
library_namespace.warn('check_URL: Cannot check [' + URL + ']');
|
||||
return;
|
||||
}
|
||||
|
||||
library_namespace.debug('check [' + URL + ']', 3, 'check_URL');
|
||||
|
||||
function do_callback(status, OK) {
|
||||
if (!checked_URL) {
|
||||
// register URL status
|
||||
check_URL.link_status[URL] = status;
|
||||
}
|
||||
|
||||
if (OK) {
|
||||
callback(status);
|
||||
|
||||
} else {
|
||||
archive_org(URL, function(closest_snapshot_data, error) {
|
||||
// 會先 check archive site 再註銷此 URL，
|
||||
// 確保之後處理時已經有 archived data。
|
||||
callback(status, closest_snapshot_data);
|
||||
});
|
||||
}
|
||||
}
|
||||
|
||||
var checked_URL;
|
||||
if (URL in check_URL.link_status) {
|
||||
checked_URL = URL;
|
||||
} else if ((checked_URL = URL.replace(':80/', '/')) in check_URL.link_status) {
|
||||
// 去掉 port 80。
|
||||
URL = checked_URL;
|
||||
} else {
|
||||
checked_URL = null;
|
||||
}
|
||||
|
||||
if (checked_URL) {
|
||||
checked_URL = check_URL.link_status[URL];
|
||||
do_callback(checked_URL, status_is_OK(checked_URL));
|
||||
return;
|
||||
}
|
||||
|
||||
options = library_namespace.setup_options(options);
|
||||
get_URL(URL, function(data, error) {
|
||||
if (error || typeof data.responseText !== 'string') {
|
||||
do_callback(error || 'check_URL: Unknown error');
|
||||
return;
|
||||
|
||||
}
|
||||
|
||||
if (false && typeof options.content_processor === 'function') {
|
||||
options.content_processor(
|
||||
// (contains, URL, status)
|
||||
data.responseText, URL, data.status);
|
||||
}
|
||||
|
||||
if (!status_is_OK(data.status)) {
|
||||
do_callback(data.status);
|
||||
|
||||
} else if (options.ignore_empty || data.responseText.trim()) {
|
||||
do_callback(data.status, true);
|
||||
|
||||
} else {
|
||||
do_callback('check_URL: Contents is empty');
|
||||
}
|
||||
|
||||
}, null, null, {
|
||||
content_processor : options.content_processor,
|
||||
write_to_directory : options.write_to_directory,
|
||||
// use new agent
|
||||
agent : true,
|
||||
no_warning : true,
|
||||
headers : {
|
||||
'User-Agent' : archive_sites.default_user_agent
|
||||
}
|
||||
});
|
||||
}
|
||||
|
||||
/** {Object}check_URL.link_status[normalized_URL] = status/error */
|
||||
check_URL.link_status = Object.create(null);
|
||||
|
||||
/**
|
||||
* normalize URL to check
|
||||
*
|
||||
* @param {String}URL
|
||||
* 欲請求之目的 URL. requested URL
|
||||
*
|
||||
* @returns {String}normalized_URL
|
||||
*/
|
||||
check_URL.normalize_URL = function(URL) {
|
||||
if (!URL) {
|
||||
return URL;
|
||||
}
|
||||
|
||||
URL = String(URL);
|
||||
// URL = URL.toString();
|
||||
|
||||
URL = URL.replace(/#.*/g, '');
|
||||
|
||||
try {
|
||||
URL = decodeURI(URL);
|
||||
} catch (e) {
|
||||
}
|
||||
|
||||
// 去掉 default port。
|
||||
URL = URL.replace(/^([^\/]*\/\/[^\/:]+):80/, '$1');
|
||||
|
||||
if (URL.startsWith('//')) {
|
||||
// 自動加協定。
|
||||
URL = 'http:' + URL;
|
||||
}
|
||||
|
||||
return URL;
|
||||
};
|
||||
|
||||
// --------------------------------------------------------------------------------------------
|
||||
|
||||
// export 導出.
|
||||
Object.assign(archive_sites, {
|
||||
// 為了模擬一般情況下的 access，因此設定 user agent，避免特殊待遇。
|
||||
default_user_agent : 'Mozilla/5.0 (Windows NT 6.3)',
|
||||
status_is_OK : status_is_OK,
|
||||
|
||||
archive_org : archive_org,
|
||||
|
||||
check_URL : check_URL
|
||||
});
|
||||
|
||||
return archive_sites;
|
||||
}
|
||||
Reference in New Issue
Block a user