prosource

node.js를 사용하여 이미지 다운로드

probook 2023. 6. 7. 23:00
반응형

node.js를 사용하여 이미지 다운로드

node.js를 사용하여 이미지를 다운로드하는 스크립트를 작성하려고 합니다.지금까지 제가 가진 것은 다음과 같습니다.

var maxLength = 10 // 10mb
var download = function(uri, callback) {
  http.request(uri)
    .on('response', function(res) {
      if (res.headers['content-length'] > maxLength*1024*1024) {
        callback(new Error('Image too large.'))
      } else if (!~[200, 304].indexOf(res.statusCode)) {
        callback(new Error('Received an invalid status code.'))
      } else if (!res.headers['content-type'].match(/image/)) {
        callback(new Error('Not an image.'))
      } else {
        var body = ''
        res.setEncoding('binary')
        res
          .on('error', function(err) {
            callback(err)
          })
          .on('data', function(chunk) {
            body += chunk
          })
          .on('end', function() {
            // What about Windows?!
            var path = '/tmp/' + Math.random().toString().split('.').pop()
            fs.writeFile(path, body, 'binary', function(err) {
              callback(err, path)
            })
          })
      }
    })
    .on('error', function(err) {
      callback(err)
    })
    .end();
}

하지만 이를 더욱 견고하게 만들고 싶습니다.

  1. 이것을 하고 이것을 더 잘 하는 도서관이 있습니까?
  2. 응답 헤더가 (길이, 내용 유형에 대한) 위치에 있을 가능성이 있습니까?
  3. 다른 주의해야 할 상태 코드가 있습니까?제가 리다이렉트에 신경 써야 하나요?
  4. 어디선가 읽은 것 같은데요binary인코딩이 더 이상 사용되지 않습니다.그럼 어떻게 하죠?
  5. 창에서 이 작업을 수행하려면 어떻게 해야 합니다.
  6. 이 스크립트를 더 좋게 만들 수 있는 다른 방법이 있습니까?

이유: 사용자가 나에게 URL을 제공할 수 있는 imgur와 유사한 기능을 위해, 나는 그 이미지를 다운로드하고 여러 크기로 이미지를 다시 호스팅합니다.

는 요청 모듈을 사용하는 것을 제안합니다.파일 다운로드는 다음 코드와 같이 간단합니다.

var fs = require('fs'),
    request = require('request');

var download = function(uri, filename, callback){
  request.head(uri, function(err, res, body){
    console.log('content-type:', res.headers['content-type']);
    console.log('content-length:', res.headers['content-length']);

    request(uri).pipe(fs.createWriteStream(filename)).on('close', callback);
  });
};

download('https://www.google.com/images/srpr/logo3w.png', 'google.png', function(){
  console.log('done');
});

Axios(Node.js용 약속 기반 HTTP 클라이언트)를 사용하여 비동기 환경에서 선택한 순서대로 이미지를 다운로드할 수 있습니다.

npm i axios

그런 다음 다음 기본 예제를 사용하여 이미지 다운로드를 시작할 수 있습니다.

const fs = require('fs');
const axios = require('axios');

/* ============================================================
  Function: Download Image
============================================================ */

const download_image = (url, image_path) =>
  axios({
    url,
    responseType: 'stream',
  }).then(
    response =>
      new Promise((resolve, reject) => {
        response.data
          .pipe(fs.createWriteStream(image_path))
          .on('finish', () => resolve())
          .on('error', e => reject(e));
      }),
  );

/* ============================================================
  Download Images in Order
============================================================ */

(async () => {
  let example_image_1 = await download_image('https://example.com/test-1.png', 'example-1.png');

  console.log(example_image_1.status); // true
  console.log(example_image_1.error); // ''

  let example_image_2 = await download_image('https://example.com/does-not-exist.png', 'example-2.png');

  console.log(example_image_2.status); // false
  console.log(example_image_2.error); // 'Error: Request failed with status code 404'

  let example_image_3 = await download_image('https://example.com/test-3.png', 'example-3.png');

  console.log(example_image_3.status); // true
  console.log(example_image_3.error); // ''
})();

며칠 전에 이 문제에 부딪혔는데, 순수한 NodeJS 답변을 위해서는 스트림을 사용하여 청크를 병합하는 것이 좋습니다.

var http = require('http'),                                                
    Stream = require('stream').Transform,                                  
    fs = require('fs');                                                    

var url = 'http://www.google.com/images/srpr/logo11w.png';                    

http.request(url, function(response) {                                        
  var data = new Stream();                                                    

  response.on('data', function(chunk) {                                       
    data.push(chunk);                                                         
  });                                                                         

  response.on('end', function() {                                             
    fs.writeFileSync('image.png', data.read());                               
  });                                                                         
}).end();

최신 노드 버전은 이진 문자열에서 잘 작동하지 않으므로 이진 데이터로 작업할 때 청크를 문자열과 병합하는 것은 좋지 않습니다.

*'data.read()'를 사용할 때만 주의하십시오. 다음 'read()' 작업을 위해 스트림을 비웁니다.만약 당신이 그것을 두 번 이상 사용하고 싶다면, 그것을 어딘가에 보관하세요.

const fs = require('fs');
const http = require('http');
const https = require('https');

const downloadImageToUrl = (url, filename) => {

   let client = http;
   if (url.toString().indexOf("https") === 0) {
      client = https;
   }
   return new Promise((resolve, reject) => {
      client.get(url, (res) => {
          res.pipe(fs.createWriteStream(filename))
          .on('error', reject)
          .once('close', () => resolve(filename))
      })
  })
};

await downloadImageToUrl('https://www.google.com/images/srpr/logo11w.png', 'public/uploads/users/abc.jpg');

진행률 다운로드를 원하는 경우 다음을 시도하십시오.

var fs = require('fs');
var request = require('request');
var progress = require('request-progress');

module.exports = function (uri, path, onProgress, onResponse, onError, onEnd) {
    progress(request(uri))
    .on('progress', onProgress)
    .on('response', onResponse)
    .on('error', onError)
    .on('end', onEnd)
    .pipe(fs.createWriteStream(path))
};

사용 방법:

  var download = require('../lib/download');
  download("https://www.google.com/images/branding/googlelogo/2x/googlelogo_color_150x54dp.png", "~/download/logo.png", function (state) {
            console.log("progress", state);
        }, function (response) {
            console.log("status code", response.statusCode);
        }, function (error) {
            console.log("error", error);
        }, function () {
            console.log("done");
        });

참고: 다음을 사용하여 요청 및 요청 요청 모듈을 모두 설치해야 합니다.

npm install request request-progress --save

이것은 세자리의 대답의 확장입니다.특정 디렉터리에 다운로드하려면 이 옵션을 사용합니다.또한 var 대신 const를 사용합니다.이쪽으로 가면 안전합니다.

const fs = require('fs');
const request = require('request');
var download = function(uri, filename, callback){
  request.head(uri, function(err, res, body){    
    request(uri).pipe(fs.createWriteStream(filename)).on('close', callback);
  });
};

download('https://www.google.com/images/srpr/logo3w.png', './images/google.png', function(){
  console.log('done');
});

위의 내용을 바탕으로 쓰기/읽기 스트림의 오류를 처리해야 하는 사람이 있으면 이 버전을 사용했습니다.참고:stream.read()오류가 할 경우에는하고 트리거할 수 필요합니다.close읽기 시작하는 중입니다.

var download = function(uri, filename, callback){
  request.head(uri, function(err, res, body){
    if (err) callback(err, filename);
    else {
        var stream = request(uri);
        stream.pipe(
            fs.createWriteStream(filename)
                .on('error', function(err){
                    callback(error, filename);
                    stream.read();
                })
            )
        .on('close', function() {
            callback(null, filename);
        });
    }
  });
};

언급URL : https://stackoverflow.com/questions/12740659/downloading-images-with-node-js

반응형