이제 hexo 블로그에 스팀잇 모든 글을 가져와 보자.

안녕하세요.

굳헬로 @goodhello 입니다.

어제는 안피곤 @anpigon 님께서 만든 Hexo Steem 프로젝트를 이용해서 스팀잇에 올린 글을 가져와서 마크다운 형식인 md 파일로 저장하여 hexo 블로그에 나오도록 해보았는데요.

그런데 스팀잇 글을 100개 밖에 가지고 오지 않아 한번 연구를 해보았습니다.

먼저 안피곤님의 Hexo Steem 모듈은

xeho 블로그 내에 node_modules 에 저장이 되어 있는데요.

거기에 들어 있는 index.js 파일을 한번 열어보겠습니다.

var steem = require('steem');

function updateSteemArticles(username) {
  steem.api.getDiscussionsByBlog({limit:100, tag:username}, function(err, result) {
    for (var i = 0; i < result.length; i++) {
      const { title, body, category, author, permlink, created, json_metadata } = result[i];
      if (result[i].author == username || hexo.config.steem_resteems) {
        const tags = JSON.parse(json_metadata).tags || [];
        const date = new Date(`${created}Z`);
        const content = body.replace(/\|/g, '|').replace(/%/g, '％').replace(/{/g, '｛').replace(/}/g, '｝');
        // let t = title.replace(/"(.*)"/g, '“$1”').replace(/"/g, '“');//.replace(/\[|\]|:|-|#|\(|\)|\'/g, '').replace('?', '').replace('?', '');
        // console.log(t, tags);
        hexo.post.create({
          slug: `${category}/${author}/${permlink}`,
          title: title.replace(/"(.*)"/g, '“$1”').replace(/"/g, '“'),
          content,
          date,
          tags,
          author,
        }, true)
      }
    }
  });
}

if (hexo.config.steem_users) {
  for (var i = 0; i < hexo.config.steem_users.length; i++) {
    updateSteemArticles(hexo.config.steem_users[i])
  }
} else {
  console.log('No steem usernames found, please add to the _config.yml')
}

대충 살펴보니 steem api의 getDiscussionsByBlog()를 이용해서 username에 해당하는 블로그를 100개 가져와서 hexo 포스트로 생성을 하는 코드인 것 같습니다.

그럼 steem api의 getDiscussionsByBlog()를 잘 이용하면 스팀잇의 모든 글을 가져올 수 있을 것 같은데요.

단순히 limit 를 수정해서는 100개 이상 가져와 지지는 않더군요. 100개 보다 작게 설정하면 작동하는데 100개 이상은 안되더군요. 아마도 가져올 수 있는 max 수치를 100개로 정해 둔 것 같습니다.

그래서 열심히 검색을 해보았습니다. 역시 검색을 하니 다 나오는군요.

steem.api.getDiscussionsByBlog(query, function(err, result) {
  console.log(err, result);
});

steem.api.getDiscussionsByBlog()를 이용할때 query 값을

var query = {
  "tag": username,
  "limit": 100,
  "start_author": username,
  "start_permlink": "permlink" }

위와 같이 설정하여 username에 대한 start_permlink를 지정해주면 해당 포스트부터 지난 포스트 100개를 불러올 수 있더라구요.

@codingman 님께서 올려주신Steem.js으로 자신의 블로그 post 정보 응용 글에 설명이 잘 되어 있어서 쉽게 이해가 되더군요.

위 글에 있는 코드를 참고하여 hexo-steem의 index.js 파일을 다음과 같이 수정하였습니다.

var steem = require('steem');
var cnt=0;
var query = {
  "tag": "",
  "limit": 100
};

function updateSteemArticles(username) {  
  query.tag= username;
  steem.api.getDiscussionsByBlog(query, function(err, result) {
    for (var i = 0; i < result.length-1; i++) {
      const { title, body, category, author, permlink, created, json_metadata } = result[i];
      if (result[i].author == username || hexo.config.steem_resteems) {
        const tags = JSON.parse(json_metadata).tags || [];
        const date = new Date(`${created}Z`);
        const content = body.replace(/\|/g, '|').replace(/%/g, '％').replace(/{/g, '｛').replace(/}/g, '｝');
        let t = title.replace(/"(.*)"/g, '“$1”').replace(/"/g, '“');//.replace(/\[|\]|:|-|#|\(|\)|\'/g, '').replace('?', '').replace('?', '');
        console.log(t, tags);
        hexo.post.create({
          slug: `${category}/${author}/${permlink}`,
          title: title.replace(/"(.*)"/g, '“$1”').replace(/"/g, '“'),
          content,
          date,
          tags,
          author,
        }, true)
      }
    }
    cnt=result.length;
    if(cnt<100){
      const { title, body, category, author, permlink, created, json_metadata } = result[cnt-1];
      if (result[cnt-1].author == username || hexo.config.steem_resteems) {
        const tags = JSON.parse(json_metadata).tags || [];
        const date = new Date(`${created}Z`);
        const content = body.replace(/\|/g, '|').replace(/%/g, '％').replace(/{/g, '｛').replace(/}/g, '｝');
        let t = title.replace(/"(.*)"/g, '“$1”').replace(/"/g, '“');//.replace(/\[|\]|:|-|#|\(|\)|\'/g, '').replace('?', '').replace('?', '');
        console.log(t, tags);
        hexo.post.create({
          slug: `${category}/${author}/${permlink}`,
          title: title.replace(/"(.*)"/g, '“$1”').replace(/"/g, '“'),
          content,
          date,
          tags,
          author,
        }, true)
      }   
      return;
    }
    else{
      query.start_author= result[cnt-1].author; 
      query.start_permlink= result[cnt-1].permlink;
      console.log(query);

      updateSteemArticles(username); 
    }
  });
}

if (hexo.config.steem_users) {
  for (var i = 0; i < hexo.config.steem_users.length; i++) {
    updateSteemArticles(hexo.config.steem_users[i])
  }
} else {
  console.log('No steem usernames found, please add to the _config.yml')
}

steem.api.getDiscussionsByBlog() 를 실행하는 updateSteemArticles() 함수를 한번 실행하고 난 후 포스트 값이 100개 이하가 될 때까지 마지막 포스트를 start_permlink 로 지정해서 자기 자신을 계속 호출하도록 코드를 만들어 보았습니다.

이제 hexo 서버를 실행하면!!!!!

저의 모든 블로그 내역을 가져오게 되는데....

이제까지 스팀잇에 올린 글이 무려 1000개가 넘는군요.

그리고 hexo 블로그내에 source/_posts폴더를 보면 제가 이제까지 올린 모든 스팀잇 포스트가 md 파일로 저장되어 있습니다. xeho 블로그에서 생성한 2개를 제외하면 1174개!!!!

그런데 xeho 블로그를 가동할때마다 hexo-steem이 실행되어 또 모든 스팀잇 글을 가져와서 md 파일로 생성하고 있는데, 이부분은 한번만 동작시키고, 이 후는 최근 글 몇개만 가져오던지 하는 방법으로 고쳐야 할 것 같네요.

그럼 오늘은 여기까지!!!!

다음 시간에는 블로그를 더욱 멋지게 꾸미기 위하여 테마를 한번 적용해 볼까 합니다. 그리고 태그가 어마어마하게 많은데.. 그것도 손을 좀 봐야 할 것 같네요.

그리고 서버 없는 분들을 위해 gitgub에 배포하는 것도 해봐야 하고... 도메인 연결도 해야하고... 앞으로도 할일이 계속 생길 것 같습니다.

열심히 파이팅해야겠어요~

그럼 여러분들도 오늘 하루 파이팅 하시길 바라며, 이번 한주도 행복하세요~