안녕하세요 가야태자 @talkit 입니다.

지금 만들고 있는 검색엔진의 간단 버전 UI를 공개해 봅니다.

검색기능을 좀 더 강화 해야하고 UI에 버그가 조금 있지만 의견 주시면 개선 하겠습니다.

http://search.whd.kr:5000

으로 접속하시면 검색엔진을 사용하실 수 있습니다.

색인을 구축 중입니다.

위 그림에 잘 보이시는지 모르겠지만, 글쓰고 있는 현재까지 162271 게시물을 수집하고 색인 했습니다.

색인의 자동화도 상당히 이루어졌습니다.

1. #kr 태그의 최근글을 자동으로 수집합니다. n8n + pyhton 을 사용했습니다.

2. #kr 태그의 저자분들의 글을 1시간에 한번씩 Full 색인을 진행 중입니다.

292명 정도의 사용자가 있습니다.

가장 최근에 수집된 사용자가 @cancerdoctor 님이시네요 ^^

작업 시간은 1시간 정도 걸렸습니다.

(총 2512건 DB 저장 완료) 로 로그가 끝나서 캔슬닥터님의 현재가지 총 게시물수는 2512 건정도 되시는 것 같습니다.

제가 강제로 수집한 분들도 있어서 현재까지 수집된 사용분들은 다음과 같습니다.

+-------------------+
| steem_user |
+-------------------+
| @acash |
| @agor |
| @allofus1 |
| @allsale |
| @anpigon |
| @asd5710 |
| @avle |
| @ayogom |
| @babomadam |
| @bambalay |
| @banguri |
| @barley33 |
| @bcs5 |
| @beoped |
| @bigbear34 |
| @bigelf |
| @bitai |
| @bji1203 |
| @blackeyedm |
| @blockstudent |
| @bluengel |
| @bluesky81 |
| @boxel |
| @brad3840 |
| @calum01 |
| @cancerdoctor |
| @centering |
| @chan1 |
| @crack-the-code |
| @cryptic-clues |
| @crypto-raccoon |
| @curbooster |
| @dacasper |
| @daily100d |
| @danbain |
| @daniel90515 |
| @dapawat |
| @dazhub |
| @ddsn |
| @dejemi |
| @desito |
| @devfund-kr |
| @dhahr100 |
| @digitalworlds |
| @dkhwon |
| @dorian-dev |
| @dorian-lee |
| @earnxtreme |
| @earnxtreme.bank |
| @ellymin |
| @eraz |
| @ericahan |
| @etainclub |
| @eversloth |
| @fastcash |
| @fedeki |
| @feelsogood |
| @feelsogood.cur |
| @fizx |
| @flyskymac |
| @francuzzz |
| @fttt |
| @futurecurrency |
| @galaxyview |
| @gatus08 |
| @genesi |
| @gijoona |
| @glory7 |
| @gogikr |
| @goodhello |
| @goodpost-kr |
| @goodtree |
| @greenjuice |
| @greentree |
| @h4lab |
| @h4lab.dapp |
| @hanadory |
| @hansangyou |
| @happycapital |
| @happycoachmate |
| @happypray |
| @hdc |
| @hirue |
| @hive-162214 |
| @hive-167140 |
| @hodolbak |
| @honeybeerbear |
| @horz |
| @ictexpert |
| @illluck |
| @imaran |
| @ini4909 |
| @ja5127 |
| @jamislee |
| @jan-philippvieth |
| @jangin-jeongsin |
| @jeehun |
| @jejudomin |
| @jejuego |
| @jeong851212 |
| @jgwonkim |
| @jhj8595 |
| @jhy2246 |
| @jjj1 |
| @jjy |
| @jobsb |
| @jobsf |
| @joviansummer |
| @jsj1215 |
| @jsquare |
| @jsss0 |
| @jstory |
| @jsup |
| @jswit |
| @jungch98 |
| @jungjunghoon |
| @jurious |
| @kaine |
| @kayap |
| @kazzablanc |
| @kfeedgamer5 |
| @khaiyoui |
| @kimche |
| @kimyg18 |
| @kimzombi |
| @kindu |
| @kingscrown |
| @kiwifi |
| @kk2 |
| @kk7 |
| @kkk1 |
| @kkk3 |
| @kkk5 |
| @kkulih |
| @kloops |
| @kolaswqetsrq |
| @krcurator01 |
| @krcurator02 |
| @krcurator03 |
| @krs1s |
| @kseok383 |
| @kwi |
| @kyju |
| @lazy-koala |
| @leeki7801 |
| @leemikyung |
| @leems |
| @levrek |
| @libera-tor |
| @logmen |
| @lucky2015 |
| @luminaryhmo |
| @luna88 |
| @m69n |
| @maam16238 |
| @machellin |
| @mackar |
| @maikuraki |
| @matildah |
| @maxiyo |
| @mia.fobos |
| @midiagam |
| @minbuja |
| @mint1 |
| @mirandao |
| @mittsu |
| @mmerlin |
| @moonm00n |
| @moyewe |
| @mrcrisp |
| @ms0222 |
| @nanospark |
| @naska |
| @nasution |
| @neojew |
| @netscape |
| @newiz |
| @nexts |
| @norman101 |
| @notaspammer |
| @notlidia |
| @novus-locus |
| @obbang9 |
| @ojsphy6 |
| @osope |
| @parkname |
| @patorney |
| @peopler |
| @peterpa |
| @pooka |
| @powerego |
| @powerhub |
| @ppebak |
| @prettyjoo |
| @protrades |
| @pys |
| @qaras |
| @qrwerq |
| @qushira |
| @rayheyna |
| @remnant39 |
| @rideg |
| @riversh2 |
| @rolick |
| @ronqiu |
| @rtonline |
| @rtytf2 |
| @salsasea |
| @sappola |
| @savers-bot |
| @savoka |
| @sdaminul2 |
| @sean2masaaki |
| @seraphim502 |
| @sevengoldminer |
| @shebang |
| @shenming |
| @shinloo |
| @shlak |
| @shrah011 |
| @shtorm |
| @skuff |
| @skuld2000 |
| @skymin |
| @smileinsun |
| @songbj |
| @soonhwan |
| @soosoo |
| @sosita |
| @sp-bank |
| @sp-loans |
| @sploans |
| @springlining |
| @ssglanders |
| @ssnam90 |
| @steem-accepted |
| @steem-agora |
| @steem-holdings |
| @steem-machines |
| @steem-slots |
| @steem-watch |
| @steemfestkorea |
| @steemit-report |
| @steemit.fund |
| @stepn-kr |
| @stikg |
| @stj91 |
| @successgr |
| @successgr.with |
| @support-kr |
| @swan1 |
| @syskwl |
| @talkative-bk |
| @talkit |
| @talkit.bank |
| @talkit.wallet |
| @tb420292 |
| @theelitone |
| @tiamo1 |
| @tinker-bell |
| @tjayhas |
| @tjcar.pool |
| @tkdgjs79 |
| @todays-news |
| @tradingideas |
| @truste |
| @tsf-leejgn |
| @twishi |
| @tworld |
| @tyyn |
| @ultimate-scripts |
| @upvote-returns |
| @upvu.witness |
| @usay |
| @vernet |
| @veronicalee |
| @veryhappyday |
| @veveb |
| @viance |
| @vixa |
| @votov |
| @wabangcute |
| @whorusoojin |
| @wise.words |
| @wonsama |
| @xafad |
| @xtreme-bot |
| @xtreme-upvoter |
| @yann03 |
| @yeyakang |
| @yoghurty |
| @yokku |
| @yunta |
| @yyoungbo |
| @zagon |
| @zalu |
| @zayac |
| @zeeo |
| @zzan7 |
+-------------------+
299 rows in set (0.064 sec)

일부 또는 전체 게시물을 수집 중입니다.

#kr 쪽의 게시물이 끝나면 #en 쪽 게시물도 수집해볼 계획입니다.

검색은 잘 됩니다.

현재 제가 생각하고 있는 추가 기능은 기간 검색, 저자검색, 통합 상세 검색 등은 고려해서 준비 중입니다.

제가 참여하고 있는 프로젝트가 조금 많이 바빠서 일단 간다한 인터페이스로 구글 처럼 검색어를 입력하시면

저자, 제목, 본문에서 포함 단어 검색을 해 드립니다.

감사합니다.

관련글

[개발이야기#089] 스팀잇 검색엔진 개발을 해보자 - n8n 사용기와 스팀잇 검색 UI
https://steemit.com/kr/@talkit/089-n8n-ui

[개발이야기#088] 스팀잇 검색엔진 개발을 해보자 - 자동화 도구 n8n을 우분투에 설치해보자.
https://steemit.com/kr/@talkit/088-n8n

[개발이야기#087] 스팀잇 검색엔진 개발을 해보자 - 데이터 수집 자동화 툴 n8n vs Apache airflow — Steemit

[개발이야기#086] 스팀잇 검색엔진 개발을 해보자 - 스팀 데이터 수집기와 자동화 관련해서 n8n
https://steemit.com/ecblog/@talkit/086-n8n

[개발이야기#085] 스팀잇 검색엔진 개발을 해보자 - 스팀 데이터 수집기 2차 수정 및 테스트
https://steemit.com/kr/@talkit/085-2

[개발이야기#084] 스팀잇 검색엔진 개발을 해보자 - 스팀 데이터 수집기 1차 개발 및 테스트
https://steemit.com/kr/@talkit/084-1

Posted through the ECblog app (https://blog.etain.club)