googleの検索エンジン
-> crawlerが巡回
-> DOMを取得して配列に保存する
自作検索エンジン
-> crawlerが特定サイトを巡回
-> テキストを取得して、mongoDBに保存？
どういうアルゴリズムでリスト表示するか？
->最新のデータ
->クリック数
検索フィールド
->bodyに検索文字を含んでいた場合?
→データセットをmongoDBから取り出して、それをソートし直すのはいささか効率的でないような気がする
– タイトル、テキスト、リンク先を表示する。
そういえば、Googleにソートってないですね。
->レコメンドをどう出すか？
とりあえず、mongodbに入れるところから、始めよう。pug, sassも使いたい。
[vagrant@localhost freelance]$ mongo
MongoDB shell version: 3.2.20
connecting to: test
Server has startup warnings:
2018-07-21T18:36:29.147+0900 I CONTROL [initandlisten]
2018-07-21T18:36:29.148+0900 I CONTROL [initandlisten] ** WARNING: soft rlimits too low. rlimits set to 1024 processes, 64000 files. Number of processes should be at least 32000 : 0.5 times number of files.
> show dbs
app 0.078GB
local 0.078GB
mydb 0.078GB
