Month: November 2021

まず、GCPにBigQueryにTMCNの価格を入れます。

1. nomics.comというサイトからFree CSVをdownload
https://nomics.com/assets/tmcn-timecoin-protocol

直近100日分のデータを取得できる。timestamp, open, hight, low, close, volumeなど、一般的なデータ形式。

2. GCPのBigQueryにDownloadしたtmcnのデータをimport

3. PythonでGCP BigQueryからデータを取得して、matplotlibで2軸の折れ線グラフを作る

from google.cloud import bigquery
import matplotlib.pyplot as plt

client = bigquery.Client.from_service_account_json('./client_credentials.json')

QUERY = (
    'SELECT * FROM `gce-test-331622.test.tmcn` ORDER BY timestamp ASC LIMIT 100')
query_job = client.query(QUERY)  
rows = query_job.result()

x = []
y1 = []
y2 = []
for row in rows:
    print(str(row.timestamp)[0:10] + " close:" + str(row.close) + " volume:" + str(row.volume))
    date = str(row.timestamp)[0:10]
    x.append(date)
    y1.append(row.close)
    y2.append(row.volume)

plt.figure(figsize=(10,8))
fig, ax1 = plt.subplots()
ax2 = ax1.twinx()

plt.title("tmcn 2021/08/13-2021/11/21")

ax1.plot(x, y1, marker=".", color = "magenta", linestyle = "--")
ax1.set_ylabel('$close-price(pink)$')
ax2.plot(x, y2, marker="o", color = "cyan", linestyle = ":")
ax2.set_ylabel('$trade-volume(blue)$')

plt.savefig('img/tmcn.jpg',dpi=100)

4. 作成した画像をHTMLで表示

	<h1>timcoin protocol</h1>
	<a href="https://github.com/TimeCoinProtocol/timecoin">TimeCoinProtocol / timecoin</a><br>
	<img src="img/tmcn.jpg" width="400" height="300">
// 省略

5. Githubにpushして、Google Cloud DeployでGCEにデプロイする

steps:
- name: 'gcr.io/google.com/cloudsdktool/cloud-sdk'
  entrypoint: gcloud
  args: ['compute', 'scp', '--recurse', 'img', 'instance-1:/var/www/html/img' , '--zone','asia-northeast1-a']
- name: 'gcr.io/google.com/cloudsdktool/cloud-sdk'
  entrypoint: gcloud
  args: ['compute', 'scp', '--recurse', 'index.html', 'instance-1:/var/www/html/index.html' , '--zone','asia-northeast1-a']

cloudbuild.yamlで以下のように書くと、argsは下のargsしか実行されないので、2回書かなければならないので注意が必要

steps:
- name: 'gcr.io/google.com/cloudsdktool/cloud-sdk'
  entrypoint: gcloud
  args: ['compute', 'scp', '--recurse', 'img', 'instance-1:/var/www/html/img' , '--
  args: ['compute', 'scp', '--recurse', 'index.html', 'instance-1:/var/www/html/index.html' , '--zone','asia-northeast1-a']

うーむ、データ量が多い時などはBigQueryは使えそうだにゃーーーーーーーー

### 1.google-cloud-bigqueryをinstall
公式のドキュメントに沿って進めます
https://googleapis.dev/python/bigquery/latest/index.html

$ pip3 install google-cloud-bigquery

### 2. credential情報の取得
– GCP IAMのサービスアカウント「*-compute@developer.gserviceaccount.com」のKeysからADD Keyでjsonタイプのcrudential情報を取得
– client_credentials.jsonに名前を変更してpythonを実行するフォルダに保存

### 3. Pythonを実行
BigQueryでテーブルを作成した日本アマチュアゴルフランキングのデータを操作します。

from google.cloud import bigquery

client = bigquery.Client.from_service_account_json('./client_credentials.json')

QUERY = (
    'SELECT * FROM `gce-test-331622.test.ranking` ORDER BY rank ASC LIMIT 10')
query_job = client.query(QUERY)  
rows = query_job.result()

for row in rows:
    print("ランク:" + str(row.rank) + " 名前:" + row.name + " 年齢:" + str(row.age))

$ python3 main.py
ランク:1 名前:中島 啓太 年齢:21
ランク:2 名前:蝉川 泰果 年齢:20
ランク:3 名前:米澤 蓮 年齢:22
ランク:4 名前:鈴木 晃祐 年齢:21
ランク:5 名前:杉浦 悠太 年齢:20
ランク:6 名前:河本 力 年齢:21
ランク:7 名前:平田 憲聖 年齢:20
ランク:8 名前:大嶋 港 年齢:16
ランク:9 名前:松井 琳空海 年齢:14
ランク:10 名前:岡田 晃平 年齢:19

ぎょええええええええええええええええええええええ

for row in rows:
    print("ランク:" + str(row.rank) + " 名前:" + row.name + " 年齢:" + str(row.age))
    f = open(today +'.txt', 'a')
    f.write("ランク:" + str(row.rank) + " " + row.name + " 年齢:" + str(row.age))
    f.write("\n")
    f.close()

テキストに書き込んで、PHPで読み込むこともできる
うおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおお
感動した🍣

BigQueryで、publicデータではなく、独自のデータの操作方法について学びます。
日本アマチュアゴルフランキングのサイトから、Excelデータをダウンロードします。
http://www.jga.or.jp/jga/html/jagr/male/ranking/ranking_1.html

1.1行目のカラムは残して、CSVで保存

2.BigQueryのAdd Data
3.Create tableでテーブル作成
L 保存したCSVを読み込む

　L スキーマを設定していく。ストロークPT、プレイスPTはfloatにする

4. Advanced optionsでheader rows to skipを1に設定する
5. Create tableでテーブルが作成される

6. Queryで実行する

SELECT * FROM `gce-test-331622.test.ranking` LIMIT 1000

ぎゃああああああああああああああああああああああああ
助けてええええええええええええええええええ

BigQueryとは
L サーバレスなデータウェアハウス
　　L 自動スケーリングにより大規模なデータセットから高速に分析結果を得ることができる
　　L 1ヶ月10GBまでストレージ無料枠
　　L ウェブUI, bqコマンド、BigQuery REST APIからクエリ実行

まずBigQueryのページを開きます

public datasetでBitcoin Cash Cryptocurrencyを選択

queryの実行

SELECT FROM `bigquery-public-data.crypto_bitcoin.transactions-2021-10-28T23_18_45` WHERE block_timestamp_month = "2021-11-21" LIMIT 10

Syntax error: SELECT list must not be empty at [1:8]

あれ？

SELECT * FROM `bigquery-public-data.crypto_bitcoin.transactions-2021-10-28T23_18_45` WHERE block_timestamp_month = "2021-10-28" LIMIT 10

This query will process 564.8 MiB when run
-> no result

あれええええええええ

samplesのshakespeareを使います。

SELECT * FROM `bigquery-public-data.samples.shakespeare` LIMIT 10

基本はselect文で抽出するのね。
うーん、データが大きすぎるとテストするのも躊躇しますね。