景気動向指数(CI)のAPI取得 その2

総務省統計局の景気動向指数統計データをJSON形式で取得をしたい。

※民間企業の勤務条件制度等調査を表示した例

– 統計表情報取得仕様
https://api.e-stat.go.jp/rest/3.0/app/json/getStatsList?<パラメータ群>

API仕様
appId, lang,surveyYears, openYears, statsField …

1. アプリケーションIDの発行
e-statマイページのAPI機能(アプリケーションID発行)から、appIdを発行する
*************

2. 景気動向指数のデータセット
景気動向指数
統計ID:00100406

-> Excelのみ、DB/APIは提供されていない
-> ExcelのファイルID(statInfId)の命名規則が分かればDL出来そうではある
-> 速報値は月次で5営業日に出している


-> RSSも見つけられない

### 日銀の機械学習による景気分析
「景気ウォッチャー調査」のテキストマイニング―
-> 少しだけ読んだが、テキストマイニングも先行指標の一部なので、テキストマイニングだけで景気動向指数として公表するのは抵抗がある。

別の方法を模索するか。

景気動向指数(CI)のAPI取得 その1

景気動向指数(composite indexes)をAPIで取得/自動更新したい

景気動向指数とは?
内閣府:景気統計
> 景気動向指数は、生産、雇用など様々な経済活動での重要かつ景気に敏感に反応する指標の動きを統合することによって、 景気の現状把握及び将来予測に資するために作成された指標

1.採用系列
(1)生産 (2)在庫 (3)投資 (4)雇用 (5)消費 (6)企業経営 (7)金融 (8)物価 (9)サービス

2.選定基準
(1)経済的重要性
(2)統計の継続性・信頼性
(3)景気循環の回数との対応度
(4)景気の山谷との時差の安定性
(5)データの平滑度
(6)統計の速報性

3.景気循環の考え方
先行(主に需給の変動)、一致(主に生産の調整)、遅行(主に生産能力の調整)

4.変動算出
対象変化率 = { (当月値 – 前月値) / ((当月値 – 前月値)/2) } x 100

5.採用系列
– 先行系列
最終需要財在庫率指数、鉱工業用生産財在庫率指数、新規求人数、実質機械受注、新設住宅着工床面積、消費者態度指数、日経商品指数、マネーストック(M2)(前年同月比)、東証株価指数、投資環境指数、中小企業売上げ見通しDI

– 一致系列
生産指数、鉱工業用生産財出荷指数、耐久消費財出荷指数、所定外労働時間指数、投資財出荷指数、商業販売額、商業販売額、営業利益

– 遅行系列
第3次産業活動指数、常用雇用指数、実質法人企業設備投資、家計消費支出、法人税収入、完全失業率、きまって支給する給与(製造業、名目)、消費者物価指数、最終需要財在庫指数

経済社会総合研究所の実績値数値はPDFで公開されているが、APIはないのかな。

色々見ていたところ、e-Stat開発者向けページがあるようです。
e-Stat API機能
なんか出来そうです。取り敢えず登録しました。

SAPのようなERPをDjangoで作りたい

ERPとは? : Enterprise Resource Planning(統合パッケージ)
-> 調達システム、経理システム、在庫システムなどヒトモノカネ情報の管理を一緒にした

### SAPの主なモジュール
– Financial Accounting(FI): 財務会計、業務データが流れてくる
– Controling(CO): 管理会計、業績管理や間接費の管理
– Sales and Distribution(SD): 販売管理、注文を受けてから商品を出荷、請求書
– Material Management(MM): 在庫購買管理、どこに何を発注したか、値段、在庫

### モジュール一覧
Sales and Distribution(販売管理), Material Management(在庫購買管理), Production Planning and Control(生産計画/管理), Plant Maintenance(プラント保全), Warehouse Management(倉庫管理), Financial Accounting(財務会計), Controlling(管理会計), Human Resources(人事管理), Project System(プロジェクト管理), Quality Management(品質管理), Investment Management(設備投資管理), Real Estate(不動産管理), Document Management System(文書管理), Classification(分類), クロスアプリケーション(Cross Application)

SAP Tutorial

– 各システムのログイン画面
– メニュー:各システム一覧(office, logistics, accounting, human resources….)
 L 各システムの帳票ページに遷移できる
– 各入力メニュー
 L ユーザが入力データのパラメータを編集できる
– IDEがトップにあり、その下に、地域、国、システム、従業員、ポジション、機能などでカテゴライズできる
– Masterデータ(client, company, sales area, personal record)と入力データを切り分ける
– メニューはツリー構造で表示する

SAP Engineer

ざっくりとは、各モジュールごとにアプリケーションを作っていき、データ連携させるってことだな。
ゼロから作るなら、(1)販売管理、(2)在庫購買管理、(3)財務会計 ぐらいから始めたいところか。
問題はどこまでやり込むかだな。

プログラミング言語 人気ランキングの比較

### TIOBE
ロジック : Index Definition
-> 検索エンジンに対して、クエリを発行した結果を元にランキングを付けている。

+"<language> programming"

1位 Java, 2位 C, 3位 Python, 4位 C++, 5位 C#, 6位 Visual Basic.NET, 7位 JavaScript, 8位 PHP, 9位 SQL, 10位 Go

### PYPL
1位 Python, 2位 Java, 3位 Javascript, 4位 C#, 5位 PHP, 6位 C/C++, 7位 R, 8位 Objective-C, 9位 Swift, 10位 Matlab
ロジック: The Index is created by analyzing how often language tutorials are searched on Google

### RedMonk: Programming Language Ranking
ロジック: GitHubのアクティブリポジトリ、StackOverflowでの質問、Redditでの投稿数、求人サイトでの募集の数
1位 JavaScript, 2位 Python, 3位 Java, 4位 PHP, 5位 C#, 6位 C++, 7位 Ruby, 8位 CSS, 9位 TypeScript, 9位 C

### GitHub Octoverse
Top OSS
1位 microsoft/vscode, 2位 MicrosoftDocs/azure-docs, 3位 flutter/flutter, 4位 firstcontributions/first-contributions, 5位 tensoflow/tensorflow, 6位 facebook/react-native, 7位 kubernetes/kubernetes, 8位 DefinitelyTyped/DefinitelyTyped, 9位 ansible/ansible, 10位 home-assistant/home-assistant

Top Language
1位 JavaScript, 2位 Python, 3位 Java, 4位 PHP, 5位 C#, 6位 C++, 7位 TypeScript, 8位 Shell, 9位 C, 9位 Ruby

Google indexとGitHubだとランキングに差があるが、概ねJava, Python, JavaScriptが上位はほぼ変わらずか。

Log collection

First of all, middleware for log collection can be divided into Push type and Pull type according to the data acquisition method.

Systems that transfer logs to a destination for which middleware is configured are classified as Push. Famously speaking, Apache Flume, Fluent, Scribe, Logstash etc are classified as Push type.

On the other hand, it is Pull type that the client side explicitly specifies and acquires necessary data for middleware that centrally manages logs. Apache Kafka and so-called PubSub models such as Google Cloud Pub/Sub and Kinesis Stream, which are not middleware, are classified as Pull types.


Source => Push type middleware that receives records. Corresponds to input in Fluentd.
Channel => An area to save until transmission of a record is completed in Push type middleware. Equivalent to buffer in Fluentd.
Sink => Push destination of record in Push type middleware. Equivalent to output in Fluentd.
Upstream => The side that sends the record.
Downstream => The side that receives the record.

UBER eatsのビジネスフロー

「いらすとや」を使って書いていきます。

なにこれ、めっちゃ面白いやんけ。。
作らなければいけないのは、
1. Userが注文する画面(レスポンシブル)
2. 注文が入ってから、レストラン側に通知するレストラン側の管理画面(PC)
3. 配達を依頼する配達員用の管理画面(アプリメイン)
4. 全体を管理するUberEats側の管理画面(PC)

全体の管理画面は最後に作るとしても、最低3つの仕組みが必要ってわけだな。
でもユーザーの注文画面はECサイトみたいなもんだから、2と3をどう作るかが肝かな。。

最初に全体図を整理すると、わかりやすいな。
これで、エンジニアマッチングのフロー図も作ろう^^

5chまとめサイト

5chまとめサイトを分析していきます。

アルファモザイク
http://alfalfalfa.com/
– レフトメニューに人気の記事、コメントの多い記事、最近コメントされた記事など

痛いニュース
http://blog.livedoor.jp/dqnplus/
– 最新記事が写真とタイトルで一覧表示
– サイドメニューは広告

ニュー速クオリティ
http://news4vip.livedoor.biz/

ついんてーる速報
http://twintailsokuhou.blog.jp/
– トップがWPのブログっぽい

VIPPERな俺
http://blog.livedoor.jp/news23vip/
– アニメが多いな

キニ速
http://blog.livedoor.jp/kinisoku/
– ファーストビューにテキスト表示されるのはいいですね。

おる速
http://orusoku.com/
– テキストが青で見にくい

ゴールデンタイムズ
http://blog.livedoor.jp/goldennews/
– RSS表示
– やっぱり画像は必須か。

というか、まとめサイト多すぎるな。。

Centralized log service configuration settingss

Log type
The logs are not all the same, but the purpose are different depending on the type.
– application log
– accessibility log
– security log
– other

Overall view of log processing
– collect: AmazonS3, Amazon Kinesis, Amazon DynamoDB, Amazon RDS(Aurora)
– process: AWS Lambda, KCL Apps
– analyze: Amazon EMR
– save: Amazon Redshift, Amazon Machine Learning

Logs output from AWS services
Log specific to each environment such as OS and application

戦略

1. git hub commit
2. aws route 53複数
3. mysql -> csv
4. mysql -> S3
5. s3-> mysql …. 9/23
5-2. SSL
6. Travis CI
7. Capistrano
8. Ansible
9. Mackerel …….. 9/24
10. ELB
11. laravel bootstrap
12. laravel TinyMCE …. 9/25
13. Vue.js ….9/27
14. sketch …9/28
15. mysql設計書 9/29
16. シェルスクリプトによるbatch …9/30
17. 設計(TR,概念図)
18. struts …10/1
19. TD …10/2
20. Fluentd / Embulk …10/3
21. 設計(TR,概念図)
22. Dancer …10/4
23. 提案書作成 …10/5
24. Zabbix
25. Oracle
その他: photoshop, illustrator、python, cdn, postfix, redmine

よし!行けるかな。。。。 いや、これで行ってみよう!