OpenData » 履歴 » バージョン 1
kanata, 2025/04/13 16:26
| 1 | 1 | kanata | # OpenData |
|---|---|---|---|
| 2 | |||
| 3 | >こういうのシェル芸でシュッて解析とか整理とができる気がする |
||
| 4 | |||
| 5 | Splunkを使ったセキュリティトインシデント調査レーニング |
||
| 6 | https://qiita.com/odorusatoshi/items/7faff2dc13a40f111905 |
||
| 7 | |||
| 8 | 厚生労働省CSVオープンデータ開始！CSVをグラフ化する高校プログラミング向け補助教材 |
||
| 9 | https://fukuno.jig.jp/2903 |
||
| 10 | |||
| 11 | 無料で使える「住所マスターデータ」公開、表記統一や緯度経度への変換に活用可能 全国の町丁目レベル18万9540件の住所データを記録 |
||
| 12 | https://internet.watch.impress.co.jp/docs/news/1271298.html |
||
| 13 | |||
| 14 | Wikipediaを用いた日本語の固有表現抽出データセットの公開 |
||
| 15 | https://tech.stockmark.co.jp/blog/202012_ner_dataset/?title=Wikipedia%E3%82%92%E7%94%A8%E3%81%84%E3%81%9F%E6%97%A5%E6%9C%AC%E8%AA%9E%E3%81%AE%E5%9B%BA%E6%9C%89%E8%A1%A8%E7%8F%BE%E6%8A%BD%E5%87%BA%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88%E3%81%AE%E5%85%AC%E9%96%8B |
||
| 16 | |||
| 17 | クラウド（AWS／Azure／GCP／IBM）で手軽に使えるオープンデータセット |
||
| 18 | https://www.atmarkit.co.jp/ait/articles/2102/08/news023.html |
||
| 19 | |||
| 20 | NHKが持っているデータをオープンに 1人のエンジニアの熱がオールドメディアを根幹から変えるかもしれないよ |
||
| 21 | https://note.com/nhk_syuzai/n/n93a64c3dc90e |
||
| 22 | |||
| 23 | Apple 移動傾向レポート |
||
| 24 | https://covid19.apple.com/mobility |
||
| 25 | |||
| 26 | >[Appleの汚い移動データを加工したらわかった東京の厳しい現実](https://qiita.com/takatoshiroto/items/13d73152aa006a030aef) |
||
| 27 | |||
| 28 | Stats NZ - CSV files for download |
||
| 29 | https://www.stats.govt.nz/large-datasets/csv-files-for-download |
||
| 30 | |||
| 31 | NASAのサンプルWebログデータ |
||
| 32 | |||
| 33 | ``` |
||
| 34 | $ wget ftp://ita.ee.lbl.gov/traces/NASA_access_log_Jul95.gz |
||
| 35 | ``` |
||
| 36 | |||
| 37 | ZOZO、10年分のファッションデータをオープンソース化 流行に左右されないAI研究に期待 |
||
| 38 | https://www.itmedia.co.jp/news/articles/2109/03/news083.html https://github.com/st-tech/zozo-shift15m |
||
| 39 | |||
| 40 | Phishing URL dataset from JPCERT/CC |
||
| 41 | https://github.com/JPCERTCC/phishurl-list/ |
||
| 42 | |||
| 43 | メルカリデータセット |
||
| 44 | https://www.nii.ac.jp/dsc/idr/mercari/ |
||
| 45 | |||
| 46 | >商品データ，コメントデータはCSV形式で，サイズはそれぞれ約100GB，約40GBです。画像データはサムネイル画像で約2TB，オリジナル画像で約1TBです。 |
||
| 47 | |||
| 48 | デジタル庁レジストリカタログ |
||
| 49 | https://catalog.registries.digital.go.jp/rc/dataset/ |
||
| 50 | |||
| 51 | 自由に使える医療データセットまとめ |
||
| 52 | https://medtech-today.com/2020/10/22/post-576/ |
||
| 53 | |||
| 54 | 公共交通オープンデータセンター |
||
| 55 | https://www.odpt.org/ |
||
| 56 | |||
| 57 | # Tools/Service |
||
| 58 | |||
| 59 | 【まとめ】OpenRefineの使い方をまとめていく |
||
| 60 | https://qiita.com/keita69sawada/items/5f47d1a8ff078e67ee3f |
||
| 61 | |||
| 62 | nityanandagohain/flog |
||
| 63 | https://github.com/nityanandagohain/flog |
||
| 64 | |||
| 65 | >複数のログフォーマットに対応したダミーログジェネレータ(golang実装) |
||
| 66 | |||
| 67 | オープンソース住所正規化エンジンを地番住所に対応したメジャーバージョンをリリースしました！ |
||
| 68 | https://blog.geolonia.com/2024/10/10/geolonia-address-normalization-engine-update.html |