Raw層
Excel、CSV、PDF、HTML、GeoJSON、Shape、XML、API応答を元のまま保存。
- 取得元URL・ファイル名・取得日時
- 公表日・基準日・SHA-256
- MIME・サイズ・利用条件・保存場所
- 成功／失敗・前回差分
Raw → Normalized → Derived → versioned JSON
取得した原資料を残し、加工値から元データへ戻れるようにする。
ページ表示時に流山市サイトへスクレイピングせず、更新時だけ取得・検算します。予測モデルの計算方法は既存の推計方法ページへ分離しています。
Three layers
Raw・Normalized・Derivedを混在させない
画面はDBから生成したバージョン付きJSONだけを読みます。
Normalized層
地理、施設、指標、観測値を共通列へ変換。
- 欠損はnullのまま保持
- 町域・学区に適用期間
- 実績・公式推計・サイト推計を分離
- 同一ハッシュは同じ版として再利用
Derived層
増減率、予測誤差、コーホート変化等を元観測ID付きで保存。
- 計算方法を保存
- 元観測へのlineage
- 注意事項・品質フラグ
- 再計算可能
Automatic checks
取込後の自動検算
人口
- 町丁字合計と市全体
- 男女計と総数
- 1歳階級と年齢帯
- 4地域合計と市全体
- 重複・町域変更フラグ
学校
- 学年別と学校合計
- 普通・特別支援学級の区分
- 全校合計
- 基準・推計・想定の区分
- 使用可能教室の年度別定義
保育
- 園別・年齢別の原表示
- 一般枠と要配慮児枠
- ○・△・×・数字・募集なし
- 最低点なしの理由区分
- 空き表示を人数へ変換しない
現在の既知の品質フラグ
年齢別就園等状況の構成値合計14,189人と公表就学前児童数14,188人の1人差を保持し、自動修正していません。
Operations
管理用コマンド
取得失敗時も最後の成功版を削除しません。
npm run verification:data:fetchpython ./scripts/verification-data/cli.py fetch --source <source_key>npm run verification:data:diffnpm run verification:data:importnpm run verification:data:validatenpm run verification:data:derivenpm run verification:data:exportnpm run verification:data:registrynpm run verification:forecast:backtestnpm run verification:data:comparenpm run verification:data:retrynpm run verification:data:updateData gaps
取得できなかった資料と情報公開請求候補
「ない」ではなく、「公開資料では確認できない」「集計単位が合わない」等を区別します。
公開資料なし現在の資料では集計単位が合わない
国の学校区と市最新通学区域の照合
国土数値情報の小学校区と市公式地番別通学区域の版・境界差分。
- 対象
- 小学校区
- 必要な項目
- 適用期間、境界差分、学校コード、市公式根拠
- 最終確認
- 2026-07-16
公開資料なし公開資料では確認できない
年齢別の人口移動内訳
同じ世代の人口差を出生・死亡・転入・転出・国外移動へ分解できる同一期間・同一定義の公開資料。
- 対象
- 市全体・4地域・町丁字
- 必要な項目
- 年齢、転入、転出、国外移動、死亡、集計期間
- 最終確認
- 2026-07-16
公開資料なし情報公開請求候補
過去の住宅開発案件台帳
所在地、戸数、住宅種別、公告日、工期、入居開始、完成時期を含む過去案件の機械判読可能な一覧。
- 対象
- 開発区域・周辺町丁字
- 必要な項目
- 所在地、戸数、住宅種別、公告日、工事予定、入居開始、完成時期、区域図
- 最終確認
- 2026-07-16
公開資料なし市役所縦覧のみ
縦覧案件の取得可能範囲
ウェブ掲載されない縦覧資料の過去版と案件詳細。
- 対象
- 開発区域
- 必要な項目
- 案件名、所在地、戸数、完成時期、資料保存期間
- 最終確認
- 2026-07-16
公開資料なし過去資料未取得
学校別使用可能教室数の履歴と定義
年度ごとの学校別使用可能教室数、学童や他団体利用を含む定義、増改築後の変更履歴。
- 対象
- 学校
- 必要な項目
- 年度、学校、使用可能教室数、定義、他用途利用、対応方針
- 最終確認
- 2026-07-16
公開資料なし情報公開請求候補
園別・年齢別の申込と利用調整結果
認可定員、利用定員、空き表示、最低点、実在籍を照合するための匿名化集計。
- 対象
- 施設・地域
- 必要な項目
- 申込数、内定数、辞退数、不承諾数、最低点、最低点なし理由、実在籍
- 最終確認
- 2026-07-16
公開資料なし過去資料未取得
一般枠・要配慮児枠の月別空き表示履歴
現行公開ページだけでなく、過去月の園別・年齢別・枠別表示を原記号のまま保存した履歴。
- 対象
- 施設
- 必要な項目
- 基準月、園、年齢、枠区分、原表示、注記
- 最終確認
- 2026-07-16
公開資料なし情報公開請求候補
附属幼稚園の公共的機能の結果集計
要配慮児の申込・受入・継続・卒園、就園相談、私立園で受入困難だった子どもの調整結果。
- 対象
- 附属幼稚園・市全体
- 必要な項目
- 相談数、申込数、受入数、継続数、卒園数、私立園受入困難後の調整数、支援内容
- 最終確認
- 2026-07-16
公開資料なし公開資料では確認できない
特別支援学級・通級・支援人員の学校別時系列
総児童生徒数と支援需要を照合するための同一定義の継続時系列。
- 対象
- 学校
- 必要な項目
- 年度、学校、特別支援学級数、在籍数、通級利用数、支援員配置
- 最終確認
- 2026-07-16
Separate methodology