AIでデータを整形・クリーニングする方法

AIで表データを整えるときは、先に「どの値を同じとみなすか」「何を変えてよいか」をルールとして決め、原本のコピーで変更候補を作ります。表記ゆれ、重複、欠損を一括で「きれいに」すると、別の会社・人・商品を統合したり、未入力を推測値で埋めたりする危険があります。AIには変更前後と理由を示させ、曖昧な行は自動修正せず確認待ちにしてください。

原本と作業範囲を分ける

元ファイルは読み取り専用で保管し、別名の作業コピーを作ります。対象シート、列、行範囲、出力形式、変更してよい項目を決めます。列追加や並べ替えが後続の集計や連携を壊す可能性がある場合は、先に利用先を確認します。ファイルの版、取得日、作業者、行数を記録し、途中で元データが更新されたら、どの版から作業したかを区別できるようにします。

作業前に、行数、列名、データ型、空欄数、ユニーク数、重複候補数を記録します。列の意味を確認せず、記号、未設定、空文字、NULLを同じ値に変換しないでください。空欄が「未入力」なのか「該当なし」なのかで、集計や後続処理の意味が変わります。列名や仕様に不明点があれば、その列は変更対象から外します。

Cleaning ruleを例とともに定義する

ルールは変更前と変更後が分かる形で書きます。「表記を統一」では曖昧です。例えば「全角数字を半角へ」「日付はISO形式にする。ただし解析不能な値は保持して要確認」「会社名の法人格は削除しない」のように、対象列、変換、例外、曖昧な場合の扱いを決めます。AIにルール案を出させても、業務上の意味はデータ所有者が決定します。

表は横にスクロールできます

課題	安全な候補ルール	自動確定しない例
全角・半角	対象列を限定して文字種を統一	IDの先頭ゼロを含む列
日付	書式とtimezoneを明記	03/04のように順序が曖昧
会社名	法人格を保持して候補を並べる	類似名・支店名・別法人
重複	業務上の一意キーを決める	氏名や住所が同じだけ
欠損	空欄のまま理由を分類	推測で平均値などを補う

例えば「東京」「東京都」「Tokyo」は同じ場所を指す可能性がありますが、用途によって別カテゴリのこともあります。適用前に、元値、候補値、対象件数、例外を一覧にし、承認者が判断できる形にします。

Schemaを作り、必要な範囲だけ渡す

列名、データ型、必須か任意か、許容値、主キー、列間の関係を記したschemaを用意します。各行が顧客、注文、イベントのどれを表すかも明記します。同じ顧客が複数行ある表で、顧客名の一致を行の重複とはみなせません。AIへは表の意味と禁止事項を伝え、存在しない値を補完しないよう指示します。

実データを渡す場合、個人情報、顧客情報、社外秘が含まれていないか調べ、サービスの契約・設定と組織のルールを確認します。必要なら列を除外するか、構造を保った架空データを使います。匿名化後も複数列の組合せで個人が推測されないかを考えます。利用許可が不明なら、実データをアップロードせず、手順の設計だけ進めます。

変更前に候補を出し、適用と分ける

AIへ最初からファイルを書き換えさせず、対象行、元の値、提案値、変換理由、曖昧な箇所を含むpreviewを作らせます。候補ごとに指定ルールと照合します。提案数が想定件数と違う、元データにない値が出る、複数ルールが同じ列を異なる形へ変える場合は、適用を止めてルールを見直します。

依頼例：

「この表の住所列について、全角数字を半角にした候補を作ってください。別列へ元の値と候補値を並べ、変更理由を記載してください。都道府県や市区町村の補完、表記の統合、欠損補完はしないでください。変換できない値と、変換後に値が衝突する行を別一覧にしてください。ファイルは書き換えず、候補だけ返してください。」

この依頼は候補作成の型で、住所の正規化や個人情報処理を許可するものではありません。対象や列の意味が異なる場合は、該当ルールに作り直します。

重複と欠損を分けて扱う

重複判定は、どの列や組合せが業務上ユニークかを決めてから行います。注文IDが一意でも、顧客IDは複数行に現れます。メールアドレスの大小文字や空白を整える場合も、別人のデータを同じとみなさないか、変更前後を確認します。類似度だけで統合せず、完全一致、候補一致、人による確認を分けます。

欠損は、値がない理由を示す情報を失わないようにします。「未取得」「未入力」「対象外」「形式不正」は異なる状態です。空欄へ平均値を入れる、隣の行からコピーする、文脈から補うといった処理は、根拠と承認がない限り行いません。補完する業務ルールがあるなら、元値、補完値、根拠、補完フラグを別々に記録します。

変換logと小さなQAを用意する

各変更は、対象行ID、列、変更前、変更後、ルールID、理由、処理日時、確認状態が追えるようにします。大量行を直す前に少数サンプルで実行し、変換後件数や重複数が予想どおりか確認します。サンプルには典型値だけでなく、空欄、記号、全角、複数表記、例外値を含めます。

表は横にスクロールできます

QA項目	確認方法	次の判断
行数	処理前後を比較	変化した理由を特定
重複	定義した一意キーで数える	統合は別承認
欠損	列別に処理前後を比較	意図しない補完を戻す
型・形式	日付、数値、IDを確認	解析不能は保留
差分	変更logと元ファイルを照合	予期しない変更を止める

AIが出した修正件数だけを信頼せず、独立した集計や既知の値で確認します。集計が合っても、行と値の対応が入れ替わっている可能性があります。処理後のファイルを別担当者が確認し、問題が出たときに元のコピーへ戻せるようにします。

表計算AIを使う場合の注意

スプレッドシートに組み込まれたAIには、表の説明、数式、セル更新、データ整理を支援する製品があります。ただし機能や変更方法は製品、プラン、ファイル、利用環境で異なります。直接編集できる場合でも、元ファイルを複製し、変更セルと数式を確認してから採用します。「重複を削除して」といった広い依頼では、どの行を残すかという基準が不足します。対象キーと保持条件を明示し、最初はpreviewだけを求めてください。

自動化の前に、変更量、例外処理、失敗時の復元方法を決めます。編集履歴だけに頼らず、処理前ファイルと変換logを保管します。実データの取り扱い条件が不明なら、ツールの機能説明をデータ保護の承認と混同しないでください。

よくある失敗を先に試す

全角・半角を統一した結果、IDの先頭ゼロが消えていないか、日付の年月日順が逆になっていないか、重複統合で別法人や別注文が消えていないかを確認します。空欄を一律に補完した場合は、未入力と対象外が混ざっていないかを調べます。表記ゆれ候補が大量に出た場合は、類似度の閾値を上げるだけでなく、対象列の意味とルールを再確認します。

候補を一度に全件反映せず、代表例、境界例、例外の順にpreviewを見ます。変更後の行数、ユニーク件数、空欄数を処理前と比べ、理由の説明できない差があれば適用を止めます。修正を戻せることと、どの規則で変えたか追えることを完了条件にします。

AIものさしの判断

データクリーニングでAIに任せる範囲は、候補を見つけ、決めたルールを適用し、差分を説明するところまでが基本です。原本を残し、previewと変更logを確認できるなら、明確な表記変換を効率化できます。重複統合、欠損補完、カテゴリ統合の意味が決まっていない場合は、処理を止めてデータ所有者へ確認します。見た目が整ったことより、各変更を説明でき、必要なら元へ戻せることを完了条件にしてください。

型・形式・業務上の値を別々に確認する

数値の列に文字列の注記が混ざる、日付に複数形式がある、IDが数値として読み込まれるなど、見た目だけでは分からない不整合があります。元の型、変換後の型、失敗した値を列別に集計し、変換できなかった行を消さずに別の確認対象へ分けます。日付の曖昧表記は地域設定で意味が変わるため、規則を確認できない値を一つの年月日に決めません。金額は通貨、単位、小数桁、税込・税抜の区別を保持します。

列の意味を維持したまま書式を統一できたか、既知のレコードを数件選び、入力元と変換結果を並べて確認します。数値として扱いたい列でも、商品番号や郵便番号のように計算しない識別子は文字列のまま保持します。書式が揃ったことと値が正しいことは別に評価します。

適用後の整合性を確認する

変更を適用した後は、処理前後の行数、列数、主キーのユニーク数、欠損数、変換件数を比較します。行削除や統合を含まない作業なのに行数が減っていれば、消えた行を特定するまで完了にしません。既存の数式や別シート参照がある場合、変更した列名・順序・型によって参照切れが起きていないかも確かめます。CSVとして書き出すなら、文字コード、区切り文字、改行、日付と先頭ゼロの保持を再読み込みして確認します。

表は横にスクロールできます

適用後の指標	期待する状態	差が出たら
行数	明示した削除・統合分だけ変化	対象IDを特定し元と照合
主キー	ルールに応じ一意を維持	重複の定義から見直す
欠損数	補完・除外の規則どおり	推測補完がないか確認
型と書式	列定義どおり	不正値を保留へ分ける
参照・数式	既存の結果を維持	依存範囲を確認し復元

差分を再計算する人と承認する人を分けると、同じ変換ロジックだけで誤りを見逃す可能性を下げられます。承認者には件数だけでなく、変換例と例外一覧を渡し、意味の判断が必要な行を明示してください。