データクレンジングは膨大なゴミデータを宝の山に変えることができる
過去からPOSレジに蓄積された膨大なメニューデータを分析するとき、微妙に異なるメニュー名の「表記の揺れ」により、分析価値がなく困ったことはありませんか？
例えば、「生ビール」という商品ですが、POSレジ上には様々な表現で登録されているケースが散見されます。「生」「ビール」「Draft」「ﾋﾞｰﾙ」「Beer」「Ｂｅｅｒ」「D:生ビール」「生ビール__」など。実際はすべて生ビールなのですが、その店やそのPOSレジの都合上で、様々な表現が使われていることがあります。これが「表記の揺れ」です。これらの言葉はデータベース上では異なった商品として認識されます。
かといって、社内の店舗で業態が異なっていたり、POSレジが異なっていると、「生ビール」の登録を完全に一致させることは不可能ですよね？
そんな場合に、TEAL BIでは、POSレジ上のメニュー登録の表現はそのままに、分析グラフ上でだけメニュー表記などをマージ（統合）することが可能です。これをデータクレンジングと呼びます。
統合したいデータはメニュー名だけではありませんね。TEAL BIではそのほかにも、大分類名、中分類名、支払い種別、値割引、クーポン金券でも表記の揺れを統合することができます。
一例をあげるとこんな修正もありました。
この場合は、半角と全角が混ざっていることや漢字とカタカナが混ざっていることで、すべて別のレコードとしてデータベース上は記録されています。
さらにはこんな事例も
このように、多くの表現方法で登録されていましたが、すべて電子マネーで統一することにしました。
さらに、一見すると、同じ「電子マネー」が２つあるように見えますが、この場合は「電子マネー」と「電子マネー＿＿」が存在していました。後ろに謎のスペースが入っているだけで別のレコードとして認識されます。
また、POSレジの画面表示の都合上、表示順位を任意に設定することができず、番号や記号を名称の頭に入力しているケースもあります。それらも別レコードとして認識されます。このケースでは、TEAL BIでは分析グラフ上でマージ（統合）することが可能なので、分析のためにPOSレジに使い勝手を犠牲にすることなく、店舗が使いやすいように名称は入力し、分析画面上でデータクレンジングによってマージ（統合）すればOKです。
POSレジのデータは宝の山ですがデータクレンジングができなければ、ゴミの山です。
POSレジには過去から膨大なデータが溜まっています。それらを1日まとめた合計値である日計集計で集計していては、分析価値があまりないデータの状態です。そのようなデータでは来店グループ単位の分析や時間帯ごとの分析などはできません。
TEAL BIではこれまで業界の念願だった、業界内の主なPOSレジのトランデータ（取引データ）の全てを自動連係取込し、集計し統一フォーマット化することに成功しました。あくまでもトランデータ（取引データ）をすべて集計してこそ、POSレジにたまっている膨大な記録が宝の山として利活用ができるのです。
しかし、膨大なデータは、表記の揺れが多い、いわゆるダーティー（荒れた）なデータです。そのままでは分析価値はありません。
TEAL BIでは元のデータはそのままに、グラフ上でデータクレンジングができます。TEAL BIではPOSレジのダーティーなデータをマージ（統合）することによって、宝の山として利活用ができるようになりました。
投稿者プロフィール
