第362章 一億條數據!德勤放大招了!九天夠不夠
2004年七月一號。周四。
權限管理模塊上線。
趙強花了三天,把用戶角色、訪問控制、操作日誌全部寫完。三種角色——管理員、審計師、只讀查看者——權限邊界清晰,一百二十七個測試用例全過。
"五十個並發查詢,響應不超過兩秒。"趙強把測試報告遞給林遠。
林遠翻了一遍,點頭。"德勤那邊最多十幾個人同時用,夠了。"
蘇明遠從外面進來,手裡拎著個文件袋。"海淀信達剛送來,稅務登記明天拿。社保開戶也提交了。"
"好。"林遠把報告放下,"公司手續基本收尾。現在就等一樣東西。"
"數據?"
"數據。"
蘇明遠把文件袋放在桌上,沒走。他猶豫了一下,說:"百都方總秘書來電話了,說方總想約你吃飯,聊聊後續深化合作的事。方總知道你最近忙德勤的項目,沒直接打給你。"
"先回了。"林遠說,"德勤演示完了我找他。告訴方總秘書,等這邊忙完我親自登門。"
蘇明遠點了點頭,出去了。
2004年七月五號。周一。
早上八點,A302。
林遠、趙強、王晨三個人坐在工位上。Morrison上周五下午發的郵件——數據已上傳到安全伺服器,附件里有下載連結和訪問憑證。隔了一個周末,今天正式開工。蘇明遠去不了——工商局還有手續要跑,銀行對公帳戶也得約時間。
趙強輸入憑證,點開下載連結。壓縮包分了五個卷,總共1.8GB。
"開始下。"他點了確認,"ADSL峰值兩百多K,估計六七個鐘頭。"
王晨靠在椅背上轉筆。"你們說德勤會給什麼數據?"
"不知道。"趙強盯著進度條,"上次澳大利亞礦業和日本建築是公開數據集,格式標準。這次是專有數據,什麼都可能。"
"Morrison郵件里有句話。"林遠翻出郵件,"'prepared from real-world audit engagements'。真實審計業務數據。"
本書首發 TW 看書網書庫多,𝖘𝖍𝖚.𝖙𝖜任你選 ,提供給你無錯章節,無亂序章節的閱讀體驗
趙強眉頭微皺。"真實業務數據……格式不會太乾淨。"
下午四點半,下載完成。
趙強第一時間解壓。五個分卷,解壓後總計3.2GB。他建了四個子目錄,按行業分類歸位,開始逐個檢查文件頭。
十分鐘後,他靠在椅背上,表情複雜。
"說。"林遠站在他身後。
"三個好消息,一個壞消息。"趙強指著屏幕,"礦業部分,CSV格式,欄位定義清晰,可以直接導入。金融部分,XML格式,Schema是德勤自定義標籤體系,需要建映射,但結構規整。製造業部分,另一種XML,標籤編碼規則不同,也能逆向。"
"壞消息?"
趙強點開第四個目錄。"建築業。又是專有二進位格式。"
他雙擊一個文件,屏幕彈出一串亂碼。
"Magic number是0x44 0x54 0x53 0x41——DTS A。不認識。不是任何主流財務軟體的導出格式。"
"能逆向嗎?"
"能。"趙強說,"但得逐字節分析文件結構——頭部標識、數據分區、欄位邊界、編碼方式——全得自己摸。2003年市面上至少幾十種財務軟體,每種的導出格式都不一樣,沒有公開文檔。"
他頓了頓,又說:"好在這份數據的magic number有特徵,至少能確定它出自同一套系統。只要破解了頭部結構,後面的欄位分區就有規律可循。"
"多久?"
"有文檔一天。沒文檔——三到五天。"
房間安靜了幾秒。
王晨小聲說:"今天五號。演示十四號。九天。"
趙強在算:四天解析二進位,剩五天處理一億兩千萬條數據的適配、校驗、聯調和報告生成。太緊了。
"總量多少?"林遠問。
趙強翻出Morrison附帶的說明文檔第三頁。一張表格:
行業:礦業、金融、製造業、建築業
準則:中國會計準則、國際財報準則、日本GAAP、澳大利亞AASB
記錄總數:約一億兩千萬條
格式:CSV + XML兩套Schema + 專有二進位
"一億兩。"趙強說,"之前最大數據集是澳大利亞四千萬條。這次三倍。"
"而且四套格式。"王晨補了一句。
林遠盯著表格看了十幾秒,在筆記本上快速寫了幾行。
"這麼幹。"他合上本子,"CSV今天跑。XML兩套,趙強你逆向標籤映射,王晨配合前端適配。"
"二進位那個呢?"
"我來處理。"
趙強看了他一眼。他知道林遠說"我來處理"的時候,背後有一個不方便當著別人面說的幫手。
"多久?"
"明天早上給你欄位映射表。"
趙強沒再問。他跟林遠搭檔這麼久,知道這個人從不說沒把握的話。
"行。我先從金融XML開始。"趙強已經轉回顯示器,打開了十六進位編輯器。
晚上十一點。人都走了。A302隻剩林遠一個。
他關掉顯示器,閉上眼。
"小艾。"
"在呢,宿主。"清脆的聲音在腦海中響起。
"德勤給了一份測試數據,建築業部分用了二進位格式,magic number是0x44 0x54 0x53 0x41,標記DTS A。二十四小時內逆向完整文件結構——欄位分區、編碼方式、數據類型、邊界標記——輸出映射表。"
"收到。"小艾停頓一秒,"宿主,我可以檢索未來資料庫里的財務軟體格式庫。DTS A有概率匹配。"
"多久?"
"十二小時。"
"好。明早八點我要看到。"
"明白。宿主早點休息。"
林遠睜開眼,把筆記本塞進背包,走到門口回頭看了一眼伺服器指示燈。
3.2GB的數據安靜地躺在那裡。一億兩千萬條記錄,四種格式,四個行業,四套準則。
九天後的下午兩點,紐約、倫敦、雪梨三位合伙人會視頻連線盯著屏幕。
他們要看的是:一個中國團隊的審計引擎,能不能在幾分鐘內吃透真實業務中最髒最亂最複雜的數據。
他鎖上門,走進七月的夜色。中關村的燈火還亮著,遠處傳來工地打樁的悶響。
他在心裡排了一遍時間表:
六號——CSV全流程跑通。二進位映射表到手。
八號——兩套XML映射完成,金融和製造業數據導入。
十號——四格式聯調,全量端到端測試。
十二號——性能優化,報告模板適配四行業。
十三號——全流程彩排。
十四號——演示。
每一項都緊到沒有餘量。任何一項延期一天,後面全盤崩潰。
他在心裡最後加了一行:
沒有退路。
權限管理模塊上線。
趙強花了三天,把用戶角色、訪問控制、操作日誌全部寫完。三種角色——管理員、審計師、只讀查看者——權限邊界清晰,一百二十七個測試用例全過。
"五十個並發查詢,響應不超過兩秒。"趙強把測試報告遞給林遠。
林遠翻了一遍,點頭。"德勤那邊最多十幾個人同時用,夠了。"
蘇明遠從外面進來,手裡拎著個文件袋。"海淀信達剛送來,稅務登記明天拿。社保開戶也提交了。"
"好。"林遠把報告放下,"公司手續基本收尾。現在就等一樣東西。"
"數據?"
"數據。"
蘇明遠把文件袋放在桌上,沒走。他猶豫了一下,說:"百都方總秘書來電話了,說方總想約你吃飯,聊聊後續深化合作的事。方總知道你最近忙德勤的項目,沒直接打給你。"
"先回了。"林遠說,"德勤演示完了我找他。告訴方總秘書,等這邊忙完我親自登門。"
蘇明遠點了點頭,出去了。
2004年七月五號。周一。
早上八點,A302。
林遠、趙強、王晨三個人坐在工位上。Morrison上周五下午發的郵件——數據已上傳到安全伺服器,附件里有下載連結和訪問憑證。隔了一個周末,今天正式開工。蘇明遠去不了——工商局還有手續要跑,銀行對公帳戶也得約時間。
趙強輸入憑證,點開下載連結。壓縮包分了五個卷,總共1.8GB。
"開始下。"他點了確認,"ADSL峰值兩百多K,估計六七個鐘頭。"
王晨靠在椅背上轉筆。"你們說德勤會給什麼數據?"
"不知道。"趙強盯著進度條,"上次澳大利亞礦業和日本建築是公開數據集,格式標準。這次是專有數據,什麼都可能。"
"Morrison郵件里有句話。"林遠翻出郵件,"'prepared from real-world audit engagements'。真實審計業務數據。"
本書首發 TW 看書網書庫多,𝖘𝖍𝖚.𝖙𝖜任你選 ,提供給你無錯章節,無亂序章節的閱讀體驗
趙強眉頭微皺。"真實業務數據……格式不會太乾淨。"
下午四點半,下載完成。
趙強第一時間解壓。五個分卷,解壓後總計3.2GB。他建了四個子目錄,按行業分類歸位,開始逐個檢查文件頭。
十分鐘後,他靠在椅背上,表情複雜。
"說。"林遠站在他身後。
"三個好消息,一個壞消息。"趙強指著屏幕,"礦業部分,CSV格式,欄位定義清晰,可以直接導入。金融部分,XML格式,Schema是德勤自定義標籤體系,需要建映射,但結構規整。製造業部分,另一種XML,標籤編碼規則不同,也能逆向。"
"壞消息?"
趙強點開第四個目錄。"建築業。又是專有二進位格式。"
他雙擊一個文件,屏幕彈出一串亂碼。
"Magic number是0x44 0x54 0x53 0x41——DTS A。不認識。不是任何主流財務軟體的導出格式。"
"能逆向嗎?"
"能。"趙強說,"但得逐字節分析文件結構——頭部標識、數據分區、欄位邊界、編碼方式——全得自己摸。2003年市面上至少幾十種財務軟體,每種的導出格式都不一樣,沒有公開文檔。"
他頓了頓,又說:"好在這份數據的magic number有特徵,至少能確定它出自同一套系統。只要破解了頭部結構,後面的欄位分區就有規律可循。"
"多久?"
"有文檔一天。沒文檔——三到五天。"
房間安靜了幾秒。
王晨小聲說:"今天五號。演示十四號。九天。"
趙強在算:四天解析二進位,剩五天處理一億兩千萬條數據的適配、校驗、聯調和報告生成。太緊了。
"總量多少?"林遠問。
趙強翻出Morrison附帶的說明文檔第三頁。一張表格:
行業:礦業、金融、製造業、建築業
準則:中國會計準則、國際財報準則、日本GAAP、澳大利亞AASB
記錄總數:約一億兩千萬條
格式:CSV + XML兩套Schema + 專有二進位
"一億兩。"趙強說,"之前最大數據集是澳大利亞四千萬條。這次三倍。"
"而且四套格式。"王晨補了一句。
林遠盯著表格看了十幾秒,在筆記本上快速寫了幾行。
"這麼幹。"他合上本子,"CSV今天跑。XML兩套,趙強你逆向標籤映射,王晨配合前端適配。"
"二進位那個呢?"
"我來處理。"
趙強看了他一眼。他知道林遠說"我來處理"的時候,背後有一個不方便當著別人面說的幫手。
"多久?"
"明天早上給你欄位映射表。"
趙強沒再問。他跟林遠搭檔這麼久,知道這個人從不說沒把握的話。
"行。我先從金融XML開始。"趙強已經轉回顯示器,打開了十六進位編輯器。
晚上十一點。人都走了。A302隻剩林遠一個。
他關掉顯示器,閉上眼。
"小艾。"
"在呢,宿主。"清脆的聲音在腦海中響起。
"德勤給了一份測試數據,建築業部分用了二進位格式,magic number是0x44 0x54 0x53 0x41,標記DTS A。二十四小時內逆向完整文件結構——欄位分區、編碼方式、數據類型、邊界標記——輸出映射表。"
"收到。"小艾停頓一秒,"宿主,我可以檢索未來資料庫里的財務軟體格式庫。DTS A有概率匹配。"
"多久?"
"十二小時。"
"好。明早八點我要看到。"
"明白。宿主早點休息。"
林遠睜開眼,把筆記本塞進背包,走到門口回頭看了一眼伺服器指示燈。
3.2GB的數據安靜地躺在那裡。一億兩千萬條記錄,四種格式,四個行業,四套準則。
九天後的下午兩點,紐約、倫敦、雪梨三位合伙人會視頻連線盯著屏幕。
他們要看的是:一個中國團隊的審計引擎,能不能在幾分鐘內吃透真實業務中最髒最亂最複雜的數據。
他鎖上門,走進七月的夜色。中關村的燈火還亮著,遠處傳來工地打樁的悶響。
他在心裡排了一遍時間表:
六號——CSV全流程跑通。二進位映射表到手。
八號——兩套XML映射完成,金融和製造業數據導入。
十號——四格式聯調,全量端到端測試。
十二號——性能優化,報告模板適配四行業。
十三號——全流程彩排。
十四號——演示。
每一項都緊到沒有餘量。任何一項延期一天,後面全盤崩潰。
他在心裡最後加了一行:
沒有退路。