結論はタイトルどおりです。
実際にコードを書いて
１.ObjectInputStream/ObjectOutputStreamを使う ２.BufferdReaderで読み込み，XmlPullParserで解析/XmlSerializerでXML化し、BufferedWriterで書き込み ３.SQLiteを使って読み込み/書き込み
で時間を測って見たところ、読み込み、書き込みともにSQLiteを使うのが一番早かったです。 特に、読み込み処理での早さは群を抜いてました。
以下、結果です。
1000バイトのテキストデータを持つオブジェクトを50件処理した時間(ms) 1 2 3 4 5 平均 writeObject 510 341 353 360 451 403 writeXML 612 504 536 523 523 539.6 writeSQLite 553 290 283 304 318 349.6 readObject 423 314 317 208 309 314.2 readXML 258 173 269 180 177 211.4 readSQLite 52 47 51 [...]