大倉忠義、脱退、今後